Một mô hình được đồn đại với 10 nghìn tỷ tham số nghe như một cú nhảy vọt, nhưng số lượng tham số từ lâu không còn là thước đo tốt nhất cho khả năng mà người dùng có thể nhận thấy. Khi các mô hình phát triển, các đường cong mất mát mượt mà che giấu các hành vi theo bước – sử dụng công cụ đáng tin cậy, phối hợp đa tác nhân và tổng hợp dựa trên ngữ cảnh dài hạn. Câu hỏi trung tâm là liệu việc mở rộng quy mô hơn nữa có thực sự mở khóa những khả năng mới về chất lượng hay chúng ta chỉ đang chất thêm dung lượng đắt đỏ lên các nút thắt như chất lượng dữ liệu, bộ nhớ và I/O. Nếu Bel tồn tại, việc đánh giá tác động của nó đòi hỏi phải xem xét các khả năng bền vững, có thể kiểm tra được, không chỉ là sự thay đổi điểm số trên các bảng xếp hạng quen thuộc.
Ở quy mô này, câu chuyện thiết kế hệ thống quan trọng không kém kích thước thô. Các cấu trúc hỗn hợp chuyên gia, định tuyến thông minh hơn, song song hóa nhận thức phần cứng và bộ nhớ phân cấp có thể biến các tham số thành công việc hữu ích hoặc lãng phí chúng trong chi phí truyền thông và độ trễ. Những minh chứng thuyết phục nhất sẽ cho thấy khả năng suy luận ổn định trên ngữ cảnh hàng triệu token, bộ nhớ làm việc bền bỉ và khả năng phục hồi sau lỗi mà không cần khởi động lại bởi con người. Nếu những điều đó xuất hiện, lợi nhuận theo quy mô vẫn còn; nếu không, các token biên có thể đang học đi học lại cùng một khái niệm với chi phí tính toán ngày càng tăng.
Dữ liệu có thể sẽ là giới hạn. Các tập dữ liệu chất lượng cao, đã loại trùng lặp, an toàn về nguồn gốc, bao phủ toán học, mã nguồn, khoa học và kiến thức quy trình là hữu hạn. Dữ liệu tổng hợp có thể mở rộng biên giới, nhưng các vòng khởi động đơn giản có nguy cơ lặp lại lỗi của mô hình. Con đường thực tế là tạo dữ liệu tổng hợp được tuyển chọn với các nhà phê bình mạnh mẽ, các nhiệm vụ dựa trên công cụ và đánh giá liên tục dưới sự thay đổi miền. Nếu không có điều đó, ngay cả mô hình 10T cũng có thể đạt đến ngưỡng ổn định về độ tin cậy trong thế giới thực trong khi vẫn gây ấn tượng trên các chuẩn đánh giá quen thuộc.
Đối với người mua và nhà phát triển, hàm ý rõ ràng: thiết kế kiến trúc cho khả năng, không phải cho sự phô trương. Hãy kỳ vọng sự đa dạng — nền tảng MoE, công cụ truy xuất và lập trình, bộ nhớ ngoài bền bỉ và các lớp chính sách định tuyến yêu cầu theo độ khó và rủi ro. Việc mua sắm nên kết hợp dung lượng với khả năng quan sát, kiểm soát chi phí và đánh giá dựa trên kết quả. Nếu Bel thực sự nâng tầm, bạn sẽ thấy điều đó qua thời gian hoạt động của tác nhân, tỷ lệ thành công nhiệm vụ trên mỗi đồng chi tiêu và giảm thiểu sự can thiệp của con người — không chỉ là một mốc điểm cao mới trên các bài kiểm tra tĩnh.