Cuộc tranh luận về luật mở rộng ban đầu của OpenAI cho thấy tại sao các nhóm AI tiên phong cần kiểm toán tính toán mạnh mẽ hơn, xem xét lại chiến lược đào tạo và các giả định kinh tế mô hình có thể tái tạo.
Cuộc tranh luận mới nhất về luật mở rộng nhắc nhở rằng chiến lược hạ tầng AI phụ thuộc vào các giả định nghiên cứu. Nếu một phòng thí nghiệm tin rằng các mô hình lớn hơn là cách sử dụng tốt nhất ngân sách tính toán cố định, họ sẽ mua, phân bổ và lên lịch GPU khác với một phòng thí nghiệm tin rằng cân bằng dữ liệu tốt hơn là chìa khóa.
Tranh cãi tập trung vào sự khác biệt giữa hướng luật mở rộng ban đầu của OpenAI và kết quả Chinchilla sau này của DeepMind. Công thức ban đầu giúp biện minh cho việc đào tạo các mô hình rất lớn trên lượng dữ liệu tương đối khiêm tốn. Chinchilla sau đó lập luận rằng nhiều mô hình lớn bị đào tạo chưa đủ và kích thước mô hình cùng dữ liệu nên được mở rộng đồng đều hơn.
Lượng tính toán lãng phí chính xác khó xác minh công khai, nhưng bài học lớn hơn thì rõ ràng. Trong AI tiên phong, một giả định phương pháp nhỏ có thể chuyển hướng hàng triệu đô la tính toán, định hình tiến độ sản phẩm, ảnh hưởng kiến trúc mô hình và tác động đến kinh tế của mọi công cụ AI hạ nguồn.
Tại sao luật mở rộng lại trở nên ảnh hưởng
Luật mở rộng quan trọng vì chúng biến các quyết định đào tạo mô hình phức tạp thành một khung lập kế hoạch. Một phòng thí nghiệm có thể ước tính hiệu suất có thể cải thiện như thế nào khi tăng kích thước mô hình, kích thước bộ dữ liệu và tính toán đào tạo. Điều đó làm cho luật mở rộng hữu ích cho việc lập ngân sách, lập kế hoạch cụm, thiết kế lộ trình mô hình và câu chuyện nhà đầu tư về khả năng tương lai.
Nguy cơ là luật mở rộng có thể bắt đầu cảm thấy chắc chắn hơn thực tế. Chúng không phải là các định luật vật lý. Chúng là các đường cong thực nghiệm được điều chỉnh cho các thí nghiệm, bộ dữ liệu, họ mô hình, công thức đào tạo và lựa chọn đo lường cụ thể. Khi thiết lập thay đổi, kết luận có thể thay đổi.
Lỗi được báo cáo: quá tự tin vào dữ liệu quá ít
Phê bình là các thí nghiệm luật mở rộng ban đầu đã đào tạo các kích thước mô hình khác nhau trên một lượng dữ liệu cố định và sử dụng lịch trình tốc độ học giảm dần về gần 0 khi kết thúc đào tạo. Sự kết hợp đó có thể làm các mô hình lớn hơn có vẻ như ngừng cải thiện với nhiều dữ liệu hơn, dù thực tế chúng bị đào tạo chưa đủ.
Về mặt thực tiễn, lĩnh vực có thể đã đánh giá quá cao giá trị của số lượng tham số và đánh giá thấp giá trị của nhiều token đào tạo hơn. Điều đó sẽ thúc đẩy các nhóm hướng tới các mô hình quá cỡ, ấn tượng trên giấy nhưng không tối ưu tính toán bằng các mô hình nhỏ hơn được đào tạo trên nhiều dữ liệu hơn.
Vấn đề lớn hơn là quản trị tính toán
Bài học quan trọng nhất không phải là một bài báo có sai hay không. Bài học là tính toán AI tiên phong cần có quản trị. Trước khi cam kết ngân sách GPU khổng lồ, các nhóm nên kiểm toán các giả định, tái tạo các điều chỉnh chính, thử các lịch trình thay thế, đánh giá hỗn hợp dữ liệu và tách biệt kết luận thí nghiệm cục bộ khỏi các định luật chung.
Điều này đặc biệt quan trọng khi các lần đào tạo AI ngày càng lớn và tốn kém. Một giả định sai có thể lãng phí không chỉ tiền bạc, mà còn thời gian, năng lượng, cơ hội và hạ tầng khan hiếm. Lần đào tạo càng đắt đỏ, kỷ luật kiểm toán trước đào tạo càng có giá trị.
Những gì người xây dựng AI và người mua công cụ nên học
Đối với người xây dựng AI, bài học là coi các tuyên bố về luật mở rộng như giả thuyết, không phải đảm bảo. Các nhóm nên đo lường chi phí trên mỗi cải tiến chất lượng, chi phí trên mỗi token phục vụ, hiệu quả dữ liệu, sử dụng mô hình và liệu các mô hình lớn hơn có thực sự cải thiện quy trình làm việc quan trọng của người dùng hay không.
Đối với người mua công cụ AI, bài học mang tính gián tiếp hơn nhưng vẫn quan trọng. Nhà cung cấp mô hình có kỷ luật tính toán tốt hơn có thể cung cấp giá thấp hơn, mô hình nhanh hơn, giới hạn tốc độ tốt hơn và lộ trình sản phẩm bền vững hơn. Công cụ AI tốt nhất không phải lúc nào cũng được hỗ trợ bởi mô hình lớn nhất; nó có thể được hỗ trợ bởi chiến lược kinh tế đào tạo tốt nhất.
