Chip AI Feynman được đồn đại của NVIDIA và lộ trình đóng gói CoPoS của TSMC cho thấy lý do cuộc đua hạ tầng AI tiếp theo có thể được quyết định bởi đóng gói tiên tiến, không chỉ bởi GPU nhanh hơn.
Chip AI Feynman tương lai của NVIDIA vẫn là câu chuyện dựa trên phân tích và báo cáo chuỗi cung ứng, chưa phải sản phẩm được công bố chính thức. Nhưng hướng đi này rất quan trọng: các bộ tăng tốc AI tương lai đang trở nên lớn và phức tạp đến mức các phương pháp đóng gói tiên tiến truyền thống có thể gặp giới hạn về kinh tế và vật lý. Đó là lý do tại sao lộ trình CoPoS của TSMC thu hút sự chú ý.
Trong nhiều năm, CoWoS là một trong những công nghệ đóng gói chủ chốt phía sau các chip AI cao cấp. Nó cho phép các chiplet logic, bộ nhớ băng thông cao và các lớp kết nối hoạt động cùng nhau trong một gói duy nhất. Nhưng các mô hình AI ngày càng lớn, yêu cầu băng thông bộ nhớ tăng và các nhà cung cấp dịch vụ đám mây muốn nhiều khả năng tính toán hơn trên mỗi hệ thống. Đến một lúc nào đó, kích thước gói, mật độ kết nối, thiết kế nhiệt và chi phí trở nên chiến lược không kém kiến trúc GPU.
CoPoS, hay Chip-on-Panel-on-Substrate, quan trọng vì nó hướng tới đóng gói dựa trên bảng lớn hơn có thể hỗ trợ các bộ tăng tốc AI cực lớn. Nếu NVIDIA Feynman trở thành một trong những người áp dụng chính đầu tiên, điều đó sẽ báo hiệu cuộc đua chip AI đang bước vào giai đoạn mới, nơi đóng gói tiên tiến trở thành một danh mục công nghệ nổi bật, không chỉ là chi tiết sản xuất phía sau.
Tại sao chip AI đang vượt quá giới hạn đóng gói truyền thống
Các bộ tăng tốc AI hiện đại không còn là các bộ xử lý đơn die đơn giản. Chúng kết hợp tính toán GPU, bộ nhớ HBM, chiplet, interposer, nền tảng, cung cấp điện, yêu cầu làm mát và kết nối tốc độ cao. Mục tiêu là di chuyển dữ liệu giữa tính toán và bộ nhớ nhanh và hiệu quả nhất có thể, vì huấn luyện và suy luận AI bị giới hạn bởi băng thông cũng nhiều như khả năng tính toán thô.
Khi kích thước mô hình và khối lượng công việc suy luận tăng, gói quanh chip trở thành nút thắt hiệu năng. Nhiều bộ nhớ hơn, kết nối rộng hơn và cấu trúc tính toán lớn hơn đòi hỏi diện tích vật lý nhiều hơn. Đó là lý do các công nghệ đóng gói như CoWoS, CoWoS-L, CoWoS-R và CoPoS tương lai lại quan trọng đối với hạ tầng AI.
CoPoS có thể thay đổi gì cho NVIDIA Feynman
Điểm thu hút được báo cáo của CoPoS là quy mô. Đóng gói dựa trên bảng có thể cho phép TSMC xây dựng các gói chip AI lớn hơn so với các phương pháp cấp wafer truyền thống có thể hỗ trợ về mặt kinh tế. Điều đó có thể giúp các bộ tăng tốc tương lai tích hợp nhiều die tính toán, chồng bộ nhớ và các thành phần hỗ trợ vào một gói hiệu năng cao duy nhất.
Đối với NVIDIA, điều này có thể quan trọng nếu Feynman nhắm tới bước tiến lớn hơn so với kích thước gói bộ tăng tốc AI hiện nay. Một gói lớn hơn có thể hỗ trợ dung lượng HBM nhiều hơn, băng thông cao hơn, bố trí chiplet rộng hơn và kiến trúc cấp hệ thống mới. Kết quả thực tế sẽ là các nút tính toán AI mạnh mẽ hơn cho huấn luyện, suy luận, mô hình lý luận và khối lượng công việc tác nhân.
Chuỗi cung ứng CoPoS đang trở thành chiến trường mới
Báo cáo của TrendForce rằng TSMC đang chạy đánh giá thiết bị theo hai hướng là quan trọng vì CoPoS không chỉ là chuyển đổi công nghệ. Nó còn là chuyển đổi chuỗi cung ứng. Đóng gói cấp bảng yêu cầu thiết bị, vật liệu, kiểm soát quy trình và phối hợp nhà cung cấp khác với đóng gói cấp wafer đã trưởng thành.
Điều này có thể tạo cơ hội cho các nhà cung cấp thiết bị toàn cầu, nhà cung cấp địa phương Đài Loan, nhà sản xuất nền tảng, nhà cung cấp vật liệu liên quan đến kính, nhà cung cấp ABF, hệ thống kiểm tra và chuyên gia đóng gói tiên tiến. Khi nhu cầu chip AI tăng, các công ty kiểm soát năng lực đóng gói có thể trở nên quan trọng chiến lược không kém những công ty thiết kế bộ xử lý.
Tại sao điều này quan trọng với người dùng công cụ và mô hình AI
Thoạt nhìn, CoPoS có vẻ xa rời các công cụ AI hàng ngày. Nhưng mỗi trợ lý AI, tác nhân lập trình, mô hình video, tác nhân nghiên cứu, trợ lý doanh nghiệp và quy trình làm việc AI cục bộ đều phụ thuộc vào chuỗi cung ứng phần cứng bên dưới. Nếu năng lực đóng gói bị hạn chế, tính toán AI vẫn đắt đỏ và giới hạn. Nếu đóng gói cải thiện, các hệ thống AI lớn hơn và hiệu quả hơn trở nên khả thi.
Điều này đặc biệt quan trọng với các mô hình tiên phong và AI doanh nghiệp. Các mô hình lý luận có khả năng cao hơn, hệ thống đa phương thức và tác nhân tự chủ đòi hỏi nhiều tính toán hơn, bộ nhớ lớn hơn và hiệu quả năng lượng tốt hơn. Đột phá trong đóng gói có thể gián tiếp định hình công cụ AI nào trở nên phải chăng, nhanh và phổ biến rộng rãi.
Rủi ro chính là thời điểm và độ trưởng thành sản xuất
CoPoS không nên được xem là con đường nâng cấp đã được giải quyết hoàn toàn. Đóng gói cấp bảng phải chứng minh được năng suất, độ tin cậy, hiệu năng nhiệt, độ ổn định nền tảng, độ trưởng thành thiết bị và hiệu quả chi phí ở quy mô lớn. Một lộ trình hứa hẹn không tự động có nghĩa là sản xuất đại trà sẽ diễn ra suôn sẻ.
Người dùng NexusAI nên theo dõi ba tín hiệu: liệu TSMC có xác nhận thời gian sản xuất, liệu NVIDIA có chính thức tiết lộ chi tiết đóng gói Feynman, và liệu CoPoS có chứng minh được kinh tế tốt hơn cho các gói AI siêu lớn. Cho đến lúc đó, cách hiểu an toàn nhất là CoPoS là hướng đóng gói chiến lược quan trọng với tiềm năng lớn, nhưng vẫn phụ thuộc vào thực thi sản xuất.
