Hugging Face đã phát hành một lớp nền tảng cho WebAI: tập hợp hơn 200 kernel WebGPU theo giấy phép Apache-2.0 cùng một trình tải JavaScript tối giản để lấy, chuẩn bị và chạy trực tiếp từ Hub. Thay vì chỉ dựa vào GPU máy chủ hoặc môi trường trình duyệt đơn khối, các nhà phát triển có thể kết hợp các phép toán có phiên bản, có thể kiểm tra — matmul, layernorm, softmax, convolution, các nguyên thủy lượng tử hóa — ngay trong trình duyệt. Lợi ích thực tế là các hành động của tác nhân và suy luận gần giao diện người dùng có thể thực thi cục bộ, giảm đáng kể độ trễ yêu cầu, cắt giảm chi phí API và giữ dữ liệu người dùng trên thiết bị. Khi nhiều logic ứng dụng chuyển sang phía khách, trình duyệt trở thành một lớp môi trường chạy AI có tính di động thực sự, không chỉ là bề mặt trình diễn.

Về mặt kỹ thuật, bước đột phá là đóng gói: mỗi kernel là một kho lưu trữ với bản hợp đồng manifest, mẫu WGSL, các bài kiểm tra tính đúng đắn và các trường hợp benchmark. Điều này có nghĩa bạn có thể hiểu về đầu vào, đầu ra, loại dữ liệu hỗ trợ và quy tắc hình dạng mà không cần đọc mã shader. Các biến thể hướng tới các hình dạng, thiết bị và khả năng trình duyệt khác nhau, và Fleet — bộ công cụ benchmark chạy trong trình duyệt — thu thập bằng chứng về tính đúng đắn và hiệu suất từ phần cứng thực tế để hướng dẫn lựa chọn. Các so sánh ban đầu cho thấy tăng tốc đáng kể trên nhiều tác vụ, với một số chiến thắng vượt trội trên các mẫu cụ thể. Điều nổi bật không phải là một con số duy nhất; mà là cơ chế tối ưu hóa liên tục dựa trên bằng chứng trong thực tế phức tạp của GPU, driver và trình duyệt.

Đối với các nhóm sản phẩm và nền tảng, góc nhìn quyết định đang chuyển từ “Trình duyệt có thể chạy được không?” sang “Phần nào nên chạy trên trình duyệt?” Giới hạn bộ nhớ, lượng tử hóa mô hình, bộ nhớ đệm và thời gian biên dịch khởi động lạnh đều quan trọng — cũng như phương án dự phòng máy chủ linh hoạt. Mẫu thiết kế hợp lý là kết hợp: giữ các bước tiền xử lý nhạy cảm về quyền riêng tư, giải mã nhẹ hoặc xử lý hậu nhanh trong trình duyệt; chuyển các tác vụ tính toán nặng hoặc ngữ cảnh dài lên máy chủ. Với hợp đồng kernel và bằng chứng cộng đồng sẵn có, các nhóm có thể thử nghiệm các tác nhân gốc trình duyệt có cảm giác mượt mà, chịu được offline và mặc định bảo mật — đồng thời duy trì độ tin cậy và khả năng quan sát thông qua việc chuyển tải chọn lọc và thu thập dữ liệu.