SambaNova

SambaNova, Inc. xây dựng hệ thống AI tích hợp kết hợp silicon tùy chỉnh, phần mềm hệ thống và giải pháp trung tâm dữ liệu cho suy luận hiệu suất cao. Kiến trúc RDU của công ty tập trung vào thực thi dòng dữ liệu và các hệ thống bộ nhớ hiệu quả, cho phép doanh nghiệp và chính phủ vận hành các mô hình tiên tiến với hiệu suất trên watt tốt hơn và triển khai linh hoạt trên các cơ sở sở hữu, quản lý hoặc chủ quyền.

SambaNova cung cấp suy luận AI cao cấp bằng cách kết hợp Đơn vị Dòng dữ liệu Tái cấu hình thế hệ thứ năm SN50 với GPU và một ngăn xếp phần mềm được xây dựng cho các khối lượng công việc tập trung vào tác nhân. Kiến trúc dòng dữ liệu, bộ nhớ phân tầng và đóng gói mô hình tối đa hóa số token trên mỗi watt trong khi duy trì thông lượng cao cho các pipeline phức tạp đa tác nhân. Các nhà phát triển truy cập mô hình thông qua các điểm cuối tương thích OpenAI, chuyển đổi giữa các họ mô hình tiên tiến như Llama, DeepSeek và MiniMax, và chạy gpt-oss-120b của OpenAI khi độ trễ thấp là ưu tiên hàng đầu. SambaStack điều phối các triển khai trên các hệ thống SambaRack và trung tâm dữ liệu chủ quyền đối tác, với khả năng tự động mở rộng, cân bằng tải, giám sát và quản lý mô hình được tích hợp. Các nhóm có thể mang theo các điểm kiểm tra riêng, vận hành đội hỗn hợp và mở rộng từ một nút đơn đến công suất cấp giá đỡ mà không cần thiết kế lại ứng dụng. Kết quả là suy luận nhanh, tiết kiệm chi phí và giữ được sự linh hoạt: triển khai trên RDU để tiết kiệm năng lượng, bùng nổ trên GPU để đàn hồi, và phối hợp cả hai cho các pipeline tác nhân phân tán. Doanh nghiệp sử dụng SambaNova để cung cấp trợ lý gần thời gian thực, tác nhân lập trình và công cụ kiến thức trong khi giữ quyền kiểm soát hiệu suất, chi tiêu và vị trí dữ liệu.