Kolibri không chỉ là một thử nghiệm MoE mang tính học thuật: Aleph Alpha đã xây dựng một mô hình transformer song ngữ Anh–Đức, cân bằng quy mô tham số tổng thể lớn với số tham số được kích hoạt nhỏ cho mỗi token. Bằng cách định tuyến mỗi token tới sáu chuyên gia được chọn cùng một chuyên gia dùng chung trong tổng số 384 chuyên gia, Kolibri giảm lượng tính toán cho mỗi token xuống còn khoảng 3,46 tỷ tham số. Kiến trúc thưa này, kết hợp với 50 khối transformer và cơ chế attention lai, giúp các nhóm vận hành mô hình có năng lực hàng đầu mà không cần mức tính toán dày đặc thường khiến việc lưu trữ chỉ khả thi trên đám mây.
Thiết kế attention của mô hình là một đòn bẩy quan trọng trong vận hành. Aleph Alpha kết hợp 40 lớp cửa sổ trượt với 10 lớp attention toàn phần, giới hạn mức tăng của KV ở một nhóm nhỏ các khối để bộ nhớ tăng chậm hơn độ dài ngữ cảnh. Nhờ đó, mô hình được cho là có thể tiếp nhận tự nhiên tới 1.048.576 token. Với doanh nghiệp cần suy luận trên tài liệu dài—như hồ sơ pháp lý, nhật ký hàng không vũ trụ hay sổ tay kỹ thuật—đây là một mô hình có thể tự lưu trữ, xử lý toàn bộ hồ sơ mà không cần đến các giải pháp thay thế tốn kém, phụ thuộc nặng vào truy xuất.
Xét về triển khai, checkpoint FP8 của Kolibri (khoảng 78 GB) cùng giấy phép Apache-2.0 làm thay đổi bài toán kinh tế của AI chủ quyền. Aleph Alpha hướng dẫn chạy trên một card B200/B300/H200 hoặc cấu hình hai card H100 SXM5 thông qua vLLM. Với nhiều tổ chức chịu quy định nghiêm ngặt, khả năng lưu trữ trọng số mở trên hạ tầng do mình kiểm soát giúp giảm phụ thuộc vào nhà cung cấp và đơn giản hóa việc tuân thủ quy định lưu trú dữ liệu. Tuy nhiên, để đạt độ trễ và thông lượng ổn định, vẫn cần kỹ thuật triển khai cẩn thận—đặc biệt là với cơ chế định tuyến và cân bằng chuyên gia dưới các phân bố yêu cầu thực tế.
Lựa chọn về huấn luyện và bộ tokenizer của Kolibri cũng có ý nghĩa trong vận hành. Từ vựng UniBPE 128k giúp giảm chi phí token hóa tiếng Đức so với một số tokenizer hàng đầu, còn dữ liệu huấn luyện chú trọng nội dung tiếng Đức. Điều này mang lại lợi ích đo lường được về chi phí và hiệu năng khi phục vụ các khối lượng công việc doanh nghiệp ưu tiên tiếng Đức. Trong khi đó, quy trình huấn luyện được Aleph Alpha công bố—gồm các giai đoạn tiền huấn luyện với chuỗi cực dài và hậu huấn luyện dựa trên RL—cho thấy mô hình được tinh chỉnh để duy trì khả năng suy luận và biết từ chối khi ngữ cảnh không đủ.