NVIDIA đã phát hành mã nguồn mở toàn bộ nền tảng Run:ai, bao gồm bốn thành phần mô-đun có thể sử dụng riêng lẻ hoặc kết hợp. Thay đổi này đưa các chức năng lập lịch và chia sẻ GPU đã trưởng thành ra khỏi một sản phẩm thương mại khép kín, chuyển sang mô hình quản trị cộng đồng. Nhờ đó, doanh nghiệp có thể áp dụng, kiểm tra, mở rộng và kết hợp các chức năng này với công cụ Kubernetes hiện có. Với bộ phận mua sắm và kiến trúc, điều này giảm rủi ro tích hợp, đồng thời mở ra khả năng triển khai do đối tác quản lý hoặc được cộng đồng hỗ trợ.

KAI Scheduler là bộ lập lịch nhận biết GPU, gốc Kubernetes, bổ sung khả năng lập lịch đồng bộ nhóm, đóng gói bin nhận biết cấu trúc liên kết và phân bổ chia sẻ công bằng cho các khối lượng công việc AI. Công cụ được thiết kế để hoạt động cùng các cấu phần Kubernetes tiêu chuẩn hoặc thay thế lớp lập lịch, tùy theo nhu cầu của khách hàng. GPU Fractioning Operator tận dụng khả năng cô lập bộ nhớ gốc của CUDA 13.4 để cấp các phần GPU cố định cho pod và xuất chỉ số theo từng pod. Kết hợp lại, hai thành phần này cho phép doanh nghiệp chạy nhiều loại khối lượng công việc — notebook tương tác, tác vụ huấn luyện và suy luận — với ranh giới bộ nhớ và quyết định bố trí có thể dự đoán.

Lợi ích thực tế đối với đội ngũ vận hành có thể đo lường được. Việc phân chia GPU giảm lượng bộ nhớ GPU nhàn rỗi và cho phép chạy các khối lượng công việc nhỏ hơn mà không cần dành riêng toàn bộ thiết bị, qua đó cải thiện mức độ sử dụng và phân bổ chi phí phần cứng hiệu quả hơn. KAI Resource Management gắn hạn ngạch với các nhóm và dự án, giúp các cam kết về năng lực và giới hạn tài nguyên minh bạch, có thể thực thi, đồng thời giảm tranh chấp và tình trạng tác vụ bị thu hồi bất ngờ. Workload Map chuẩn hóa khả năng quan sát và các thao tác trong vòng đời trên nhiều CRD, giúp đơn giản hóa sổ tay vận hành SRE và phân bổ chi phí. Nhờ đó, chi phí phần cứng thực tế giảm và hoạt động đa người thuê trở nên trơn tru hơn.

Mã nguồn mở giúp tăng tính minh bạch nhưng không loại bỏ độ phức tạp trong vận hành. Các nhóm cần đánh giá mức độ hoàn thiện của từng thành phần, đặc biệt là chính sách chia sẻ công bằng ở quy mô lớn và thiết lập đa cụm. Mô hình hỗ trợ cũng khác nhau: các bản phát hành cộng đồng trên kho mã và sản phẩm cộng đồng NGC không bao gồm hỗ trợ doanh nghiệp trả phí của NVIDIA, trừ khi mua riêng. Cần xác thực bảo mật, lịch nâng cấp và khả năng tương thích với phiên bản CUDA cũng như trình điều khiển cụ thể (đối với tính năng phân chia) trong môi trường thử nghiệm. Cuối cùng, tổ chức nên xác nhận điều khoản giấy phép và mọi thỏa thuận riêng theo sản phẩm áp dụng cho các gói được phân phối lại.

Hãy bắt đầu với quy mô nhỏ rồi cải tiến từng bước. Thử nghiệm GPU Fractioning Operator trên cụm phát triển để đo lường khả năng cô lập bộ nhớ và các chỉ số xuất ra. Tiếp theo, đánh giá KAI Scheduler trong một namespace không trọng yếu, kiểm tra việc lập lịch đồng bộ nhóm và bố trí nhận biết cấu trúc liên kết bằng các tác vụ đại diện. Khi đã có dữ liệu cơ sở về hành vi lập lịch và muốn ánh xạ hạn ngạch vào các đơn vị tổ chức, hãy bổ sung KAI Resource Management. Dùng Workload Map để đơn giản hóa tích hợp với công cụ giám sát, tính chi phí và sao lưu. Để rút ngắn thời gian đạt hiệu quả, hãy cân nhắc triển khai thông qua đối tác trong hệ sinh thái — nhất là khi cần tự động hóa vòng đời hoặc mẫu cấu hình cô lập người thuê.