NVIDIA는 독립적으로 또는 함께 사용할 수 있는 네 가지 모듈형 구성 요소를 포함해 Run:ai 플랫폼 전체를 오픈소스로 공개했습니다. 이로써 성숙한 스케줄링 및 GPU 공유 기능이 내부 구조를 알 수 없는 상용 제품에서 벗어나 커뮤니티 주도 체계로 들어왔습니다. 기업은 이러한 기능을 기존 Kubernetes 도구와 함께 도입하고, 감사하고, 확장하고, 조합할 수 있습니다. 조달 및 아키텍처 팀에는 통합 위험을 낮추고 파트너 관리형·커뮤니티 지원 배포 모델을 선택할 수 있는 길을 열어 줍니다.

KAI Scheduler는 Kubernetes 네이티브 GPU 인식 스케줄러로, AI 워크로드에 갱 스케줄링, 토폴로지 기반 빈 패킹, 공정 공유 할당 기능을 제공합니다. 고객의 필요에 따라 표준 Kubernetes 구성 요소와 함께 사용하거나 스케줄링 계층을 대체할 수 있도록 설계됐습니다. GPU Fractioning Operator는 CUDA 13.4의 네이티브 메모리 격리 기능을 활용해 팟에 엄격하게 구분된 GPU 메모리 할당량을 제공하고 팟별 메트릭을 내보냅니다. 두 구성 요소를 함께 사용하면 기업은 대화형 노트북, 학습 작업, 추론 등 혼합 워크로드를 예측 가능한 메모리 경계와 배치 기준에 따라 실행할 수 있습니다.

운영팀이 얻는 실질적인 이점은 수치로 확인할 수 있습니다. GPU 분할을 통해 유휴 GPU 메모리를 줄이고, 소규모 워크로드가 장치 전체를 예약하지 않고도 실행되도록 해 활용률을 높이고 하드웨어 비용을 분산할 수 있습니다. KAI Resource Management는 팀과 프로젝트에 할당량을 연결해 용량 보장과 제한을 투명하고 일관되게 적용함으로써 경합과 예기치 않은 선점 문제를 줄입니다. Workload Map은 여러 CRD에 걸친 모니터링과 수명 주기 작업을 표준화해 SRE 운영 절차와 비용 배분을 간소화합니다. 그 결과 실질적인 하드웨어 지출이 줄고 멀티테넌트 운영이 원활해집니다.

오픈소스 공개로 투명성은 높아지지만 운영 복잡성까지 사라지는 것은 아닙니다. 특히 대규모 환경의 공정 공유 정책과 클러스터 간 구성에서 각 구성 요소의 성숙도를 확인해야 합니다. 지원 방식도 다릅니다. 저장소에서 제공되는 커뮤니티 릴리스와 NGC 커뮤니티 제품에는 별도로 구매하지 않는 한 NVIDIA의 유료 엔터프라이즈 지원이 포함되지 않습니다. 프로덕션에 적용하기 전에 보안, 업그레이드 주기, 특정 CUDA 및 드라이버 버전과의 호환성( GPU 분할 기능)을 스테이징 환경에서 검증해야 합니다. 또한 재배포 번들에 적용되는 라이선스 조건과 제품별 계약을 확인해야 합니다.

작게 시작해 단계적으로 확장하세요. 먼저 개발 클러스터에 GPU Fractioning Operator를 시험 적용해 메모리 격리 동작과 익스포터 메트릭을 측정합니다. 다음으로 중요도가 낮은 네임스페이스에서 KAI Scheduler를 평가하며 대표적인 작업으로 갱 스케줄링과 토폴로지 기반 배치를 검증합니다. 기본 스케줄링 동작을 확인한 뒤 조직별 할당량을 관리하려면 KAI Resource Management를 추가하세요. Workload Map을 사용하면 모니터링, 비용 관리, 백업 도구와의 통합을 간소화할 수 있습니다. 더 빠르게 성과를 내고 싶다면, 특히 수명 주기 자동화나 테넌트 격리 템플릿이 필요한 경우 생태계 파트너의 배포 서비스를 고려해 보세요.