AI 공장에는 새로운 병목 지도가 생겼다. 추론량이 학습을 능가하고 에이전트 작업이 다단계 검색, 라우팅, 도구 체인을 생성함에 따라 처리량은 최대 TOPS만큼이나 메모리 용량, 대역폭, 패브릭 지연 시간에 달려 있다. 칩은 여전히 중요하지만, 활용도는 랙 전체에서 결정된다: CPU 호스트 오케스트레이션에서 GPU 메모리로 토큰이 얼마나 빨리 흐르는지, HBM이 활성화 및 KV 캐시를 얼마나 빠르게 보충하는지, 그리고 확장 패브릭이 목표 상호작용성에서 포드 내 트래픽을 얼마나 예측 가능하게 이동시키는지. 이 모델에서 응집력 있는 시스템 설계 없는 컴퓨팅 리더십은 성능 낭비와 비용 급증으로 이어진다.
세 가지 전략적 움직임이 변화를 명확히 한다. 첫째, CPU, 가속기, HBM, 패브릭을 공동 설계하는 랙 규모 플랫폼은 대기열을 줄이고 실용적 지연 시간에서 안정적인 처리량을 증가시킨다. 둘째, 수직 통합된 패브릭 도메인은 집단 대역폭과 메모리 풀링을 최적화하여 넘침 페널티가 발생하기 전 더 많은 작업을 랙당 처리한다. 셋째, 자체 실리콘을 추구하는 모델 개발자는 메모리 풋프린트, 인터커넥트, 추론 경제성에 대한 더 엄격한 제어를 얻는다. 경쟁 기준은 이제 시스템 수준 곡선이다: 실제 운영자 도구와 함께 낮음, 중간, 높음 상호작용 밴드에서 달러당 토큰과 와트당 토큰.
구매자에게 이는 고립된 벤치마크 쇼핑을 포기하라는 의미다. 신뢰할 수 있는 평가표는 SLO에서 시작한다: 지연 시간 목표, 컨텍스트 창, 출력 크기, 동시성. 그런 다음 활성 모델과 캐시를 스래싱 없이 수용하기 위한 GPU 및 랙당 HBM 용량, 동기화된 추론 및 학습을 유지하기 위한 확장 패브릭 대역폭 밀도 및 토폴로지 직경, 그리고 활용도를 높게 유지하는 컴파일러, 커널, 스케줄링, 관찰 가능성, 장애 도메인을 포함한 소프트웨어 성숙도를 평가한다. 서비스 가능성, 액체 냉각 준비 상태, 전력 분배는 랙이 생산 첫 달 이후에도 설계 성능을 달성하는지 결정한다.
실행 위험은 점점 실리콘 외부에 있다. 전력 한계, 열 밀도, 공급망 주기가 납품 일정과 단가를 정의한다. 계획은 단계적 배포, 가속기 및 패브릭 예비 전략, 펌웨어 및 드라이버 수명 주기 관리를 포함한 12~24개월 랙 로드맵이 필요하다. 호환 가능한 패브릭과 개방형 소프트웨어 전반에 걸친 공급업체 다변화는 잠금 현상을 줄이면서 함대 수준의 관찰 가능성과 자동화를 유지한다. 요컨대: 성능, 비용, 위험의 단위는 칩이 아니라 랙이다.