AI 工廠有了新的瓶頸地圖。隨著推理量超越訓練，且具代理性的工作負載產生多步驟的檢索、路由和工具鏈，吞吐量不僅取決於峰值 TOPS，還取決於記憶體容量、頻寬和互連架構延遲。晶片仍然重要，但利用率的勝負是在整個機架中決定：從 CPU 主機協調到 GPU 記憶體的令牌流動速度，HBM 補充激活和 KV 快取的速度，以及擴展互連架構在目標互動性下於節點內移動流量的可預測性。在此模型中，缺乏整合系統設計的計算領導力會導致性能閒置和成本波動。
三個策略動作明確了這一轉變。首先，機架級平台共同設計 CPU、加速器、HBM 和互連架構，減少排隊並在實用延遲下提升穩態吞吐量。其次，垂直整合的互連架構領域優化整體頻寬和記憶體池化，在溢出懲罰發生前推動更多工作負載於每個機架。第三，追求內部晶片設計的模型開發者獲得對記憶體佔用、互連和推理經濟性的更嚴密控制。競爭標準現為系統層級曲線：在低、中、高互動性區間，結合真實操作工具的每美元令牌數和每瓦令牌數。
對買家而言，這意味著放棄孤立的基準測試購買。可信的評分卡始於服務等級目標（SLO）：延遲目標、上下文視窗、輸出大小和併發數。接著評估每 GPU 和每機架的 HBM 容量，以容納活躍模型和快取而不致頻繁交換；擴展互連架構的頻寬密度和拓撲直徑，以維持同步推理和訓練；以及軟體成熟度——編譯器、核心、排程、可觀察性和故障域——以保持高利用率。可維護性、液冷準備度和電力分配決定機架是否能在生產首月後達到設計性能。
執行風險越來越多地來自晶片之外。功率包絡、熱密度和供應鏈節奏定義交付時間表和單位經濟。規劃需要一個 12 至 24 個月的機架路線圖，包含分階段部署、加速器和互連架構的備件策略，以及韌體和驅動程式的明確生命週期管理。在兼容互連架構和開放軟體中多元化供應商，降低鎖定風險，同時保留艦隊級可觀察性和自動化。簡言之：機架，而非晶片，是性能、成本和風險的單位。