AI工厂有了新的瓶颈地图。随着推理量超过训练，且智能代理工作负载产生多步的检索、路由和工具链，吞吐量不仅依赖于峰值TOPS，还依赖于内存容量、带宽和互连延迟。芯片依然重要，但利用率的胜负是在整个机架上决定的：令牌从CPU主机编排流入GPU内存的速度，HBM补充激活和KV缓存的速度，以及扩展互连结构在目标交互性下在集群内移动流量的可预测性。在此模型中，计算领导力若无整体系统设计，意味着性能浪费和成本波动。
三大战略举措明确了这一转变。首先，机架级平台共同设计CPU、加速器、HBM和互连结构，减少排队并在实际延迟下提升稳定态吞吐量。其次，垂直整合的互连域优化整体带宽和内存池，推动每个机架处理更多工作，延迟溢出惩罚。第三，追求自研芯片的模型开发者获得对内存占用、互连和推理经济性的更紧密控制。竞争门槛现为系统级曲线：在低、中、高交互带宽下，结合真实操作工具，衡量每美元和每瓦令牌数。
对买家而言，这意味着放弃孤立的基准测试购物。可信的评分卡始于SLO：延迟目标、上下文窗口、输出大小和并发。然后权衡每GPU和每机架的HBM容量，以容纳活跃模型和缓存而不发生抖动；扩展互连的带宽密度和拓扑直径，以维持同步推理和训练；以及软件成熟度——编译器、内核、调度、可观测性和故障域——以保持高利用率。可维护性、液冷准备和电源分配决定机架是否能在生产首月后达到设计性能。
执行风险越来越多地来自硅片之外。功率包络、热密度和供应链节奏定义交付时间表和单元经济。规划需要12至24个月的机架路线图，包含分阶段部署、加速器和互连备件策略，以及固件和驱动的生命周期管理。跨兼容互连和开放软件多供应商多样化，减少锁定风险，同时保持舰队级可观测性和自动化。简言之：机架——而非芯片——是性能、成本和风险的单位。