AIファクトリーには新たなボトルネックマップがあります。推論量がトレーニングを超え、エージェント型ワークロードが複数ステップの検索、ルーティング、ツールの連鎖を生み出す中で、スループットはピークトップスだけでなく、メモリ容量、帯域幅、ファブリックのレイテンシにも大きく依存しています。チップは依然重要ですが、利用率はラック全体で決まります：CPUホストのオーケストレーションからGPUメモリへのトークンの流れの速さ、HBMがアクティベーションやKVキャッシュを補充する速度、そしてスケールアップファブリックがポッド内で目標のインタラクティビティでトラフィックをどれだけ予測可能に移動させるか。このモデルでは、統合されたシステム設計なしの計算リーダーシップは、性能の無駄遣いとコストの急増につながります。
この変化を明確に示す戦略的な動きが三つあります。第一に、CPU、アクセラレータ、HBM、ファブリックを共同設計するラックスケールプラットフォームは、キューイングを減らし、実用的なレイテンシで安定したスループットを向上させます。第二に、垂直統合されたファブリックドメインは、集合的な帯域幅とメモリプーリングを最適化し、スピルオーバーペナルティが発生する前にラックあたりの作業量を増やします。第三に、社内シリコンを追求するモデル開発者は、メモリフットプリント、インターコネクト、推論経済性をより厳密に制御できます。競争の基準は今やシステムレベルの曲線であり、低・中・高のインタラクティビティ帯域でのトークンあたりのコストとワット数、そして実際の運用ツールを含みます。
購入者にとっては、孤立したベンチマークの比較をやめることを意味します。信頼できるスコアカードはSLO（サービスレベル目標）から始まります：レイテンシ目標、コンテキストウィンドウ、出力サイズ、同時実行数です。次に、アクティブなモデルとキャッシュをスラッシングなしで収容できるGPUおよびラックあたりのHBM容量、同期推論とトレーニングを維持するためのスケールアップ帯域幅密度とトポロジー直径、利用率を高く保つためのコンパイラ、カーネル、スケジューリング、可観測性、障害ドメインなどのソフトウェア成熟度を評価します。サービス性、液冷対応、電力分配は、ラックが生産開始後最初の月を超えて設計性能を達成できるかを決定します。
実行リスクはますますシリコン以外の要素に移っています。電力制限、熱密度、サプライチェーンのリズムが納期と単位経済性を定義します。計画には12〜24ヶ月のラックロードマップが必要で、段階的な展開、アクセラレータとファブリックの予備戦略、ファームウェアとドライバの明確なライフサイクル管理を含みます。互換性のあるファブリックとオープンソフトウェアにわたるベンダーの多様化は、ロックインを減らしつつ、フリートレベルの可観測性と自動化を維持します。要するに、性能、コスト、リスクの単位はチップではなくラックなのです。