AI 優勢的下一階段將在模型圖與矽晶片平面之間的差距中取得。Anthropic 建立內部晶片設計能力,意味著 Claude 的計算圖、記憶體存取模式與排程器將與領域專用加速器共同優化。共設計讓硬體能優先處理推論中的真正熱點路徑——KV 快取移動、注意力稀疏性與解碼吞吐量,而非強行讓模型適配通用 GPU。這改變了經濟效益:當推論主導支出時,從 p95 延遲中削減毫秒數或每 1K 代幣成本降低 20–40%,將直接轉化為利潤與容量的釋放。
技術上,槓桿點明確。定制矽晶片可為 KV 快取調整 SRAM 大小,減少昂貴的晶片外記憶體存取;共封裝 HBM 以提升頻寬上限;並強化低位元量化、專家混合路由與結構化稀疏性的快速路徑。調校過的片上網路可在突發流量下降低尾延遲,編譯器與執行時層則融合核心、積極批次處理並保持資料駐留。當編譯器專為單一模型家族設計,運算子融合與圖形重寫效果超越通用堆疊。這些合力可解鎖更佳的每瓦代幣數與生產規模下更嚴格的延遲 SLA。
策略上,內部矽晶片降低對外部 GPU 運算週期、價格與分配的依賴。它提升與雲端合作夥伴的議價能力,讓 Anthropic 可依據 Claude 的能力設定產品路線圖,而非通用加速器的發布時程。但同時也帶來新風險:九位數非經常性支出、時程延誤、驗證與電子設計自動化複雜度、韌體與驅動成熟度,以及打造具可觀察性與除錯能力的穩健編譯器的長期挑戰。對企業而言,此舉預示異質化時代來臨。買家應預期 Claude 將有多種後端——NVIDIA、自訂 ASIC,甚至其他加速器,並須規劃可攜性、基準測試與多雲路由。
對營運者而言,實際問題是這何時改變部署計算。預期分階段推出:首先是 Anthropic 隱藏硬體細節的雲端端點,接著為規模客戶提供選擇性本地或專區方案。在此期間,採購應模擬對每 1K 代幣成本、每美元代幣數、每代幣能耗及真實流量下 p95/p99 延遲的敏感度。若定制矽晶片搭配鎖定編譯器與有限可觀察性,整合摩擦可能抵銷成本優勢;若配備穩健驅動、Triton 或 TVM 級工具、Prometheus 友好指標及強 CUDA 互通,遷移風險低且有利於利潤提升。


