據報導,Modal 早期使用 NVIDIA Vera 處理器進行的基礎架構測試顯示,在執行長時間運作的 AI 代理時,任務效能約為同級 Intel 與 AMD 系統的兩倍。這些代理會耗費大量週期來協調工具、管理上下文視窗、序列化與反序列化資料,以及處理 GPU 呼叫之間的條件邏輯。在這種混合式負載中,CPU 微架構、記憶體吞吐量和系統 I/O 延遲,比 GPU 的原始浮點效能更為重要。Modal 的結果並非適用所有情況的通用基準測試,但它指出,將部分效能關鍵工作交由現代 CPU 架構處理,確實可能顯著提升代理的端對端處理量。
CPU 在代理工作負載中重新受到重視,是因為這類系統不只是執行密集的矩陣乘法:它們還得管理事件迴圈、協調多步驟推理、處理檢索與資料補充,並整合各種工具。這些工作會產生大量對延遲敏感的小型操作,以及難以預測的記憶體存取模式,因此單執行緒效能、快取行為和記憶體頻寬都至關重要。能降低系統呼叫延遲、加快序列化速度,並為大量並行輕量執行緒維持高吞吐量的 CPU,能大幅縮短代理的實際執行時間,效果遠勝於單純增加 GPU 浮點運算能力。這項轉變也改變了效能最佳化與成本取捨最能創造效益的所在。
NVIDIA 的雙軌策略——以 Grace 處理記憶體密集型工作、以 Vera 處理 CPU 任務——旨在打造一個協同運作的平台:GPU 繼續負責繁重的推論工作,CPU 與記憶體架構則承擔協調和資料傳輸。對雲端與地端服務供應商而言,這有助於平衡系統配置:減少餵送資料至 GPU 時的 CPU 瓶頸、改善上下文視窗的記憶體一致性,並降低多節點代理流程的額外負擔。不過仍須留意,早期晶片與軟體堆疊需要時間成熟,編譯器和執行環境也必須妥善調校;而總持有成本取決於實際工作負載組合,不能只看醒目的吞吐量數字。


