多年來,效率代表更好的提示詞或更大、更強的模型。SoL-Pi 將重點轉向模型周圍的支架——規劃任務、收集觀察、呼叫工具、評估輸出並重新提示的執行架構。其核心理念是自動化:遞迴自動研究循環生成對執行架構的差異(例如觀察過濾器、規劃深度、日誌策略),然後進行受控試驗以保留優勝者。結果是一連串小幅改進,累積成實質節省。在編碼代理中,表現為更少的回合和更少浪費的上下文,帶來實際的時鐘速度提升和成本降低——無需重新訓練或更換模型。
為什麼這方法有效?大多數代理堆疊在可避免的方式上消耗令牌:重複的系統提示、冗長的工具架構、重播的檔案差異和滲入觀察的除錯日誌。SoL-Pi 透過結構化探測和消融測試尋找這些模式,然後提出替代方案——使用差異提示代替完整上下文重播、日誌抽樣與刪減、對瑣碎情況的提前退出檢查、規劃與搜尋的自適應深度,以及工具輸入輸出的壓縮。這些優化減少了令牌數量和步驟數,降低延遲同時保持成功率穩定。實務上,執行架構成為你可以每小時迭代的優化層,而非每季一次。
對工程與產品團隊而言,意涵是操作層面:將令牌預算、步驟預算和執行架構政策視為一級服務等級目標(SLO)。新增每步令牌計數器、觀察大小分布和工具呼叫往返次數;建立金絲雀任務與影子評估;並以通過率@k、回歸風險及人工覆蓋設置防護欄以控管部署。財務長的好處明確——每張票、PR 或合併變更的單位成本降低——但可靠性也提升,因為步驟減少意味著漂移的可能性降低。關鍵在於找到可跨倉庫與任務類型泛化的優化,而非過度擬合基準或單一模型的特性。
SoL-Pi 也重新定義了供應商策略。模型外的優化層能跨供應商與版本順利運作,延長現有模型的使用壽命,並為評估升級提供更明確的投資報酬率時間。它與企業限制條件(如個資清理、政策刪減與可重現追蹤)完美搭配,因為許多收益來自於決定不傳送什麼。預期此模式將普及:介於代理與工具間的執行架構編譯器、架構最小化器與觀察規劃器,緊縮反饋迴路,讓每個令牌都發揮價值。


