Fern 0.1 是 Mirendil 推出的首款基礎模型,採用支援最高 1,000 萬 Token 上下文的架構進行訓練與服務。從規格上看,這代表能力上的重大躍進:數千萬位元組的程式碼,或 Agent 數日的互動歷程,都能保留在工作上下文中,而不必移至外部儲存系統。對打造長時間自主運作 Agent 的團隊而言,吸引力顯而易見——減少呼叫外部檢索系統的次數、一次分析整個程式碼庫或訓練資料分片,並且在追蹤紀錄與日誌都能直接由模型讀取時,開發者也更容易掌握系統運作方式。
然而,擴大上下文視窗只是促成條件,並不保證成果更好。要有效運用 1,000 萬 Token,模型架構、注意力策略與檢索啟發式方法必須能有效呈現正確的上下文;同時,服務方式與成本模型也必須讓使用超大上下文切實可行。Mirendil 初期公布的指標著重於下一個 Token 的預測能力提升與基本的長上下文基準測試,這是個不錯的起點——但對正式投入生產的團隊而言,關鍵仍在於模型能否回想並推理遠處的上下文、延遲與成本如何隨規模變化,以及增加上下文是否確實能降低多檔案除錯或訓練資料稽核等實際任務中的錯誤率。
對企業應用來說,取捨十分具體:是採用單一的超長上下文模型執行個體,將整個程式碼庫與追蹤紀錄保存在記憶體中,還是打造混合式架構,結合較小的核心模型、RAG、索引式記憶層與驗證流程?Fern 擴展了無須中介檢索也能做到的事,重新定義了這項選擇;但在全面採用超長上下文策略之前,團隊仍須評估穩健性、可觀測性,以及模型在邊緣情況下推理失誤的風險。


