Computer Use
NexusAi 摘要： Claude Sonnet 的電腦操作能力讓模型能模擬人類輸入，透過讀取螢幕截圖、計算精確到像素的游標移動、點擊與輸入文字，在真實軟體中自動執行 GUI 工作流程，並搭配可衡量的安全防護措施。
NexusAi 概覽
使用時，開發者會授予受控的螢幕存取權並向 Claude 下達指示；模型接著擷取螢幕截圖、計算像素級游標偏移、執行點擊與按鍵輸入，並反覆操作直到完成任務。這個循環具備簡單的自我修正與重試機制，有助提升多步驟任務的可靠性。
功能與目前限制
適合的使用者包括：為舊版 GUI 應用程式打造自動化功能的開發團隊、製作擬人化代理原型的研究人員，以及需要以程式控制軟體、又不想重寫既有系統的整合商。資安與平台工程師可運用詳盡的日誌和分類器進行監控；產品團隊則能快速展示原本需要高成本整合才能實現的端對端工作流程。
- 解讀螢幕截圖並計算像素偏移，精確定位游標。
- 執行滑鼠點擊與鍵盤輸入，完成多步驟 GUI 任務。
- 若操作未達預期結果，便會重試並自我修正。
- 能從有限的訓練範例中舉一反三，適應新的簡易軟體版面。
- 配備監控與分類器，以偵測潛在濫用行為和提示注入。
實用趨勢
安全與治理
加入公開測試版，參考 Anthropic 的參考實作，並設定建議使用的軟體橋接層，以提供螢幕截圖並接收滑鼠與鍵盤指令。開發者應在沙盒中進行測試、啟用分類器，並記錄詳盡日誌以供稽核。Anthropic 建議採取謹慎的推出方式：先從非關鍵任務開始，監控模型的決策，並設定存取控制，以降低接觸惡意內容或提示注入攻擊的風險。
NexusAi: 電腦操作降低了運用現有模型能力的門檻，因此我們及早加入防護措施，並持續改進。
開始使用
電腦操作重新定義了模型整合方式：不再是讓工具配合模型，而是讓模型學會使用既有軟體。Claude Sonnet 著重像素的操作方式，能加速實用自動化，同時維持審慎的安全立場，適合用於原型開發、受限範圍的自動化，以及開發者實驗。
開啟該工具並檢視其核心產品體驗。
建立帳戶或進入你已有的工作空間。
使用你自己的任務判斷速度、品質與適配度。
在最終決定前查看類似 AI 工具。
Computer Use
Anthropic 是一家以安全為核心的 AI 研究公司及公益公司，致力於打造 Claude 等大型語言模型。團隊重視反覆迭代的研究、多層防護措施，以及開發者參考程式碼，以負責任的方式推進模型能力。
Claude Sonnet 的電腦操作能力讓大型語言模型（LLM）能解讀螢幕截圖，並透過游標與鍵盤指令操作一般桌面軟體。模型經過訓練，能計算像素並推理畫面狀態，將使用者意圖轉化為一連串操作；若操作失敗，便會重試，並能從少量範例中舉一反三。這種做法降低了整合門檻：開發者不必打造專用工具，就能讓模型直接操作既有應用程式。實際用途包括自動處理重複性的 GUI 工作、製作複雜工作流程原型，以及協助工程師在沒有 API 的環境中完成工作。Anthropic 強調公開測試版、參考實作與多層防護機制，以偵測提示注入與濫用行為；目前這項功能仍處於早期階段，並刻意設有限制。
造訪 Computer Use
留言 (0)
尚無留言