Computer Use
NexusAi 摘要： Claude Sonnet 的计算机操作能力让模型能够模拟人类操作真实软件：通过读取屏幕截图、计算像素级精准的光标位置、点击和输入，自动执行图形界面工作流，并配备可衡量的安全缓解措施。
NexusAi 概览
开发者在使用时可授予受控的屏幕访问权限并向 Claude 发出指令；模型会截取屏幕、计算像素级光标偏移量、执行点击和键盘输入，并不断尝试，直到任务完成。整个流程包含简单的自我纠正和重试机制，有助于提高多步骤任务的可靠性。
功能与当前局限
这项功能适合为传统图形界面应用开发自动化方案的团队、制作类人智能体原型的研究人员，以及需要通过编程控制现有软件而无需重写软件的系统集成商。安全和平台工程师可利用详细日志与分类器进行监控；产品团队则能借此快速演示原本需要昂贵集成才能实现的端到端工作流。
- 解读屏幕截图并计算像素偏移量，实现精准的光标定位。
- 通过鼠标点击和键盘输入，执行多步骤图形界面任务。
- 操作未达到预期结果时，会重试并进行自我纠正。
- 从有限的训练示例中举一反三，适应新的简单软件布局。
- 借助监控和分类器，检测潜在滥用行为与提示注入。
实用趋势
安全与治理
加入公开测试版，参考 Anthropic 的参考实现，并搭建推荐的软件桥接层，用于提供屏幕截图并接收鼠标和键盘指令。开发者应在沙盒环境中进行实验、启用分类器，并记录详细日志以供审计。Anthropic 建议谨慎地逐步推出：先从非关键任务开始，监控模型的决策，并通过访问控制降低遭遇恶意内容或提示注入攻击的风险。
NexusAi: 计算机操作降低了应用现有模型能力的门槛，因此我们从一开始就加入防护措施，并持续迭代改进。
快速上手
计算机操作改变了模型集成的思路：不再是让工具适配模型，而是让模型学会使用现有软件。Claude Sonnet 以像素为基础的操作方式加快了实用自动化的实现，同时坚持审慎的安全策略，因此适用于原型开发、受限场景下的自动化和开发者实验。
打开该工具并查看其核心产品体验。
创建账户或进入你已有的工作空间。
使用你自己的任务判断速度、质量和适配度。
在最终决定前查看类似 AI 工具。
Computer Use
Anthropic 是一家专注于 AI 安全的研究公司及公益企业，致力于开发 Claude 等大型语言模型。团队强调通过迭代研究、多层防护和面向开发者的参考代码，负责任地推动能力进步。
Claude Sonnet 的计算机操作能力让大语言模型能够通过解读屏幕截图并发出光标和键盘指令，与常见的桌面软件交互。模型经过训练，能够计算像素并判断屏幕状态，将用户意图转化为一连串操作；遇到失败时会重试，并能从少量示例中举一反三。这种方式降低了集成门槛：开发者无需专门构建工具，就能让模型直接操作现有应用。它的实际价值包括自动处理重复性的图形界面任务、制作复杂工作流原型，以及在没有 API 的环境中辅助工程师。Anthropic 强调通过公开测试版、参考实现和多层防护机制，检测提示注入与滥用行为；同时，该功能仍处于早期阶段，并有意保持一定限制。
访问 Computer Use
评论 (0)
暂无评论