Anthropic Claude 控制你的 Mac：以下是这款全新桌面代理的工作原理。

到来了 克劳德作为一名能够控制Mac的代理人 这标志着我们在日常生活中使用人工智能的方式发生了转折。它不再仅仅是与一个回答问题的模型聊天，而是真正地让它“操控”你的桌面，在你做其他事情甚至不在电脑前时，帮你点击、输入、打开应用程序并完成任务。

与 克劳德电脑使用、克劳德协作办公、克劳德代码和调度功能Anthropic 正在 macOS 上测试一个人工智能生态系统，该系统能够处理各种实际任务，包括文件分类、报告生成、电子邮件管理以及会议协调等。目前，该系统仍处于研究预览阶段，虽然潜力巨大，但也存在明显的局限性，尤其是在安全性、可靠性和数据保护方面。

Claude Computer Use 是什么？它如何控制你的 Mac？

这项新功能的核心是 克劳德电脑使用，该模型使用电脑的能力就像人一样。Claude 不仅限于与特定服务的 API 集成，它还可以通过捕获来查看 Mac 屏幕，解释屏幕上显示的内容，并将其转换为鼠标移动、点击和击键来完成任务。

这意味着人工智能 它不仅会回复聊天窗口中的消息但它会打开应用程序， 浏览菜单当所需工具没有直接集成时，Claude 可以与按钮交互、填写表单并在文件夹之间移动文件。如果可以连接到 Gmail、Google Drive、Slack 或日历等服务，Claude 会优先尝试利用这些服务；如果无法连接，则会在万不得已的情况下使用桌面可视化控件。

从技术角度来看，克劳德结合了 对界面和空间推理的视觉感知该模型分析连续的屏幕截图，计算像素位置以将光标移动到特定元素上，并逐步执行操作。它并非简单的、僵化的脚本，而是一个能够理解界面结构并在每个时刻决定执行操作的智能体。

这种方法代表着与传统自动化方式的不同，传统自动化方式是指…… 应用程序设计的任何变更 这可能会彻底打断流程。虽然人工智能可以适应位置改变的按钮、意外弹出的窗口或毫无预警出现的对话框，但 Anthropic 也承认，在复杂的流程中仍然存在错误和不可靠的行为。

实际上，该功能是通过桌面应用程序向用户提供的。 Claude Cowork 和 Claude Code您可以在这里提出诸如“打开项目、生成月度报告、将其导出为 PDF 并将其作为附件提交到下次团队会议”之类的请求。Claude 负责操作 macOS 及其应用程序来完成每个步骤。

交互方式：集成、浏览器和桌面控制

人为因素设计了克劳德的行为遵循以下原则： 整合层级 旨在最大程度地减少错误并降低安全风险。目标是使完全桌面控制成为最后的手段，而不是首选。

第一层面， 克劳德尝试使用直接集成 已连接的服务包括：Gmail、Google Drive、Slack、日历工具、Notion、GitHub 和其他支持的平台。如果您已关联这些帐户，AI 即可读取电子邮件、回复邮件、创建事件、更新文档或管理问题，而无需直接与 Mac 的图形界面交互。

如果没有具体的整合方案，克劳德就会进入第二阶段，并诉诸于…… 通过浏览器实现自动化例如，使用 Chrome 扩展程序。在这种模式下，它可以像您在浏览器前一样操作网页、填写表单和浏览在线服务，但您的注意力完全集中在浏览器环境中。

只有当两条路径都失败或不存在时，Anthropic 才允许这样做。 Claude，获得 macOS 的完全可视化控制权在这里，代理会根据它在每个屏幕截图中看到的内容，移动鼠标、点击桌面图标、从 Dock 打开应用程序、浏览系统菜单、捕获屏幕或在文件夹之间拖放文件。

这种分阶段的设计使系统更加稳健： 浏览器集成和自动化速度更快、更可靠。当没有其他选择时，使用桌面可以作为一种灵活的“万能”方案，但缺点是，由于它依赖于顺序捕获而不是连续的视频流，因此仍然可能会错过转瞬即逝的通知或非常快速的界面变化。

根据内部测试和基准测试（例如 OSWorld Verified）， Claude Sonnet 4.6 的准确率约为 72,5%。 在计算机测试任务中，Opus 4.6 的得分约为 72,7%，接近于人类在同一测试中的预期表现（约 70-75%）。然而，在实际应用场景中，其表现可能会下降，尤其是在遇到意外对话或不常用的应用时。

调度：通过 iPhone 远程控制您的 Mac

另一个重要的组成部分是 调度功能允许您通过手机向 Claude 发送任务。 然后让AI在你的Mac上远程运行它们。这就像在你乘坐地铁、开会甚至不在家的时候，都有一位虚拟助手在你的桌面上为你工作一样。

Dispatch 与 Claude Cowork 在 macOS 上 以及相应的移动应用程序。之后 将你的 iPhone 连接到你的 Mac 使用二维码，可以创建一个持久会话，您可以在其中向 Claude 发送指令：消息会发送到您计算机上运行的代理，然后代理开始与本地应用程序一起工作。

一个重要的优点是 所有处理都在 Mac 本地完成。在隔离环境（虚拟机）中，该系统降低了未经授权访问计算机其他部分的风险。iPhone 充当远程控制和通信渠道，但实际的繁重计算工作由您的计算机完成。

例如，《人择原理》就展现了克劳德如何能够 将演示文稿导出为 PDF 并将其附加到日历邀请中 无需用户在场。我们还观察到一些工作流程，例如代理会审核电子邮件，标记最相关的邮件，并准备好回复供您稍后查看；或者将项目文件整理到特定文件夹中。

这个想法直接借鉴了Vercept及其代理Vy之前的工作，Vy已经具备了以下功能： 适用于云端Mac电脑的智能遥控器在 Anthropic 收购这家初创公司后，团队进行了整合，据其创始人称，他们在不到四周的合作时间内就推出了这些初始功能。

谁可以使用 Claude 控制 Mac，以及在什么情况下可以使用 Claude 控制 Mac？

目前，整个生态系统 Claude Computer Use, Cowork, Code and Dispatch 远未达到大规模的程度。Anthropic 仍将其置于“研究预览”阶段，即面向研究人员和高级用户的预览版，并明确警告仍将存在错误、运行时故障和意外行为。

该公司限制访问权限 Claude Pro 和 Claude Max 付费计划的订阅用户而且它目前仅适用于 macOS 电脑。现阶段官方尚未提供对 Windows 或 Linux 的支持，其他平台的具体发布日期也尚未公布。

关于价格，信息会因来源和时间略有不同，但其结构可以概括如下： Claude Pro每月费用约为17-20美元。根据地区和套餐的不同，价格也会有所差异，而 Claude Max 的价格约为每月 100 美元。Max 还有一些功能更强大的版本（例如，某些套餐的使用量是 Pro 套餐的五倍或二十倍），专为高强度或专业用途而设计。

只有拥有以下订阅服务之一的用户才能访问： 并且有一台已开机并连接到互联网的Mac电脑。他们可以激活桌面控制和调度功能。在 Cowork 系统中，执行这些操作的虚拟机必须保持运行，Claude 才能继续工作，这意味着资源和能源的持续消耗。

人用制药公司也明确表示： 初始阶段旨在进行试验并收集反馈它明确建议，在第三方应用程序完善安全系统和防止滥用的措施期间，不要处理过于敏感的信息或使用特别关键的第三方应用程序。

安全、隐私和用户控制

赋予人工智能以下能力 移动鼠标并在电脑上打字 从安全角度来看，这绝非儿戏。Anthropic 意识到了这一点，并引入了多层保护措施来降低风险，尽管他们也承认这个问题仍然“悬而未决”，并且还在不断演变。

首先， Claude 只能控制用户明确批准的应用程序。每当人工智能想要与新应用交互时，系统都会显示权限请求；如果您不授予权限，它将无法访问该应用。此外，在交互过程中，如果您发现任何异常情况或想要重新获得控制权，您可以随时选择立即停止交互。

另一个关键方面是 Claude 通过分析屏幕截图来了解上下文，可以帮助检测 macOS 上的可疑活动。这意味着屏幕上可见的任何内容都可以被模型读取：打开的文档、聊天记录、电子邮件、管理面板等等。因此，Anthropic 建议在使用桌面控制时关闭包含机密数据的窗口，并防止 AI 与银行界面、加密货币或其他特别敏感的信息进行交互。

公司内部调查已确定 屏幕消息注入 其中一项主要攻击面是：嵌入网页、文档或应用程序中的恶意指令，试图诱骗人工智能执行与用户原始意图相悖的操作。与早期版本相比，较新版本的 Claude（例如 Sonnet 4.6）对这类操纵的抵抗力显著增强。

然而，人本公司坚称： 这项技术尚未准备好应用于超关键环境。可靠性方面存在一些限制（复杂的任务需要多次尝试，如果系统中发生某些变化，长时间的工作流程就会中断），而且一旦外部研究人员开始系统地分析该系统，潜在的漏洞将如何处理，仍然存在疑问。

的决定 仅将完整桌面控制功能用作备份而且，虽然这不是主要方法，但它也解决了这些问题：它减少了出错和意外数据访问的风险，尽管与从一开始就控制一切的完全自主的桌面代理相比，它限制了 Claude 可以执行的操作范围。

实际性能、应用案例和当前局限性

除了精彩的演示之外，许多用户感兴趣的是 这种方法在现实世界中效果如何？专业媒体的首次公开测试提供了一个细致入微的观点：潜力巨大，但就目前而言，它还不是魔法。

在专注于苹果生态系统的网站进行的测试中，Claude 的桌面控制功能表现出色。 在简单或中等复杂程度的任务中取得了非常好的结果。例如在 Gmail 中搜索文件、对文档进行分组、汇总电子邮件、在 Notion 中整理笔记，或在项目管理工具中更新任务。

但是，当涉及到 与 Safari 交互、管理复杂的标签页或运行终端命令然而，这种行为的稳定性要差得多。一些分析师估计，在高级工作流程中，成功率约为 50%，由于错误、窗口未出现在预期位置或命令结果随上下文变化等原因，经常出现反复失败的情况。

这种不规则特征是典型的 研究预览阶段Anthropic 将其视为流程的一部分：系统从用例中学习，团队收集故障日志，并调整模型和管理桌面控制的基础架构。

即便如此，他们也已被识别出来。 对于初创企业、中小企业和独立专业人士而言，这些应用场景非常有前景。例如：自动生成来自电子表格和电子邮件的定期报告，按优先级审查和分类电子邮件，准备回复草稿，保持没有 API 的内部数据库或遗留系统的最新状态，甚至对 Web 应用程序执行小型 QA 例程。

在软件开发领域，存在 Claude Code 允许您将任务委托给 AI，例如打开 IDE、运行测试、检查日志以及在网络上搜索解决方案。 并可将更改应用于特定文件。程序员可以要求代理在系统日志中查找重复出现的错误，查阅 Stack Overflow 等网站上的资源，然后返回编辑器提出补丁——所有这些操作都无需用户手动协调每个步骤。

Vercept、基准测试以及桌面代理的竞争

这一系列新能力的背后，是大量的先前工作。人类学 收购了初创公司Vercept AI总部位于西雅图的Vercept公司开发了Vy，这是一款适用于Mac的云端计算机控制代理。Vercept由艾伦人工智能研究所的前研究人员创立，在交易达成前曾筹集了约16万美元的资金。

Vercept团队加入了Anthropic公司，并且根据他们的声明， 不到四周，他们就推出了首款联合产品。Anthropic明确指出Dispatch是其最初理念的直接演进。在关闭Vy服务并将其技术和人才迁移到新平台之前，Anthropic提前一个月通知了Vy用户。

从那时起，克劳德在各项任务中的表现 计算机的使用情况已显著改善。Sonnet 模型在 2024 年底首次亮相时，在 OSWorld Verified 评估中仅勉强超过 15% 的得分。OSWorld Verified 是一项旨在衡量 AI 模型操作真实计算机能力的基准测试。而到了 4.6 版本，得分已大幅提升至 72% 以上，接近人类在同一测试中的平均水平。

与此同时，竞争环境也十分激烈。 OpenAI、谷歌、Meta以及多家专业初创公司 他们正在开发自己的桌面代理和开源框架，例如 OpenClaw 和 NemoClaw，这些框架能够与 WhatsApp、Telegram、网页浏览器和文件管理器等应用程序配合使用。然而，这些项目大多需要复杂的配置，并且对用户的技术水平要求很高。

人本主义的方法有所不同，它寻求的是 一种更可控、更注重安全的方法由于其生态系统相对封闭，权限明确，且最初只专注于 macOS，因此它并不打算让用户接触大量的脚本和配置，而是提供尽可能最有指导性的体验，尽管目前它的覆盖范围仅限于付费订阅用户。

最大的问题是这些人工智能代理是否能够…… 从炫目的演示转向生产环境中的稳定部署基准测试的提升非常显著，但 Mac 上的实际使用情况涉及弹出对话框、不断的应用程序更新、位置变化的窗口，以及无数的小细节，任何测试都无法完全捕捉到这些细节。

总之，我们已经可以看到明显的转变： 人工智能不再仅仅是对话，而是变成了委托工作。Claude 不仅会提出建议，还会根据你设定的限制和权限为你执行操作，这一理念完美契合了“隐形”自动化的趋势，在这种趋势下，你几乎无需触碰鼠标即可完成许多日常任务。

围绕克劳德的这一切动向，他使用电脑的能力，与Dispatch的整合，以及对macOS的关注，共同描绘出一幅图景： Mac 变成了一种自主助手，在你做其他事情的时候也能继续工作。在安全性、准确性和稳定性方面还有很多工作要做，但对于任何真正想将桌面与人工智能连接起来的人来说，Anthropic 在 Claude 上采取的方向开始看起来很有希望，值得密切关注。