Computer Use 是什么

Computer Use(Beta)是 Anthropic 在 2024 年 10 月发布的功能,正式将 Claude 从"对话 AI"升级为"会操作电脑的 AI"。 工作原理:

  1. Claude 通过截图工具获取当前屏幕内容
  2. 分析屏幕,决定下一步操作(点哪里、输入什么)
  3. 通过鼠标/键盘工具执行动作
  4. 截图确认结果 → 继续下一步

这个循环让 Claude 能完成任何人能在电脑上做的 GUI 操作,只要给它足够的权限和时间。

Computer Use vs Claude Code:怎么选

维度Computer UseClaude Code
操控对象图形界面(浏览器、Office、桌面应用)代码文件、终端、shell 命令
有 GUI 的任务✅ 最佳选择❌ 无法操控
纯代码/命令行△ 可以,但用终端工具更高效✅ 最佳选择
速度慢(截图→分析→操作,每步 1-3 秒)快(直接读写文件)
稳定性Beta,偶有误点生产可用
使用方式API + Docker 或桌面扩展npm 安装后命令行调用

经验法则:能用终端解决的用 Claude Code,只有 GUI 界面的任务才用 Computer Use。

使用方式一:Claude.ai 桌面扩展

最简单的入门方式,无需 Docker:

  1. 下载 Claude for Desktop(claude.ai → 下载桌面版)
  2. 登录 Claude Pro 或以上账号
  3. 在 Settings → Features 里开启 Computer Use(目前仅 Mac 可用)
  4. 在对话里说"帮我打开 Finder,把 Downloads 里所有 PNG 文件移到 Screenshots 文件夹"
  5. Claude 会请求屏幕录制权限,授权后开始操作

注意:桌面扩展的 Computer Use 是 Claude 在你的真实电脑上操作,速度比 Docker 方案快, 但要确保敏感窗口(密码管理器、银行 App)在操作期间关闭。

使用方式二:API + Docker(开发者方案)

适合构建自动化流程、在服务器上跑:

# 1. 拉取 Anthropic 提供的 Computer Use 沙盒镜像
docker pull ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

# 2. 运行(端口 5900 VNC、8501 Streamlit UI)
docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -p 5900:5900 \
  -p 8501:8501 \
  ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

# 3. 打开 http://localhost:8501 看到带浏览器的虚拟桌面
# 4. 在 Claude 对话框里输入任务指令

Docker 方案在隔离的虚拟桌面里运行,更安全,Claude 拿不到你真机的文件。 适合开发测试,不适合需要操控本地应用的场景。

实用场景示例

场景 1:批量下载与整理

> 打开 Chrome,去 example.com/reports,把所有 2026 年的 PDF 报告下载到 ~/Downloads/reports/ 文件夹,
> 下载完成后按年月重命名(格式:YYYY-MM-报告名.pdf)

场景 2:填写重复性表单

> 打开这个 Google Form 链接,用下面的信息填写:
> 姓名:张三,邮箱:xxx@gmail.com,选项:选第二个,提交。
> 然后截图给我看确认页面。

场景 3:软件配置

> 打开 VS Code Settings,把字体大小改成 16,开启 Word Wrap,
> 把 Terminal 默认 shell 改成 zsh,截图给我看最终结果。

场景 4:数据采集

> 打开 Chrome,去这 5 个竞品网站,截图每个网站的定价页,
> 整理成一个 Markdown 对比表格。

当前限制与注意事项

  • 速度慢:每个截图-分析-操作循环约 2-5 秒,100 步操作可能需要 5-10 分钟
  • 偶有误点:Claude 通过像素坐标点击,界面变化(弹窗、加载延迟)可能导致误操作
  • 不适合高安全性场景:不要让它操控密码管理器、银行 App、代码部署按钮
  • Mac 优先:桌面扩展目前 Mac 最稳定,Windows 的桌面版支持正在完善
  • 需要监看:建议第一次运行时在旁边看着,避免意外误操作

Computer Use 的未来

Anthropic 明确把 Computer Use 定位为"Software 3.0"的基础能力——AI 不再只生成代码,而是直接操控电脑完成任务。 预计 2026 年底前 Computer Use 会从 Beta 升级为稳定版,速度和准确率都会有显著提升。 Claude Pro 用户(通过 ClaudeMax ¥210/月起)可以在桌面扩展里直接体验,无需额外费用。