计算机使用 AI SDK

• 我们构建了一个控制计算机的 MCP 服务器

• 你听说过 OpenAI 的 operator，也听说过 Claude 的 computer use。现在有了开源替代方案：来自 screenpipe 的计算机使用 SDK。

• 它是 macOS 原生的——没有虚拟机的麻烦，没有护栏限制。你可以随心所欲地将其与任何应用程序或网站一起使用。

• 没有基于像素的麻烦——它依赖于底层桌面渲染元素，使其比基于像素的视觉模型更快、更可靠。

• 现在，你可以使用我们的 MCP 服务器和客户端，通过我们简单的 Hello World 模板开始构建你自己的代理。

• 我们的 MCP 服务器开箱即用提供以下工具：

  • 启动应用程序
  • 读取内容
  • 点击
  • 输入文本
  • 按键

• 这些将是计算原语，允许 AI 控制你的计算机并为你完成任务。你会构建什么？快来 https://screenpi.pe 看看我们吧

演示

代理发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新的 WhatsApp 消息

打开 Arc 浏览器

开始使用

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# 安装 Rust (如果尚未安装)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安装 Node.js 和 npm (如果尚未安装)
# 访问 https://nodejs.org/ 或使用 nvm

# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
# 保持运行

选项 1：CLI 界面

# 在新终端中运行 CLI 界面客户端（适合调试）
cd mcp-client-cli-interface
npm install  # 首先安装依赖项

# 将你的 Anthropic API 密钥设置为环境变量
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 替换为你的实际 Anthropic API 密钥
# 对于 Windows，使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 对于永久设置，添加到你的 shell 配置文件 (.bashrc, .zshrc 等)

npx tsx main.ts

选项 2：Web 应用界面

# 在新终端中运行 CLI 界面客户端（适合调试）
cd mcp-client-nextjs
npm install  # 首先安装依赖项

# 通过命令行设置 API 密钥
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # 将 XXXXXXXX 替换为你的实际密钥
# 或者追加，如果你想保留其他 env 变量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 前往提供的 localhost 网页

我可以用它做什么？

• 构建自定义的代理工作流程来执行各种操作
• 构建自定义 UI，方便用户自动化他们的计算机工作
• 保存工作流程并在 cron 中运行
• 与其他 MCP 服务器结合使用以完成一些很酷的事情，例如：根据我一天中与人交谈的历史记录填写 Google 表格

在 github issues 中请求功能和端点

https://github.com/m13v/computer-use-ai-sdk/issues/new/choose