Smooth Operator Agent Tools - Python 库

这是 Smooth Operator Agent Tools 的官方 Python 库实现，Smooth Operator Agent Tools 是一套最先进的工具包，供程序员在 Windows 系统上开发计算机使用代理（Computer Use Agents）。

概述

Smooth Operator Agent Tools 是一套强大的工具包，可以处理与 Windows 自动化树和 Playwright 浏览器控件交互的复杂任务，同时提供高级 AI 功能，例如通过屏幕截图和文本描述识别 UI 元素。

这个 Python 库为 Smooth Operator Tools Server API 提供了一个方便的封装器，使您可以轻松地将这些功能集成到您的 Python 应用程序中。

所有功能都可以在代码实现之前通过方便的 Windows 用户界面进行测试和探索。 在 Smooth Operator Tools UI 试用它们。

安装

pip install smooth-operator-agent-tools

前提条件

Google Chrome

Smooth Operator Agent Tools 库需要系统上安装 Google Chrome（或兼容的 Chromium 内核浏览器），以便浏览器自动化功能正常工作。

服务器安装

Smooth Operator 客户端库包含一个服务器组件，需要在您的应用程序数据目录中安装。 服务器文件与库一起打包，并在首次使用时自动解压缩。

首次执行

首次使用该库时，它将自动执行以下操作：

1. 创建目录 %APPDATA%\SmoothOperator\AgentToolsServer（或您的操作系统上的等效目录）
2. 从包中提取服务器文件
3. 启动服务器进程

请注意，要使 Chrome 自动化功能正常工作，您需要确保已按照“前提条件”部分中的说明安装了 Node.js 和 Playwright。

对于应用程序安装程序

如果您正在构建包含此库的应用程序安装程序，则应包含在应用程序安装过程中安装 Node.js 和 Playwright 的步骤，以获得更好的用户体验。 有关所需的安装步骤，请参见“前提条件”部分。

用法

from smooth_operator_agent_tools import SmoothOperatorClient

# 使用您的 API 密钥初始化客户端，在 https://screengrasp.com/api.html 免费获取
client = SmoothOperatorClient(api_key="YOUR_API_KEY")

# 启动服务器 - 这需要一些时间
client.start_server()

# 截取屏幕截图
screenshot = client.screenshot.take()

# 获取系统概览
overview = client.system.get_overview()

# 执行鼠标点击
client.mouse.click(500, 300)

# 通过描述查找并单击 UI 元素
client.mouse.click_by_description("Submit button")

# 输入文本
client.keyboard.type("Hello, world!")

# 控制 Chrome 浏览器
client.chrome.open_chrome("https://www.example.com")
client.chrome.get_dom()

# 您还可以在许多对象上使用 to_json_string() 方法
# 获取一个 JSON 字符串，该字符串可以轻松地用于 LLM 的提示中
# 以便更多地利用 AI 进行自动化决策

功能

• 屏幕截图和分析：捕获屏幕截图并分析 UI 元素
• 鼠标控制：使用坐标或 AI 驱动的元素检测进行精确的鼠标操作
• 键盘输入：键入文本并发送组合键
• Chrome 浏览器控制：导航、与元素交互并执行 JavaScript
• Windows 自动化：与 Windows 应用程序和 UI 元素交互
• 系统操作：打开应用程序并管理系统状态

文档

有关详细的 API 文档，请访问：

• 使用指南: 常见用例的详细示例和说明。
• 示例项目: 下载，按照逐步说明进行操作，并在几分钟内运行您的第一个自动化。
• 文档: 详细记录了服务器所有 API 端点，这些端点在内部执行工作。

许可证

该项目已获得 MIT 许可证的许可 - 有关详细信息，请参见 LICENSE 文件。