MCP 服务器

Atla MCP Server

用于代理与Atla模型交互的MCP服务器的初始版本

spisupat

开发者工具

访问服务器

README

Atla MCP 服务器

一个 MCP 服务器实现，为 LLM 提供一个标准化的接口，以便与 Atla SDK 交互并使用我们最先进的评估模型。

功能

使用 Selene 1 评估单个响应
使用 Selene 1 运行批量评估
列出可用的评估指标，创建新的评估指标或按名称获取它们

安装

Fork 该仓库并在本地某个目录中克隆它。这将定义你的 path/to/atla-mcp-server

git clone https://github.com/yourusername/atla-mcp-server.git
cd atla-mcp-server
pwd
# /path/to/atla-mcp-server

如果你的系统上还没有 uv，请将其安装到 /path/to/uv 中 - 你可以在这里找到说明。例如，在 MacOS 上：

brew install uv
which uv
# /path/to/uv

将 requirements 安装到 /path/to/atla-mcp-server 中的虚拟环境中

uv venv
uv sync

将你的 ATLA_API_KEY 添加到你的环境中 - 你可以在这里找到你的 API Key。例如，在 MacOS 上：

export ATLA_API_KEY=<your-atla-api-key> >> ~/.zshrc
source ~/.zshrc
echo $ATLA_API_KEY
# <your-atla-api-key>

如果你正在使用 OpenAI agents 构建，你还需要在你的环境中添加一个 OPENAI_API_KEY

用法

与 OpenAI Agents SDK 一起使用

atla-mcp-server 可以与 OpenAI agents SDK 一起使用，如下所示：

from agents import Agent
from agents.mcp import MCPServerStdio
import os
atla_api_key = os.environ.get("ATLA_API_KEY", "<your_atla_api_key>") # You can also manually set your ATLA_API_KEY here

async with MCPServerStdio(
        params={
            "command": "python",
            "args": ["/path/to/atla-mcp-server/atla-mcp-server.py"],
            "env": {"ATLA_API_KEY":atla_api_key}
        }
    ) as atla_mcp_server:
        # Create an agent with the Atla evaluation server
        agent = Agent(
            name="AssistantWithAtlaEval",
            instructions="""
            You are a helpful assistant. Your goal is to provide high-quality responses to user requests.
            You can use the Atla evaluation tool to improve your responses.
            """,
            mcp_servers=[atla_mcp_server], # You can equip any Agent with Atla's MCP server like this
            model="gpt-4o-mini"
        )

例如，从 /path/to/atla-mcp-server 运行以下命令：

uv run examples/agent_with_atla_eval.py "Write a one-line poem about the ocean. Evaluate it with atla for cliche and improve it once using the feedback."

你也可以在 examples/agent_notebook.ipynb 中尝试此示例的 notebook 版本。

与 Claude Desktop 一起使用

从这里下载 Claude Desktop（这是一个本地服务器，不适用于 web 上的 claude.ai）
点击 Claude → Settings… → Developer → Edit Config
将以下内容添加到 claude_desktop_config.json 文件中（确保将 <your-atla-api-key> 替换为你的实际 Atla API 密钥）：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}

当你重新启动 Claude Desktop 时，你应该在可用的 MCP 服务器列表中看到 atla-mcp-server，以及 Claude 可用的 5 个工具。
Claude 的示例提示：Write a poem, evaluate it with atla for helpfulness

与 Cursor 一起使用

将以下内容添加到你的 .cursor/mcp.json 中：

{
	"mcpServers": {
		"atla-mcp-server": {
			"command": "/path/to/uv",
			"args": [
			"--directory",
			"/path/to/atla-mcp-server",
			"run",
			"atla-mcp-server.py"
			],
			"env": {
			"ATLA_API_KEY": "<your-atla-api-key>"
			}
		}
	}
}