LlamaIndex MCP 演示

本仓库演示了如何使用 LlamaCloud 创建 MCP 服务器，以及如何使用 LlamaIndex 作为 MCP 客户端。

LlamaCloud 作为 MCP 服务器

要提供一个可以被像 Claude Desktop 这样的客户端使用的本地 MCP 服务器，你可以使用 mcp-server.py。你可以使用它来提供一个工具，该工具将使用 RAG 为 Claude 提供最新的私有信息，以便它可以用来回答问题。你可以根据需要提供任意数量的此类工具。

设置你的 LlamaCloud 索引

1. 获取一个 LlamaCloud 账户
2. 创建一个新的索引，使用你想要的任何数据源。在我们的例子中，我们使用了 Google Drive，并提供了 LlamaIndex 文档的一个子集作为数据源。如果你只想测试一下，你也可以直接将文档上传到索引。
3. 从 LlamaCloud UI 获取一个 API 密钥

设置你的 MCP 服务器

1. 克隆此仓库
2. 创建一个 .env 文件并添加两个环境变量：
   • LLAMA_CLOUD_API_KEY - 你在上一步中获得的 API 密钥
   • OPENAI_API_KEY - 一个 OpenAI API 密钥。这用于驱动 RAG 查询。如果你不想使用 OpenAI，你可以使用 任何其他 LLM。

现在让我们看看代码。首先，你实例化一个 MCP 服务器：

mcp = FastMCP('llama-index-server')

然后，你使用 @mcp.tool() 装饰器定义你的工具：

@mcp.tool()
def llama_index_documentation(query: str) -> str:
    """Search the llama-index documentation for the given query."""

    index = LlamaCloudIndex(
        name="mcp-demo-2",
        project_name="Rando project",
        organization_id="e793a802-cb91-4e6a-bd49-61d0ba2ac5f9",
        api_key=os.getenv("LLAMA_CLOUD_API_KEY"),
    )

    response = index.as_query_engine().query(query + " Be verbose and include code examples.")

    return str(response)

在这里，我们的工具被称为 llama_index_documentation；它实例化一个名为 mcp-demo-2 的 LlamaCloud 索引，然后将其用作查询引擎来回答查询，并在提示中包含一些额外的指令。你将在下一节中获得有关如何设置 LlamaCloud 索引的说明。

最后，你运行服务器：

if __name__ == "__main__":
    mcp.run(transport="stdio")

请注意 stdio 传输，用于与 Claude Desktop 通信。

配置 Claude Desktop

1. 安装 Claude Desktop
2. 在菜单栏中选择 Claude -> Settings -> Developer -> Edit Config。这将显示一个配置文件，你可以在你喜欢的文本编辑器中编辑它。
3. 你希望你的配置看起来像这样（确保将 $YOURPATH 替换为仓库的路径）：

{
    "mcpServers": {
        "llama_index_docs_server": {
            "command": "poetry",
            "args": [
                "--directory",
                "$YOURPATH/llamacloud-mcp",
                "run",
                "python",
                "$YOURPATH/llamacloud-mcp/mcp-server.py"
            ]
        }
    }
}

确保在配置完文件后重启 Claude Desktop。

现在你就可以查询了！你应该在 Claude Desktop 的查询框下方看到一个工具图标，其中列出了你的服务器，如下所示：

LlamaIndex 作为 MCP 客户端

LlamaIndex 也有一个 MCP 客户端集成，这意味着你可以将任何 MCP 服务器变成一组可以被代理使用的工具。你可以在 mcp-client.py 中看到这一点，我们在其中使用 BasicMCPClient 连接到我们的本地 MCP 服务器。

为了演示的简单性，我们使用上面刚刚设置的同一个 MCP 服务器。通常，你不会使用 MCP 将 LlamaCloud 连接到 LlamaIndex 代理，你会使用 QueryEngineTool 并将其直接传递给代理。

设置你的 MCP 服务器

要提供一个可以被 HTTP 客户端使用的本地 MCP 服务器，我们需要稍微修改 mcp-server.py 以使用 run_sse_async 方法而不是 run。你可以在 mcp-http-server.py 中找到它。

mcp = FastMCP('llama-index-server',port=8000)

asyncio.run(mcp.run_sse_async())

从 MCP 服务器获取你的工具

mcp_client = BasicMCPClient("http://localhost:8000/sse")
mcp_tool_spec = McpToolSpec(
    client=mcp_client,
    # Optional: Filter the tools by name
    # allowed_tools=["tool1", "tool2"],
)

tools = mcp_tool_spec.to_tool_list()

创建一个代理并提出一个问题

llm = OpenAI(model="gpt-4o-mini")

agent = FunctionAgent(
    tools=tools,
    llm=llm,
    system_prompt="You are an agent that knows how to build agents in LlamaIndex.",
)

async def run_agent():
    response = await agent.run("How do I instantiate an agent in LlamaIndex?")
    print(response)

if __name__ == "__main__":
    asyncio.run(run_agent())

你都设置好了！你现在可以使用代理来回答来自你的 LlamaCloud 索引的问题。