MCP 服务器

Isaac Sim MCP Extension and MCP Server

Isaac 模拟 MCP 扩展和服务器

omni-mcp

开发者工具

访问服务器

README

Isaac Sim MCP 扩展和 MCP 服务器

MCP 服务器及其扩展利用模型上下文协议 (MCP) 框架，实现对 NVIDIA Isaac Sim 的自然语言控制，将对话式 AI 输入转换为精确的模拟操作。此扩展将 MCP 生态系统与具身智能应用连接起来。

功能

Isaac Sim 的自然语言控制
动态机器人定位和移动
自定义照明和场景创建
具有障碍物导航的高级机器人模拟
执行前交互式代码预览

要求

NVIDIA Isaac Sim 4.2.0 或更高版本
Python 3.9+
用于 MCP 集成的 Cursor AI 编辑器

强制性先决条件

安装 uv/uvx: https://github.com/astral-sh/uv
安装 mcp[cli] 到基础环境: uv pip install "mcp[cli]"

安装

cd ~/Documents
git clone https://github.com/omni-mcp/isaac-sim-mcp

安装并启用扩展

Isaac Sim 扩展文件夹应指向您的项目文件夹：

扩展位置：~/Documents/isaac-sim-mcp
扩展 ID：isaac.sim.mcp_extension

# 在 Isaac Simulation 中启用扩展
# cd 到您的 Isaac Sim 安装目录
# 您可以使用 --/persistent/isaac/asset_root/default="<您的资产位置>" 将资产根目录更改为本地
# 默认情况下，它是一个 AWS 存储桶，例如 --/persistent/isaac/asset_root/default="/share/Assets/Isaac/4.2"

cd ~/.local/share/ov/pkg/isaac-sim-4.2.0
./isaac-sim.sh --ext-folder /home/ubuntu/Documents/isaac-sim-mcp/ --enable isaac.sim.mcp_extension

验证扩展是否成功启动。输出应如下所示：

[7.160s] [ext: isaac.sim.mcp_extension-0.1.0] startup
trigger  on_startup for:  isaac.sim.mcp_extension-0.1.0
settings:  {'envPath': '/home/ubuntu/.local/share/ov/data/Kit/Isaac-Sim/4.2/pip3-envs/default', 'archiveDirs': {}, 'installCheckIgnoreVersion': False, 'allowOnlineIndex': True, 'tryUpgradePipOnFirstUse': False}
Server thread startedIsaac Sim MCP server started on localhost:8766

默认情况下，该扩展应在 localhost:8766 上监听。

安装 MCP 服务器

转到终端并运行，确保 mcp 服务器可以在终端中使用基本 venv 成功启动。
```
uv pip install "mcp[cli]"
uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py
```
启动 Cursor 并打开文件夹 ~/Documents/isaac-sim-mcp
转到 Cursor 首选项，选择 MCP 并添加全局 MCP 服务器：

{
    "mcpServers": {
        "isaac-sim": {
            "command": "uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py"
        }
    }
}

开发模式

要开发 MCP 服务器，请启动 MCP 检查器：

uv run mcp dev ~/Documents/isaac-sim-mcp/isaac_mcp/server.py

您可以通过 http://localhost:5173 访问调试页面

模拟示例提示

注意：在键入提示之前，切换到聊天对话框左上角的“代理”模式，并选择 sonnet 3.7 以获得更好的编码效果。

机器人派对

# 创建机器人并改善照明
在当前场景中，在位置 [3, 0, 0] 和 [6, 3, 0] 之间创建 3x3 frankas 机器人
在执行代码之前，始终使用 get_scene_info 检查连接。
在舞台上添加更多光线


# 在特定位置添加特定机器人
在 [3, 9, 0] 创建一个 g1 机器人
在位置 [2, 1, 0] 添加 Go1 机器人
将 go1 机器人移动到 [1, 1, 0]

工厂设置

# 连续创建多个机器人
在当前场景中，在位置 [3, 0, 0] 和 [6, 3, 0] 之间创建 3x3 frankas 机器人
在执行代码之前，始终使用 get_scene_info 检查连接。
在舞台上添加更多光线

从头开始进行 Vibe 编码

参考 g1.py 创建一个新的 g1 机器人模拟，并允许机器人 g1 从 [0, 0, 0] 直走到 [3, 0, 0] 和 [3, 3, 0]
在舞台上创建更多障碍物

MCP 工具

Isaac Sim MCP 扩展提供了一些专用工具，可以通过 Cursor AI 中的自然语言访问。这些工具使您能够使用简单的命令控制和操作 NVIDIA Isaac Sim：

连接和场景管理

get_scene_info - Ping Isaac Sim 扩展服务器以验证连接状态并检索基本场景信息。始终首先使用此命令以确保连接处于活动状态。

物理和环境创建

create_physics_scene - 创建具有可配置参数的物理场景：
- objects：要创建的对象列表（每个对象都具有类型和位置）
- floor：是否创建地面（默认值：true）
- gravity：定义重力方向和大小的向量（默认值：[0, -0.981, 0]）
- scene_name：场景名称（默认值：“physics_scene”）

机器人创建和控制

create_robot - 在场景中的指定位置创建机器人：
- robot_type：要创建的机器人类型（选项：“franka”，“jetbot”，“carter”，“g1”，“go1”）
- position：[x, y, z] 位置坐标

Omniverse Kit 和脚本

omni_kit_command - 执行 Omni Kit 命令：
- command：要执行的 Omni Kit 命令（例如，“CreatePrim”）
- prim_type：命令的原始类型（例如，“Sphere”）
execute_script - 在 Isaac Sim 中执行任意 Python 代码：
- code：要执行的 Python 代码