mcp_web_search

MCP-сервер для веб-поиска, получения контента и скрапинга страниц. Работает через Model Context Protocol — подключается к Claude Desktop и другим MCP-совместимым клиентам.

Возможности

Инструмент	Описание
web_search	Поиск через DuckDuckGo HTML (без API-ключа). Возвращает заголовки, URL и сниппеты
web_fetch	Загрузка страницы и извлечение текстового содержимого. Опционально — список ссылок
web_scrape	Скрапинг через Playwright для динамических/JS-сайтов. Поддержка скриншотов
open_url	Открытие страницы в headless-браузере: заголовок, HTTP-статус, превью контента

Защита от блокировок

• Случайные User-Agent, Accept-Language, Sec-Ch-Ua и другие заголовки
• Случайные задержки между запросами
• Разные профили браузера при каждом запуске Playwright

Установка

git clone <repo-url> mcp_web_search
cd mcp_web_search
npm install
npm run build

Для Playwright необходимо установить Chromium:

npx playwright install chromium

Использование

Ручной запуск

npm run build   # Сборка TypeScript → dist/
npm start       # Запуск через stdio

dev-режим (без сборки)

npm run dev

Подключение к Claude Desktop

Добавь в claude_desktop_config.json:

{
  "mcpServers": {
    "mcp_web_search": {
      "command": "node",
      "args": ["/путь/к/mcp_web_search/dist/index.js"]
    }
  }
}

Инструменты

web_search

Поиск через DuckDuckGo HTML. Не требует API-ключа.

{ "query": "TypeScript MCP server", "maxResults": 10 }

web_fetch

Загрузка страницы и извлечение текста. Быстрее, чем web_scrape, но без поддержки JavaScript.

{ "url": "https://example.com", "withLinks": true, "maxContentLength": 5000 }

web_scrape

Полноценный браузерный скрапинг через Playwright Chromium. Для сайтов, которые рендерят контент на клиенте (React, Vue и т.д.).

{
  "url": "https://example.com",
  "waitForSelector": ".article-body",
  "timeout": 30000,
  "maxContentLength": 15000,
  "takeScreenshot": false
}

open_url

Лёгкое открытие страницы — возвращает заголовок, HTTP-статус и краткое превью.

{ "url": "https://example.com", "timeout": 15000 }

Стек

• TypeScript (ES2022, ESM)
• @modelcontextprotocol/sdk — MCP-сервер
• Playwright — headless-браузер для динамических страниц
• Cheerio — парсинг HTML
• Zod — валидация параметров

Скрипты

Команда	Описание
npm run build	Компиляция TypeScript
npm start	Запуск скомпилированного сервера
npm run dev	Запуск через tsx (без компиляции)

Лицензия

ISC