Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Размещённый MCP-сервер для веб-скрейпинга для ИИ-агентов

Подключите агента к https://mcp.spicrawl.com/mcp и он сможет читать любой URL как Markdown или JSON, запускать пакетные задачи, повторно использовать сессии с входом и проверять собственное использование, а вам не придётся писать код скрейпинга.

Что делает MCP-сервер Spicrawl

Сервер предоставляет ИИ-агенту Spicrawl как встроенные инструменты. Он размещён по адресу https://mcp.spicrawl.com/mcp, работает по MCP Streamable HTTP и аутентифицируется вашим собственным API-ключом в виде bearer-токена. Каждый вызов инструмента выполняется под этим ключом так же, как если бы вы вызвали API сами: те же лимиты и те же кредиты.

Настройте одной командой

CLI Spicrawl добавляет MCP-сервер и навык агента Spicrawl в ваш клиент и показывает изменения до их применения:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Или добавьте вручную. Храните ключ в переменной окружения SPICRAWL_API_KEY и ссылайтесь на неё из конфигурации, чтобы ключ никогда не попал в коммитимый файл:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Проверьте подключение командой claude mcp list, codex mcp list или в настройках MCP вашего клиента. Вы должны увидеть 25 инструментов spicrawl_*.

Инструменты, сгруппированные по задачам

ЗадачаИнструменты
Прочитайте одну страницуspicrawl_scrape: Markdown (по умолчанию), текст, HTML или JSON, с необязательным рендерингом, фильтрами по тегам, извлечением данных и действиями в браузере
Много URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Страницы с входомspicrawl_session_create, _list, _get, _context, _release, _delete
Отладьте сбойspicrawl_requests_list, spicrawl_request_get
Кредиты и использованиеspicrawl_usage, _summary, _reconciliation (нужна область доступа read)
Ищите информациюspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

Инструмент для подключения к удалённому браузеру по CDP есть в списке, но скоро появится.

Первая задача для пробы

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Агент вызывает spicrawl_scrape с URL и format: "markdown" и добавляет render: true, только если первый результат пуст. Подробное руководство — в как скрейпить сайт с помощью Claude Code.

Держите агентов дешёвыми и безопасными

  • Сначала самое дешёвое. Обычный запрос стоит 1 кредит, рендеринг JavaScript — 3, полный рендеринг в браузере — 8. Агентам стоит переходить на следующий уровень по одному шагу и останавливаться на первом, который сработал.
  • Ограничьте каждый вызов. Задайте max_cost, и запрос, который обошёлся бы дороже, отклоняется до выполнения.
  • Сбои бесплатны. Ошибки и заблокированные страницы стоят 0 кредитов.
  • Тестируйте без трат. Ключи spicrawl_test_ работают в песочнице и никогда не тратят реальные кредиты.
  • Ограничьте, что может делать ключ. По умолчанию ключи получают области доступа scrape, batch и sessions; выдавайте read, только если агент должен видеть использование.

Чего он не делает

  • Без обхода. Spicrawl не переходит по ссылкам и не находит URL. Дайте агенту URL или список из sitemap и используйте пакетное задание для многих страниц.
  • Скоро: управляемые прокси, режим stealth, подключение к удалённому браузеру и извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси без доплаты и извлекать данные с помощью CSS-селекторов или JSON Schema.

Сравнение с другими MCP-серверами для скрейпинга

Большинство API для скрейпинга теперь поставляются с MCP-сервером. Что предлагает каждый, по нашим страницам сравнения, которые ссылаются на документацию каждого поставщика:

ПровайдерИх MCP-сервер
FirecrawlРазмещённый MCP-сервер, который работает без ключа, с входом через OAuth или с API-ключом.
ZenRowsРазмещённый MCP-сервер, а также набор инструментов для агентов из навыков и плагинов для Claude Code, Cursor и Codex.
Context.devРазмещённый MCP-сервер, в который входят через OAuth вместо API-ключа, плюс навык агента.
ScrapingBeeРазмещённый MCP-сервер с инструментами для загрузки страниц, текста, скриншотов, результатов поиска и использования.
Bright DataMCP-сервер под лицензией MIT, размещённый или запускаемый локально. Бесплатный режим по умолчанию скрейпит страницы в Markdown и ищет в вебе; режим Pro добавляет 60+ инструментов.
Jina ReaderРазмещённый MCP-сервер с инструментами для чтения URL, создания скриншотов и поиска. Чтение работает без ключа.
ApifyОфициальный MCP-сервер, который позволяет агентам находить и запускать готовые скрейперы (Actors).
BrowserbaseРазмещённый MCP-сервер на основе Stagehand, который управляет облачным браузером командами на обычном языке.

Выберите сервер Spicrawl, когда ваш агент в основном читает страницы, URL которых у него уже есть, и вам нужны чистый Markdown, сессии для страниц с входом и сбои, которые ничего не стоят. Выберите тот, который обходит сайты или ищет, когда агенту сначала нужно найти страницы.

Часто задаваемые вопросы

Что такое MCP-сервер веб-скрейпинга?

Это сервер Model Context Protocol, который даёт ИИ-агенту инструменты для загрузки веб-страниц. Вместо написания HTTP-кода агент вызывает инструмент, например spicrawl_scrape, с URL и получает страницу в виде Markdown, текста, HTML или JSON.

С какими ИИ-агентами и редакторами он работает?

Любой MCP-клиент, который умеет подключаться к удалённому серверу по Streamable HTTP и отправлять заголовок Authorization, включая Claude Code, Cursor, VS Code и Codex CLI. Claude Desktop может подключаться через мост mcp-remote.

Бесплатен ли MCP-сервер Spicrawl?

Spicrawl бесплатен в бета-версии, без банковской карты. Вызовы инструментов расходуют те же кредиты, что и API: 1 за обычный запрос, 3 за рендеринг JavaScript и 8 за рендеринг в полноценном браузере. Неудачные и заблокированные запросы стоят 0.

Может ли MCP-сервер обойти весь сайт?

Нет. Spicrawl не находит URL и не переходит по ссылкам. Дайте агенту нужные URL или список из карты сайта и используйте пакетную задачу для множества страниц.

Как защитить свой API-ключ?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Работает ли он со страницами с входом?

Да, для аккаунтов, которыми вы владеете или которыми вам разрешено пользоваться. Создайте сессию с помощью spicrawl_session_create, войдите с помощью действий в браузере, затем передавайте ID сессии в следующих скрейпах, чтобы cookie и хранилище браузера сохранялись.