Размещённый MCP-сервер для веб-скрейпинга для ИИ-агентов
Подключите агента к https://mcp.spicrawl.com/mcp и он сможет читать любой URL как Markdown или JSON, запускать пакетные задачи, повторно использовать сессии с входом и проверять собственное использование, а вам не придётся писать код скрейпинга.
Что делает MCP-сервер Spicrawl
Сервер предоставляет ИИ-агенту Spicrawl как встроенные инструменты. Он размещён по адресу https://mcp.spicrawl.com/mcp, работает по MCP Streamable HTTP и аутентифицируется вашим собственным API-ключом в виде bearer-токена. Каждый вызов инструмента выполняется под этим ключом так же, как если бы вы вызвали API сами: те же лимиты и те же кредиты.
Настройте одной командой
CLI Spicrawl добавляет MCP-сервер и навык агента Spicrawl в ваш клиент и показывает изменения до их применения:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexИли добавьте вручную. Храните ключ в переменной окружения SPICRAWL_API_KEY и ссылайтесь на неё из конфигурации, чтобы ключ никогда не попал в коммитимый файл:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Проверьте подключение командой claude mcp list, codex mcp list или в настройках MCP вашего клиента. Вы должны увидеть 25 инструментов spicrawl_*.
Инструменты, сгруппированные по задачам
| Задача | Инструменты |
|---|---|
| Прочитайте одну страницу | spicrawl_scrape: Markdown (по умолчанию), текст, HTML или JSON, с необязательным рендерингом, фильтрами по тегам, извлечением данных и действиями в браузере |
| Много URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Страницы с входом | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Отладьте сбой | spicrawl_requests_list, spicrawl_request_get |
| Кредиты и использование | spicrawl_usage, _summary, _reconciliation (нужна область доступа read) |
| Ищите информацию | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
Инструмент для подключения к удалённому браузеру по CDP есть в списке, но скоро появится.
Первая задача для пробы
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Агент вызывает spicrawl_scrape с URL и format: "markdown" и добавляет render: true, только если первый результат пуст. Подробное руководство — в как скрейпить сайт с помощью Claude Code.
Держите агентов дешёвыми и безопасными
- Сначала самое дешёвое. Обычный запрос стоит 1 кредит, рендеринг JavaScript — 3, полный рендеринг в браузере — 8. Агентам стоит переходить на следующий уровень по одному шагу и останавливаться на первом, который сработал.
- Ограничьте каждый вызов. Задайте
max_cost, и запрос, который обошёлся бы дороже, отклоняется до выполнения. - Сбои бесплатны. Ошибки и заблокированные страницы стоят 0 кредитов.
- Тестируйте без трат. Ключи
spicrawl_test_работают в песочнице и никогда не тратят реальные кредиты. - Ограничьте, что может делать ключ. По умолчанию ключи получают области доступа
scrape,batchиsessions; выдавайтеread, только если агент должен видеть использование.
Чего он не делает
- Без обхода. Spicrawl не переходит по ссылкам и не находит URL. Дайте агенту URL или список из sitemap и используйте пакетное задание для многих страниц.
- Скоро: управляемые прокси, режим stealth, подключение к удалённому браузеру и извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси без доплаты и извлекать данные с помощью CSS-селекторов или JSON Schema.
Сравнение с другими MCP-серверами для скрейпинга
Большинство API для скрейпинга теперь поставляются с MCP-сервером. Что предлагает каждый, по нашим страницам сравнения, которые ссылаются на документацию каждого поставщика:
| Провайдер | Их MCP-сервер |
|---|---|
| Firecrawl | Размещённый MCP-сервер, который работает без ключа, с входом через OAuth или с API-ключом. |
| ZenRows | Размещённый MCP-сервер, а также набор инструментов для агентов из навыков и плагинов для Claude Code, Cursor и Codex. |
| Context.dev | Размещённый MCP-сервер, в который входят через OAuth вместо API-ключа, плюс навык агента. |
| ScrapingBee | Размещённый MCP-сервер с инструментами для загрузки страниц, текста, скриншотов, результатов поиска и использования. |
| Bright Data | MCP-сервер под лицензией MIT, размещённый или запускаемый локально. Бесплатный режим по умолчанию скрейпит страницы в Markdown и ищет в вебе; режим Pro добавляет 60+ инструментов. |
| Jina Reader | Размещённый MCP-сервер с инструментами для чтения URL, создания скриншотов и поиска. Чтение работает без ключа. |
| Apify | Официальный MCP-сервер, который позволяет агентам находить и запускать готовые скрейперы (Actors). |
| Browserbase | Размещённый MCP-сервер на основе Stagehand, который управляет облачным браузером командами на обычном языке. |
Выберите сервер Spicrawl, когда ваш агент в основном читает страницы, URL которых у него уже есть, и вам нужны чистый Markdown, сессии для страниц с входом и сбои, которые ничего не стоят. Выберите тот, который обходит сайты или ищет, когда агенту сначала нужно найти страницы.
Часто задаваемые вопросы
Что такое MCP-сервер веб-скрейпинга?
Это сервер Model Context Protocol, который даёт ИИ-агенту инструменты для загрузки веб-страниц. Вместо написания HTTP-кода агент вызывает инструмент, например spicrawl_scrape, с URL и получает страницу в виде Markdown, текста, HTML или JSON.
С какими ИИ-агентами и редакторами он работает?
Любой MCP-клиент, который умеет подключаться к удалённому серверу по Streamable HTTP и отправлять заголовок Authorization, включая Claude Code, Cursor, VS Code и Codex CLI. Claude Desktop может подключаться через мост mcp-remote.
Бесплатен ли MCP-сервер Spicrawl?
Spicrawl бесплатен в бета-версии, без банковской карты. Вызовы инструментов расходуют те же кредиты, что и API: 1 за обычный запрос, 3 за рендеринг JavaScript и 8 за рендеринг в полноценном браузере. Неудачные и заблокированные запросы стоят 0.
Может ли MCP-сервер обойти весь сайт?
Нет. Spicrawl не находит URL и не переходит по ссылкам. Дайте агенту нужные URL или список из карты сайта и используйте пакетную задачу для множества страниц.
Как защитить свой API-ключ?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Работает ли он со страницами с входом?
Да, для аккаунтов, которыми вы владеете или которыми вам разрешено пользоваться. Создайте сессию с помощью spicrawl_session_create, войдите с помощью действий в браузере, затем передавайте ID сессии в следующих скрейпах, чтобы cookie и хранилище браузера сохранялись.