Живые данные мира для агенты
Откройте мировые данные для своих агентов и систем, создавайте продукты лучше.
Начните с рабочего примера
Open-source инструменты, плагины и SDK на основе Spicrawl. Клонируйте, добавьте свой API-ключ и запускайте.
docs2skill
От сайта документации к навыку агента и llms.txt.
agent-plugins
Плагины для скрейпинга для агентов для написания кода.
mcp
MCP-сервер: любой URL в Markdown или JSON.
price-tracker
Оповещения о ценах и наличии для любого магазина.
change-monitor
Следите за страницей, получайте diff при её изменении.
n8n-nodes-spicrawl
Узел n8n: scrape, extract, инструмент агента.
langchain-spicrawl
Загрузчик LangChain: страницы в Markdown для RAG.
langchain-spicrawl-js
Загрузчик LangChain для TypeScript.
sdk
TypeScript SDK для API Spicrawl.
Всё, что умеет API веб-скрейпинга Spicrawl
Вывод в Markdown и JSON, рендеринг JavaScript, обработка Cloudflare и антибот-защиты, действия в браузере, сессии, пакетные задачи до 10,000 URL, структурированное извлечение, перехват сети, скриншоты и PDF, а также кэширование. Каждая из них — параметр одного и того же API, и каждая доступна также из CLI и MCP-сервера.
Обычный, JavaScript или полноценный браузер
- 1, 3 или 8 кредитов в зависимости от уровня. mode: auto начинает с дешёвого и поднимается выше, только когда нужно.
- Вы платите за уровень, который обслужил. Сбои стоят 0.
- js_render
- mode
- wait_for
curl https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/products", "js_render": true, "wait_for": ".product-card", "response_format": "json" }'spicrawl scrape <url> --render
Читать руководствоПопробуйте на странице, которую скрейпите сегодня
Один API-ключ, 1,000 бесплатных кредитов в месяц, без банковской карты.
Up to 97% fewer tokens than raw HTML
Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.
Измерьте экономию на своих URL
Прогоните одни и те же страницы обоими способами и сравните число токенов.
Two ways in: ask your agent, or call the API
Describe the page in plain words, or send one POST request. Both return the same clean output.
Просто спросите свой ИИ
Подключитесь один раз, затем просите обычными словами. Писать код не нужно.
Настроить в Claude CodeВызовите API
Один POST возвращает Markdown, JSON или HTML. Пакеты до 10,000 URL.
Читать документацию API
Подключите своего ИИ-агента через Spicrawl MCP
Размещённый MCP-сервер: скрейп, пакеты, сессии и действия в браузере, без связующего кода.
Эндпоинт MCP: https://mcp.spicrawl.com/mcp
- Скрейпинг
- Пакетные задания
- Сессии
- Действия
- История запросов
- Использование
- Документация
Вы ИИ-агент?
Получите навык и начните скрейпинг.
curl -s https://docs.spicrawl.com/skill.mdРаботает с инструментами, которыми вы уже пользуетесь
Дайте агенту доступ к вебу одним промптом
Работает с Claude Code, Cursor, Codex и любым MCP-клиентом.
Get Markdown, JSON or structured data from one request
Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.


# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec | Value || --------- | ------------ || Связь | 2.4 ГГц, BT5 || Батарея | 70 дней |Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.
Полный ответ: статус, URL, движок и данные. Пример страницы.
Информация о странице, правила CSS или JSON Schema с селекторами. Пример страницы.
Шаги, которые нужно выполнить на странице, в рендеринге полноценным браузером.
Scrape JavaScript sites, logins and dynamic pages
Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.
{ "url": "https://shop.example/product/1", "mode": "auto", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- fetch
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 1
Начинает с обычного запроса и поднимается до браузера, только если сайт его блокирует. Заблокированные запросы ничего не стоят.
Рендерите JavaScript в настоящем браузере до чтения страницы.
Обычные запросы несут отпечаток TLS и HTTP/2 настоящего браузера.
Прямое подключение или ваш собственный прокси, без надбавки.
Сохраняйте cookie и хранилище между запросами, чтобы вход сохранялся.
Клик, ввод, прокрутка и выполнение JavaScript до чтения страницы.
Пропускайте изображения, шрифты и медиа для более быстрой загрузки.
Записывайте вызовы API, которые страница делает при загрузке.
Включено по умолчанию на 48 часов. Повторы быстрее, тарифицируются так же.
Test in the dashboard, then ship with the API or CLI
Try a URL, copy the request, and run it from your code or your terminal.
Дашборд
Запускайте тестовые запросы, читайте логи и использование и управляйте API-ключами.
Открыть панельДокументация
Руководства, справочник API и спецификация OpenAPI для ваших инструментов.
Читать документациюTry what people build with Spicrawl
Small working tools, each built on the Spicrawl API.
- change-monitor.spicrawl.com
Мониторинг изменений
Перепроверьте страницу и посмотрите, что изменилось.
Попробовать вживую - docs2skill.spicrawl.com
Документация → Навык
Превратите сайт с документацией в навык агента.
Попробовать вживую
What you can build with a web scraping API
Each job links to a guide in the docs, with working code.
- 01
Подавайте данные в LLM и конвейеры RAG
Превращайте статьи, документацию и PDF в чистый Markdown, готовый для эмбеддингов.
Markdown для LLM - 02
Дайте ИИ-агентам доступ к вебу
Подключите Claude Code, Cursor или Codex, чтобы читать живые страницы.
Создавайте с агентами - 03
Сбор данных о товарах и ценах
Получайте названия, цены и наличие в JSON.
Извлечение структурированных данных - 05
Читайте страницы за входом
Войдите один раз, используйте сессию на каждой странице.
Использовать сессии - 06
Получите данные, стоящие за страницей
Читайте JSON, который загружает страница, вместо разбора HTML.
Захват сетевых вызовов
Платите за страницу, только когда она сработала
Вы получаете 1,000 бесплатных кредитов каждый месяц, без банковской карты. Неудачный запрос, проверка на бота или тайм-аут ничего не стоят. Бесплатно в бета-версии.
1,000 бесплатных кредитов в месяц — это 1 000 обычных страниц, 333 страницы с JavaScript или 125 страниц с полным рендерингом в браузере.
Часто задаваемые вопросы
Что такое Spicrawl?
Spicrawl — API для веб-скрейпинга, который превращает любой URL в чистый Markdown, HTML, PDF или структурированный JSON для вашего кода или ИИ-агента через API, CLI или MCP-сервер.
Бесплатен ли Spicrawl?
Да. Он бесплатен в бета-версии, с 1,000 кредитов в месяц и без банковской карты.
Можно ли скрейпить JavaScript-сайты?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Может ли Spicrawl обходить защиту от ботов, например Cloudflare?
Часто, но не всегда. Используйте отпечаток настоящего браузера, рендеринг в браузере или собственный прокси. Проверка на бота возвращает понятную ошибку и ничего не стоит. Stealth-режима и управляемых прокси в бета-версии нет.
Можно ли использовать Spicrawl с ИИ-агентами?
Да. Размещённый MCP-сервер позволяет Claude Code, Cursor и Codex скрейпить страницы, запускать пакеты, повторно использовать сессии и выполнять действия в браузере. Для настройки выполните spicrawl init.
Стоят ли неудачные запросы кредитов?
Нет. Кредиты стоят только успешные запросы: 1 за обычный, 3 за рендеринг JavaScript и 8 за полноценный браузер. Ошибки, проверки на бота и тайм-ауты бесплатны.