Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Живые данные мира для агенты

Откройте мировые данные для своих агентов и систем, создавайте продукты лучше.

Регистрация(бесплатно в бета-версии)
Попробуйте:

Попробуйте бесплатно: любая публичная страница как чистый Markdown, без регистрации.

Всё, что умеет API веб-скрейпинга Spicrawl

Вывод в Markdown и JSON, рендеринг JavaScript, обработка Cloudflare и антибот-защиты, действия в браузере, сессии, пакетные задачи до 10,000 URL, структурированное извлечение, перехват сети, скриншоты и PDF, а также кэширование. Каждая из них — параметр одного и того же API, и каждая доступна также из CLI и MCP-сервера.

3/3Выдано, тарифицируется по этому уровню

Обычный, JavaScript или полноценный браузер

  • 1, 3 или 8 кредитов в зависимости от уровня. mode: auto начинает с дешёвого и поднимается выше, только когда нужно.
  • Вы платите за уровень, который обслужил. Сбои стоят 0.
  • js_render
  • mode
  • wait_for
render.sh
curl https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/products",    "js_render": true,    "wait_for": ".product-card",    "response_format": "json"  }'

spicrawl scrape <url> --render

Читать руководство

Изучить документацию API

Попробуйте на странице, которую скрейпите сегодня

Один API-ключ, 1,000 бесплатных кредитов в месяц, без банковской карты.

Up to 97% fewer tokens than raw HTML

Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.

Страница документации Spicrawl
−97%токенов
GitHub README
−94%токенов
Статья Википедии
−76%токенов
Как мы измеряли

Измерьте экономию на своих URL

Прогоните одни и те же страницы обоими способами и сравните число токенов.

Two ways in: ask your agent, or call the API

Describe the page in plain words, or send one POST request. Both return the same clean output.

  1. Просто спросите свой ИИ

    Подключитесь один раз, затем просите обычными словами. Писать код не нужно.

    Настроить в Claude Code
  2. Вызовите API

    Один POST возвращает Markdown, JSON или HTML. Пакеты до 10,000 URL.

    Читать документацию API

Подключите своего ИИ-агента через Spicrawl MCP

Размещённый MCP-сервер: скрейп, пакеты, сессии и действия в браузере, без связующего кода.

Эндпоинт MCP: https://mcp.spicrawl.com/mcp

  • Скрейпинг
  • Пакетные задания
  • Сессии
  • Действия
  • История запросов
  • Использование
  • Документация
Claude Code скрейпит страницу

Вы ИИ-агент?

Получите навык и начните скрейпинг.

$curl -s https://docs.spicrawl.com/skill.md

Смотреть навык llms.txt

Работает с инструментами, которыми вы уже пользуетесь

Дайте агенту доступ к вебу одним промптом

Работает с Claude Code, Cursor, Codex и любым MCP-клиентом.

Get Markdown, JSON or structured data from one request

Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.

example.com/product/1
Знакомьтесь: Model X — точность в каждом клике
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00В наличии★ 4.6 (1,284)
Приёмник 2.4 GHz с низкой задержкой, 70 дней работы от батареи и бесшумные переключатели.
ХарактеристикиЗначение
Подключение2.4 GHz, BT5Батарея70 дней
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec      | Value        || --------- | ------------ || Связь     | 2.4 ГГц, BT5 || Батарея   | 70 дней     |
Чтение страницы
Сырой HTML12 480 токенов
Markdown0 токенов

Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.

Конвертируйте любой сайт в Markdown для LLM

Scrape JavaScript sites, logins and dynamic pages

Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.

Панель управления Spicrawl
Автоэскалация
Браузерных
Отпечаток
Прокси
Управляемые прокси: скоро
Сессия
Действия
Блокировать ресурсы
Перехват сети
Кэш
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "mode": "auto",  "cache": true,  "response_format": "markdown"}
Примеры заголовков ответа
X-Target-Status
200
X-Engine
fetch
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
1
Автоэскалация

Начинает с обычного запроса и поднимается до браузера, только если сайт его блокирует. Заблокированные запросы ничего не стоят.

Только пример, не живой запрос. Бета-версия бесплатна.

Test in the dashboard, then ship with the API or CLI

Try a URL, copy the request, and run it from your code or your terminal.

CLI

Скрейпьте один URL, тысячи пакетом и управляйте сессиями из терминала.

Читать документацию CLI

Дашборд

Запускайте тестовые запросы, читайте логи и использование и управляйте API-ключами.

Открыть панель

Документация

Руководства, справочник API и спецификация OpenAPI для ваших инструментов.

Читать документацию

Try what people build with Spicrawl

Small working tools, each built on the Spicrawl API.

  1. change-monitor.spicrawl.com

    Мониторинг изменений

    Перепроверьте страницу и посмотрите, что изменилось.

    Попробовать вживую
  2. price-tracker.spicrawl.com

    Трекер цен

    Вставьте ссылку на товар, получите его цену.

    Попробовать вживую
  3. docs2skill.spicrawl.com

    Документация → Навык

    Превратите сайт с документацией в навык агента.

    Попробовать вживую

What you can build with a web scraping API

Each job links to a guide in the docs, with working code.

  1. 01

    Подавайте данные в LLM и конвейеры RAG

    Превращайте статьи, документацию и PDF в чистый Markdown, готовый для эмбеддингов.

    Markdown для LLM
  2. 02

    Дайте ИИ-агентам доступ к вебу

    Подключите Claude Code, Cursor или Codex, чтобы читать живые страницы.

    Создавайте с агентами
  3. 03

    Сбор данных о товарах и ценах

    Получайте названия, цены и наличие в JSON.

    Извлечение структурированных данных
  4. 04

    Скрейпьте тысячи URL

    Отправьте до 10,000 URL в одной пакетной задаче.

    Запустить пакетное задание
  5. 05

    Читайте страницы за входом

    Войдите один раз, используйте сессию на каждой странице.

    Использовать сессии
  6. 06

    Получите данные, стоящие за страницей

    Читайте JSON, который загружает страница, вместо разбора HTML.

    Захват сетевых вызовов

Платите за страницу, только когда она сработала

Вы получаете 1,000 бесплатных кредитов каждый месяц, без банковской карты. Неудачный запрос, проверка на бота или тайм-аут ничего не стоят. Бесплатно в бета-версии.

1кредит за страницу
Обычная загрузка
Статические страницы. По умолчанию.
3кредитов за страницу
Рендеринг JavaScript
Страницы, которые строятся сами в браузере.
8кредитов за страницу
Полный браузер
Скриншоты, PDF, клики и формы.

1,000 бесплатных кредитов в месяц — это 1 000 обычных страниц, 333 страницы с JavaScript или 125 страниц с полным рендерингом в браузере.

Часто задаваемые вопросы

Что такое Spicrawl?

Spicrawl — API для веб-скрейпинга, который превращает любой URL в чистый Markdown, HTML, PDF или структурированный JSON для вашего кода или ИИ-агента через API, CLI или MCP-сервер.

Бесплатен ли Spicrawl?

Да. Он бесплатен в бета-версии, с 1,000 кредитов в месяц и без банковской карты.

Можно ли скрейпить JavaScript-сайты?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Может ли Spicrawl обходить защиту от ботов, например Cloudflare?

Часто, но не всегда. Используйте отпечаток настоящего браузера, рендеринг в браузере или собственный прокси. Проверка на бота возвращает понятную ошибку и ничего не стоит. Stealth-режима и управляемых прокси в бета-версии нет.

Можно ли использовать Spicrawl с ИИ-агентами?

Да. Размещённый MCP-сервер позволяет Claude Code, Cursor и Codex скрейпить страницы, запускать пакеты, повторно использовать сессии и выполнять действия в браузере. Для настройки выполните spicrawl init.

Стоят ли неудачные запросы кредитов?

Нет. Кредиты стоят только успешные запросы: 1 за обычный, 3 за рендеринг JavaScript и 8 за полноценный браузер. Ошибки, проверки на бота и тайм-ауты бесплатны.

Все вопросы