Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

API веб-скрейпинга для чистых данных

Отправьте любой URL. Получите чистый Markdown или JSON, готовый для вашего приложения или ИИ-агента.

Проведите по странице, чтобы увидеть чистый текст, который сохраняет Spicrawl.

shop.exampleКорзина · 2
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00В наличии★★★★★ 4.6 (1,284)

Приёмник 2.4 GHz с низкой задержкой, 70 дней работы от батареи и бесшумные переключатели. Создана для долгих дней.

Добавить в корзинуСохранить
Подключение2.4 GHz, BT5
Батарея70 дней
Вес62 g
Летняя распродажа · скидка 30% на клавиатурыРеклама
© shop.exampleДоставкаВозвращает
Что вы видитеЧто сохраняет краулер
25,6 КБ
Исходная страница 48 КБ из HTML, скриптов и стилейСохранено 3,1 КБ текста, который возвращает Spicrawl · пример страницы

Оставьте только основное содержимое

Spicrawl убирает баннер cookie, меню, рекламу и футер и сохраняет основное содержимое.

Загрузите страницу
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

Как это работает

  1. Отправьте URL на POST /v1/scrape и выберите response_format.
  2. Spicrawl загружает страницу. Сначала используется обычный запрос или браузер, если вы его запросите.
  3. Вы получаете результат в теле ответа, а собственный статус сайта — в заголовке.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

Храните ключ в SPICRAWL_API_KEY и никогда не записывайте его в код, который коммитите.

Форматы вывода

ФорматЛучше всего для
markdownДля промптов ИИ, RAG и чтения. По умолчанию только основное содержимое.
jsonПриложения: контент плюс метаданные, ссылки или извлечённые поля в одном объекте.
htmlКогда нужна разметка страницы. Это значение по умолчанию.
textСамый маленький вывод, без форматирования.
pdfPDF отрисованной страницы.

Подробнее о выводе Markdown — в сайт в Markdown.

Проверьте результат

HTTP-статус принадлежит Spicrawl. То, что ответил сайт, находится в X-Target-Status. Успешный вызов выглядит так:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

403 или 503 в X-Target-Status означает, что вы получили страницу блокировки, и она стоит 0 кредитов.

Страницы, которым нужно больше

  • JavaScript-страницы. Задайте js_render: true, чтобы сначала загрузить страницу в браузере. См. Рендеринг JavaScript.
  • Страницы с входом. Используйте сессию, чтобы сохранять cookies между запросами, для аккаунтов, которыми вы владеете или которыми вам разрешено пользоваться. См. сессии и входы.
  • Клики и прокрутка. Действия в браузере могут кликать, вводить текст и прокручивать страницу перед чтением. См. действия в браузере.
  • Много URL. Одно пакетное задание принимает до 10 000 URL за один вызов. См. batch.

Сколько это стоит

  • Бесплатно в бета-версии, без банковской карты.
  • Кредитов за успешный запрос: 1 за обычный запрос, 3 за рендеринг JavaScript, 8 за полный рендеринг в браузере.
  • Сбои бесплатны: ошибки, проверки на бота и страницы, отвечающие ошибкой, стоят 0.
  • Ограничьте каждый запрос с помощью max_cost, чтобы вызов никогда не стоил больше, чем вы ожидаете.

Полезно знать

  • Без обхода. Spicrawl не переходит по ссылкам и не находит страницы. URL отправляете вы.
  • Скоро: управляемые прокси, режим stealth, удалённый браузер и извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси без доплаты.
  • Ваша ответственность: загружайте только страницы, которые вы вправе использовать. См. наши условия.

Часто задаваемые вопросы

Что такое API веб-скрейпинга?

Это сервис, который загружает веб-страницу за вас и возвращает её содержимое в виде, пригодном для вашего кода. Вы отправляете URL; он обрабатывает запрос, JavaScript и очистку и возвращает Markdown, JSON или HTML.

Сколько стоит API веб-скрейпинга Spicrawl?

Он бесплатен в бета-версии, без банковской карты. Запросы расходуют кредиты: 1 за обычный запрос, 3 за рендеринг JavaScript и 8 за рендеринг в полноценном браузере. Ошибки, проверки на бота и страницы, отвечающие ошибкой, стоят 0.

Может ли он скрейпить страницы, которым нужен JavaScript?

Да. Задайте js_render в true, и страница сначала загрузится в браузере. Начните с обычного запроса и рендерите, только когда обычный результат пуст.

Как понять, что сайт меня заблокировал?

Читайте заголовок X-Target-Status. HTTP-статус принадлежит Spicrawl; X-Target-Status — это то, что ответил сайт. Значение 403 или 503 означает, что вы получили страницу блокировки, и она стоит 0 кредитов.

Может ли он обойти весь сайт?

Нет. Spicrawl не переходит по ссылкам и не находит страницы. Отправляйте нужные URL, по одному или до 10,000 за один пакетный вызов.