Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

API пакетного веб-скрейпинга

Отправьте до 10,000 URL за один вызов. Получите каждую страницу в виде чистых данных.

Отправьте URL
batch.py
import запросыjob = запросы.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Как это работает

  1. Отправьте свои URL на POST /v1/batch. Вы сразу получаете ID задания.
  2. Проверьте задачу пока его статус не станет completed, failed или cancelled.
  3. Прочитайте результаты в формате JSON Lines, по одной странице за раз, с X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Храните ключ в SPICRAWL_API_KEY. Вашему ключу нужна область доступа batch.

Что может каждый элемент

  • Форматы: html (по умолчанию), markdown, text или json.
  • Очистка: main_content_only, include_tags и exclude_tags работают с Markdown и текстом.
  • JavaScript: задайте js_render: true для страниц, которым нужен браузер.
  • Настройки для каждого URL: передайте items вместо urls, чтобы задать каждому URL свои настройки и external_id.

Полезно знать

  • Не для пакетов: извлечение, скриншоты, действия в браузере и сессии. Задание, которое их запрашивает, отклоняется с ошибкой 400 до списания средств. Для таких страниц используйте одиночных скрейпов.
  • Результаты истекают через 72 часа после завершения задания.
  • Без обхода. Spicrawl не находит URL и не переходит по ссылкам. Список отправляете вы.
  • Цены: бесплатно во время беты. Каждый успешный элемент расходует столько же кредитов, сколько одиночный скрейпинг.

Часто задаваемые вопросы

Сколько URL может быть в одной пакетной задаче?

До 10,000 URL за вызов. Отправляйте их списком в urls или как items, когда каждому URL нужны свои настройки или external_id, по которому можно сопоставить.

Какие форматы возвращает пакетная задача?

Каждый элемент возвращается как html (по умолчанию), markdown, text или json. Markdown и text используют то же преобразование, что и одиночный скрейп.

Как долго хранятся результаты пакета?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Может ли пакетная задача извлекать поля или нажимать кнопки?

Нет. Извлечение, скриншоты, действия в браузере и сессии не работают в пакетах. Задача, которая их запрашивает, отклоняется с ошибкой 400 до любых списаний. Для таких страниц используйте одиночные скрейпы.

Обходит ли пакет сайт?

Нет. Spicrawl не находит URL и не переходит по ссылкам. Вы отправляете список нужных URL.