API пакетного веб-скрейпинга
Отправьте до 10,000 URL за один вызов. Получите каждую страницу в виде чистых данных.
import запросыjob = запросы.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Как это работает
- Отправьте свои URL на
POST /v1/batch. Вы сразу получаете ID задания. - Проверьте задачу пока его статус не станет
completed,failedилиcancelled. - Прочитайте результаты в формате JSON Lines, по одной странице за раз, с
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlХраните ключ в SPICRAWL_API_KEY. Вашему ключу нужна область доступа batch.
Что может каждый элемент
- Форматы:
html(по умолчанию),markdown,textилиjson. - Очистка:
main_content_only,include_tagsиexclude_tagsработают с Markdown и текстом. - JavaScript: задайте
js_render: trueдля страниц, которым нужен браузер. - Настройки для каждого URL: передайте
itemsвместоurls, чтобы задать каждому URL свои настройки иexternal_id.
Полезно знать
- Не для пакетов: извлечение, скриншоты, действия в браузере и сессии. Задание, которое их запрашивает, отклоняется с ошибкой 400 до списания средств. Для таких страниц используйте одиночных скрейпов.
- Результаты истекают через 72 часа после завершения задания.
- Без обхода. Spicrawl не находит URL и не переходит по ссылкам. Список отправляете вы.
- Цены: бесплатно во время беты. Каждый успешный элемент расходует столько же кредитов, сколько одиночный скрейпинг.
Часто задаваемые вопросы
Сколько URL может быть в одной пакетной задаче?
До 10,000 URL за вызов. Отправляйте их списком в urls или как items, когда каждому URL нужны свои настройки или external_id, по которому можно сопоставить.
Какие форматы возвращает пакетная задача?
Каждый элемент возвращается как html (по умолчанию), markdown, text или json. Markdown и text используют то же преобразование, что и одиночный скрейп.
Как долго хранятся результаты пакета?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Может ли пакетная задача извлекать поля или нажимать кнопки?
Нет. Извлечение, скриншоты, действия в браузере и сессии не работают в пакетах. Задача, которая их запрашивает, отклоняется с ошибкой 400 до любых списаний. Для таких страниц используйте одиночные скрейпы.
Обходит ли пакет сайт?
Нет. Spicrawl не находит URL и не переходит по ссылкам. Вы отправляете список нужных URL.