API de web scraping em batch
Envie até 10.000 URLs em uma chamada. Receba cada página de volta como dados limpos.
import requisiçõesjob = requisições.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Como funciona
- Envie as suas URLs para
POST /v1/batch. Você recebe um ID do job na hora. - Verifique o job até o status ser
completed,failedoucancelled. - Leia os resultados como JSON Lines, uma página por vez, com
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlGuarde sua chave em SPICRAWL_API_KEY. Sua chave precisa do escopo batch.
O que cada item pode fazer
- Formatos:
html(o padrão),markdown,textoujson. - Limpeza:
main_content_only,include_tagseexclude_tagsfuncionam em Markdown e texto. - JavaScript: defina
js_render: truepara páginas que precisam de um navegador. - Configurações por URL: envie
itemsem vez deurlspara dar a cada URL suas próprias configurações e umexternal_id.
Bom saber
- Não em batch: extração, screenshots, ações de navegador e sessões. Um job que pede isso é recusado com um 400 antes de qualquer cobrança. Use scrapes únicos para essas páginas.
- Os resultados expiram 72 horas depois que o job termina.
- Sem crawl. O Spicrawl não encontra URLs nem segue links. Você envia a lista.
- Preços: grátis durante o beta. Cada item bem-sucedido usa os mesmos créditos de um scrape individual.
Perguntas frequentes
Quantas URLs um job em batch pode ter?
Até 10.000 URLs por chamada. Envie-as como uma lista em urls, ou como items quando cada URL precisa das próprias configurações ou de um external_id que você possa usar para correspondência.
Quais formatos um job em batch retorna?
Cada item volta como html (o padrão), markdown, text ou json. Markdown e text usam a mesma conversão de um scrape único.
Por quanto tempo os resultados de um batch são mantidos?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Um job em batch pode extrair campos ou clicar em botões?
Não. Extração, screenshots, ações de navegador e sessões não rodam em batch. Um job que pede isso é recusado com um 400 antes de qualquer cobrança. Use scrapes únicos para essas páginas.
O batch faz crawl de um site?
Não. O Spicrawl não encontra URLs nem segue links. Você envia a lista de URLs que quer.