O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

API de web scraping em batch

Envie até 10.000 URLs em uma chamada. Receba cada página de volta como dados limpos.

Envie as URLs
batch.py
import requisiçõesjob = requisições.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Como funciona

  1. Envie as suas URLs para POST /v1/batch. Você recebe um ID do job na hora.
  2. Verifique o job até o status ser completed, failed ou cancelled.
  3. Leia os resultados como JSON Lines, uma página por vez, com X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Guarde sua chave em SPICRAWL_API_KEY. Sua chave precisa do escopo batch.

O que cada item pode fazer

  • Formatos: html (o padrão), markdown, text ou json.
  • Limpeza: main_content_only, include_tags e exclude_tags funcionam em Markdown e texto.
  • JavaScript: defina js_render: true para páginas que precisam de um navegador.
  • Configurações por URL: envie items em vez de urls para dar a cada URL suas próprias configurações e um external_id.

Bom saber

  • Não em batch: extração, screenshots, ações de navegador e sessões. Um job que pede isso é recusado com um 400 antes de qualquer cobrança. Use scrapes únicos para essas páginas.
  • Os resultados expiram 72 horas depois que o job termina.
  • Sem crawl. O Spicrawl não encontra URLs nem segue links. Você envia a lista.
  • Preços: grátis durante o beta. Cada item bem-sucedido usa os mesmos créditos de um scrape individual.

Perguntas frequentes

Quantas URLs um job em batch pode ter?

Até 10.000 URLs por chamada. Envie-as como uma lista em urls, ou como items quando cada URL precisa das próprias configurações ou de um external_id que você possa usar para correspondência.

Quais formatos um job em batch retorna?

Cada item volta como html (o padrão), markdown, text ou json. Markdown e text usam a mesma conversão de um scrape único.

Por quanto tempo os resultados de um batch são mantidos?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Um job em batch pode extrair campos ou clicar em botões?

Não. Extração, screenshots, ações de navegador e sessões não rodam em batch. Um job que pede isso é recusado com um 400 antes de qualquer cobrança. Use scrapes únicos para essas páginas.

O batch faz crawl de um site?

Não. O Spicrawl não encontra URLs nem segue links. Você envia a lista de URLs que quer.