Spicrawl ora funziona con OpenAI Agents SDK, LangChain, Codex, Claude Code e altri.Vedi le integrazioni
Vai al contenuto

API di web scraping in batch

Invia fino a 10.000 URL in una sola chiamata. Ricevi ogni pagina come dati puliti.

Invia gli URL
batch.py
import richiestejob = richieste.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Come funziona

  1. Invia i tuoi URL a POST /v1/batch. Ricevi subito un ID del job.
  2. Controlla il job finché il suo stato è completed, failed o cancelled.
  3. Leggi i risultati come JSON Lines, una pagina alla volta, con X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Tieni la chiave in SPICRAWL_API_KEY. La tua chiave ha bisogno dello scope batch.

Cosa può fare ogni elemento

  • Formati: html (predefinito), markdown, text o json.
  • Pulizia: main_content_only, include_tags e exclude_tags funzionano su Markdown e testo.
  • JavaScript: imposta js_render: true per le pagine che richiedono un browser.
  • Impostazioni per URL: invia items invece di urls per dare a ogni URL le sue impostazioni e un external_id.

Da sapere

  • Non nei batch: estrazione, screenshot, azioni del browser e sessioni. Un job che li richiede viene rifiutato con un 400 prima di qualsiasi addebito. Usa scrape singoli per quelle pagine.
  • I risultati scadono 72 ore dopo la fine del job.
  • Nessun crawling. Spicrawl non trova URL né segue link. L’elenco lo invii tu.
  • Prezzi: gratis durante la beta. Ogni elemento riuscito usa gli stessi crediti di uno scrape singolo.

Domande frequenti

Quanti URL può avere un batch job?

Fino a 10.000 URL per chiamata. Inviali come elenco in urls, oppure come items quando ogni URL ha bisogno di impostazioni proprie o di un external_id con cui fare il match.

Quali formati restituisce un batch job?

Ogni elemento torna come html (il predefinito), markdown, text o json. Markdown e text usano la stessa conversione di un singolo scrape.

Per quanto tempo vengono conservati i risultati dei batch?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Un batch job può estrarre campi o cliccare pulsanti?

No. Estrazione, screenshot, azioni del browser e sessioni non funzionano nei batch. Un job che li richiede viene rifiutato con un 400 prima che venga addebitato qualcosa. Usa scrape singoli per quelle pagine.

Il batch fa il crawl di un sito web?

No. Spicrawl non trova gli URL né segue i link. Invii tu l’elenco di URL che vuoi.