Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Batch web scraping-API

Stuur tot 10.000 URL's in één aanroep. Krijg elke pagina terug als schone data.

Dien de URL's in
batch.py
import verzoekenjob = verzoeken.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Hoe het werkt

  1. Stuur je URL's naar POST /v1/batch. Je krijgt meteen een job-ID terug.
  2. Controleer de job tot de status completed, failed of cancelled is.
  3. Lees de resultaten als JSON Lines, één pagina tegelijk, met X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Bewaar je sleutel in SPICRAWL_API_KEY. Je sleutel heeft de scope batch nodig.

Wat elk item kan doen

  • Formaten: html (de standaard), markdown, text of json.
  • Opruimen: main_content_only, include_tags en exclude_tags werken op Markdown en tekst.
  • JavaScript: stel js_render: true in voor pagina's die een browser nodig hebben.
  • Instellingen per URL: stuur items in plaats van urls om elke URL zijn eigen instellingen en een external_id te geven.

Goed om te weten

  • Niet bij batch: extractie, screenshots, browseracties en sessies. Een job die erom vraagt wordt met een 400 geweigerd voordat er iets wordt gerekend. Gebruik losse scrapes voor die pagina's.
  • Resultaten verlopen 72 uur nadat de job klaar is.
  • Geen crawling. Spicrawl zoekt geen URL's en volgt geen links. Jij stuurt de lijst.
  • Prijzen: gratis tijdens de beta. Elk geslaagd item gebruikt dezelfde credits als een losse scrape.

Veelgestelde vragen

Hoeveel URL's kan één batchjob bevatten?

Tot 10.000 URL's per aanroep. Stuur ze als lijst in urls, of als items als elke URL eigen instellingen of een external_id nodig heeft waarop je kunt matchen.

Welke formaten geeft een batchjob terug?

Elk item komt terug als html (de standaard), markdown, text of json. Markdown en text gebruiken dezelfde conversie als een losse scrape.

Hoe lang blijven batchresultaten bewaard?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Kan een batchjob velden extraheren of op knoppen klikken?

Nee. Extractie, screenshots, browseracties en sessies draaien niet in batch. Een job die erom vraagt wordt met een 400 geweigerd voordat er iets wordt gerekend. Gebruik losse scrapes voor die pagina's.

Crawlt batch een website?

Nee. Spicrawl vindt geen URL's en volgt geen links. Je stuurt de lijst met URL's die je wilt.