Batch web scraping-API
Stuur tot 10.000 URL's in één aanroep. Krijg elke pagina terug als schone data.
import verzoekenjob = verzoeken.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Hoe het werkt
- Stuur je URL's naar
POST /v1/batch. Je krijgt meteen een job-ID terug. - Controleer de job tot de status
completed,failedofcancelledis. - Lees de resultaten als JSON Lines, één pagina tegelijk, met
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlBewaar je sleutel in SPICRAWL_API_KEY. Je sleutel heeft de scope batch nodig.
Wat elk item kan doen
- Formaten:
html(de standaard),markdown,textofjson. - Opruimen:
main_content_only,include_tagsenexclude_tagswerken op Markdown en tekst. - JavaScript: stel
js_render: truein voor pagina's die een browser nodig hebben. - Instellingen per URL: stuur
itemsin plaats vanurlsom elke URL zijn eigen instellingen en eenexternal_idte geven.
Goed om te weten
- Niet bij batch: extractie, screenshots, browseracties en sessies. Een job die erom vraagt wordt met een 400 geweigerd voordat er iets wordt gerekend. Gebruik losse scrapes voor die pagina's.
- Resultaten verlopen 72 uur nadat de job klaar is.
- Geen crawling. Spicrawl zoekt geen URL's en volgt geen links. Jij stuurt de lijst.
- Prijzen: gratis tijdens de beta. Elk geslaagd item gebruikt dezelfde credits als een losse scrape.
Veelgestelde vragen
Hoeveel URL's kan één batchjob bevatten?
Tot 10.000 URL's per aanroep. Stuur ze als lijst in urls, of als items als elke URL eigen instellingen of een external_id nodig heeft waarop je kunt matchen.
Welke formaten geeft een batchjob terug?
Elk item komt terug als html (de standaard), markdown, text of json. Markdown en text gebruiken dezelfde conversie als een losse scrape.
Hoe lang blijven batchresultaten bewaard?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Kan een batchjob velden extraheren of op knoppen klikken?
Nee. Extractie, screenshots, browseracties en sessies draaien niet in batch. Een job die erom vraagt wordt met een 400 geweigerd voordat er iets wordt gerekend. Gebruik losse scrapes voor die pagina's.
Crawlt batch een website?
Nee. Spicrawl vindt geen URL's en volgt geen links. Je stuurt de lijst met URL's die je wilt.