Batch-Web-Scraping-API
Sende bis zu 10.000 URLs in einem Aufruf. Bekomme jede Seite als saubere Daten zurück.
import Anfragenjob = Anfragen.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])So funktioniert es
- Deine URLs senden an
POST /v1/batch. Du bekommst sofort eine Job-ID zurück. - Den Job prüfen, bis der Status
completed,failedodercancelledist. - Die Ergebnisse lesen als JSON Lines, Seite für Seite, mit
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlHalte deinen Schlüssel in SPICRAWL_API_KEY. Dein Schlüssel braucht den Scope batch.
Was jedes Element kann
- Formate:
html(Standard),markdown,textoderjson. - Aufräumen:
main_content_only,include_tagsundexclude_tagswirken auf Markdown und Text. - JavaScript: setze
js_render: truefür Seiten, die einen Browser brauchen. - Einstellungen pro URL: sende
itemsstatturls, um jeder URL eigene Einstellungen und eineexternal_idzu geben.
Gut zu wissen
- Nicht im Batch: Extraktion, Screenshots, Browser-Aktionen und Sessions. Ein Job, der sie anfordert, wird mit einem 400 abgelehnt, bevor etwas berechnet wird. Nutze für diese Seiten einzelne Scrapes.
- Ergebnisse laufen ab 72 Stunden nach Ende des Jobs.
- Kein Crawling. Spicrawl findet keine URLs und folgt keinen Links. Du sendest die Liste.
- Preise: kostenlos in der Beta. Jedes erfolgreiche Element nutzt dieselben Credits wie ein einzelner Scrape.
Häufig gestellte Fragen
Wie viele URLs kann ein Batch-Job haben?
Bis zu 10.000 URLs pro Aufruf. Sende sie als Liste in urls oder als items, wenn jede URL eigene Einstellungen oder eine external_id braucht, über die du abgleichen kannst.
Welche Formate liefert ein Batch-Job?
Jedes Element kommt als html (Standard), markdown, text oder json zurück. Markdown und Text nutzen dieselbe Konvertierung wie ein einzelner Scrape.
Wie lange bleiben Batch-Ergebnisse gespeichert?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Kann ein Batch-Job Felder extrahieren oder Buttons klicken?
Nein. Extraktion, Screenshots, Browser-Aktionen und Sessions laufen nicht im Batch. Ein Job, der sie anfordert, wird mit einem 400 abgelehnt, bevor etwas berechnet wird. Nutze für diese Seiten einzelne Scrapes.
Crawlt Batch eine Website?
Nein. Spicrawl findet keine URLs und folgt keinen Links. Du sendest die Liste der gewünschten URLs.