API de web scraping batch
Envía hasta 10.000 URL en una llamada. Recibe cada página como datos limpios.
import solicitudesjob = solicitudes.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Cómo funciona
- Envía tus URL a
POST /v1/batch. Recibes un ID de trabajo de inmediato. - Revisa el trabajo hasta que su estado sea
completed,failedocancelled. - Lee los resultados como JSON Lines, una página cada vez, con
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlGuarda tu clave en SPICRAWL_API_KEY. Tu clave necesita el alcance batch.
Qué puede hacer cada elemento
- Formatos:
html(predeterminado),markdown,textojson. - Limpieza:
main_content_only,include_tagsyexclude_tagsfuncionan con Markdown y texto. - JavaScript: configura
js_render: truepara páginas que necesitan un navegador. - Ajustes por URL: envía
itemsen lugar deurlspara dar a cada URL sus propios ajustes y unexternal_id.
Conviene saber
- No en batch: la extracción, las capturas de pantalla, las acciones del navegador y las sesiones. Un trabajo que las pida se rechaza con un 400 antes de cobrar nada. Usa scrapes individuales para esas páginas.
- Los resultados caducan 72 horas después de que termine el trabajo.
- No rastrea. Spicrawl no encuentra URL ni sigue enlaces. Tú envías la lista.
- Precios: gratis durante la beta. Cada elemento correcto usa los mismos créditos que un scrape individual.
Preguntas frecuentes
¿Cuántas URL puede tener un trabajo batch?
Hasta 10.000 URL por llamada. Envíalas como lista en urls, o como items cuando cada URL necesita sus propios ajustes o un external_id con el que puedas hacer coincidir.
¿Qué formatos devuelve un trabajo batch?
Cada elemento vuelve como html (el predeterminado), markdown, text o json. Markdown y text usan la misma conversión que un scrape individual.
¿Cuánto tiempo se conservan los resultados de un batch?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
¿Un trabajo batch puede extraer campos o hacer clic en botones?
No. La extracción, las capturas de pantalla, las acciones del navegador y las sesiones no se ejecutan en batch. Un trabajo que las pide se rechaza con un 400 antes de cobrar nada. Usa scrapes individuales para esas páginas.
¿El batch rastrea un sitio web?
No. Spicrawl no encuentra URL ni sigue enlaces. Tú envías la lista de URL que quieres.