Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

API de web scraping batch

Envía hasta 10.000 URL en una llamada. Recibe cada página como datos limpios.

Envía las URL
batch.py
import solicitudesjob = solicitudes.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Cómo funciona

  1. Envía tus URL a POST /v1/batch. Recibes un ID de trabajo de inmediato.
  2. Revisa el trabajo hasta que su estado sea completed, failed o cancelled.
  3. Lee los resultados como JSON Lines, una página cada vez, con X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Guarda tu clave en SPICRAWL_API_KEY. Tu clave necesita el alcance batch.

Qué puede hacer cada elemento

  • Formatos: html (predeterminado), markdown, text o json.
  • Limpieza: main_content_only, include_tags y exclude_tags funcionan con Markdown y texto.
  • JavaScript: configura js_render: true para páginas que necesitan un navegador.
  • Ajustes por URL: envía items en lugar de urls para dar a cada URL sus propios ajustes y un external_id.

Conviene saber

  • No en batch: la extracción, las capturas de pantalla, las acciones del navegador y las sesiones. Un trabajo que las pida se rechaza con un 400 antes de cobrar nada. Usa scrapes individuales para esas páginas.
  • Los resultados caducan 72 horas después de que termine el trabajo.
  • No rastrea. Spicrawl no encuentra URL ni sigue enlaces. Tú envías la lista.
  • Precios: gratis durante la beta. Cada elemento correcto usa los mismos créditos que un scrape individual.

Preguntas frecuentes

¿Cuántas URL puede tener un trabajo batch?

Hasta 10.000 URL por llamada. Envíalas como lista en urls, o como items cuando cada URL necesita sus propios ajustes o un external_id con el que puedas hacer coincidir.

¿Qué formatos devuelve un trabajo batch?

Cada elemento vuelve como html (el predeterminado), markdown, text o json. Markdown y text usan la misma conversión que un scrape individual.

¿Cuánto tiempo se conservan los resultados de un batch?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

¿Un trabajo batch puede extraer campos o hacer clic en botones?

No. La extracción, las capturas de pantalla, las acciones del navegador y las sesiones no se ejecutan en batch. Un trabajo que las pide se rechaza con un 400 antes de cobrar nada. Usa scrapes individuales para esas páginas.

¿El batch rastrea un sitio web?

No. Spicrawl no encuentra URL ni sigue enlaces. Tú envías la lista de URL que quieres.