Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Captura las llamadas de API detrás de una página web

Muchas páginas cargan sus datos desde una API. Captura esas llamadas y lee el JSON directamente.

Cómo funciona

  1. Renderiza la página. Configura js_render: true, porque la captura solo se ejecuta en un navegador.
  2. Elige las llamadas. Configura network_capture como una lista urls de patrones, como /api/search.
  3. Lee los cuerpos. Cada llamada coincidente vuelve en el array network con su estado, tipo y cuerpo.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Guarda tu clave en SPICRAWL_API_KEY.

Qué devuelve

Un extracto de la respuesta documentada. El contenido de la página es un ejemplo.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Cuándo usarlo

  • La página se rellena sola desde una API. El JSON suele ser más limpio y estable que el marcado que se dibuja a partir de él.
  • Búsqueda, listados y feeds. Los resultados suelen cargarse como una sola llamada JSON que puedes leer completa.
  • Si no, usa extracción estructurada con selectores CSS o un JSON Schema.

Conviene saber

  • Necesita js_render. No añade créditos a los 3 del renderizado de JavaScript. Las solicitudes fallidas cuestan 0.
  • Sé respetuoso. Obtén solo datos que tengas permiso para usar y sigue los términos del sitio.
  • Precios: gratis durante la beta, con 1.000 créditos al mes.

Preguntas frecuentes

¿Qué hace la captura de red?

Registra las llamadas de red que hace una página mientras carga y devuelve las que pides, incluido el cuerpo de la respuesta. Así puedes leer el JSON que usa la propia página, en lugar de analizar el HTML que dibuja a partir de él.

¿Cómo elijo qué llamadas capturar?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

¿Necesita renderizado de JavaScript?

Sí. La captura solo funciona cuando la página se renderiza en un navegador, así que configura js_render en true.

¿La captura de red tiene un coste extra?

No. No suma créditos al renderizado de JavaScript que ya pagas, que son 3 créditos. Las solicitudes fallidas cuestan 0.

¿Debería usarlo en lugar de hacer scraping del HTML?

Cuando una página se rellena desde una API JSON, leer ese JSON suele ser más limpio y estable que analizar el marcado. Respeta los términos del sitio y obtén solo datos que tengas permitido usar.