Captura las llamadas de API detrás de una página web
Muchas páginas cargan sus datos desde una API. Captura esas llamadas y lee el JSON directamente.
Cómo funciona
- Renderiza la página. Configura
js_render: true, porque la captura solo se ejecuta en un navegador. - Elige las llamadas. Configura
network_capturecomo una listaurlsde patrones, como/api/search. - Lee los cuerpos. Cada llamada coincidente vuelve en el array
networkcon su estado, tipo y cuerpo.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Guarda tu clave en SPICRAWL_API_KEY.
Qué devuelve
Un extracto de la respuesta documentada. El contenido de la página es un ejemplo.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Cuándo usarlo
- La página se rellena sola desde una API. El JSON suele ser más limpio y estable que el marcado que se dibuja a partir de él.
- Búsqueda, listados y feeds. Los resultados suelen cargarse como una sola llamada JSON que puedes leer completa.
- Si no, usa extracción estructurada con selectores CSS o un JSON Schema.
Conviene saber
- Necesita
js_render. No añade créditos a los 3 del renderizado de JavaScript. Las solicitudes fallidas cuestan 0. - Sé respetuoso. Obtén solo datos que tengas permiso para usar y sigue los términos del sitio.
- Precios: gratis durante la beta, con 1.000 créditos al mes.
Preguntas frecuentes
¿Qué hace la captura de red?
Registra las llamadas de red que hace una página mientras carga y devuelve las que pides, incluido el cuerpo de la respuesta. Así puedes leer el JSON que usa la propia página, en lugar de analizar el HTML que dibuja a partir de él.
¿Cómo elijo qué llamadas capturar?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
¿Necesita renderizado de JavaScript?
Sí. La captura solo funciona cuando la página se renderiza en un navegador, así que configura js_render en true.
¿La captura de red tiene un coste extra?
No. No suma créditos al renderizado de JavaScript que ya pagas, que son 3 créditos. Las solicitudes fallidas cuestan 0.
¿Debería usarlo en lugar de hacer scraping del HTML?
Cuando una página se rellena desde una API JSON, leer ese JSON suele ser más limpio y estable que analizar el marcado. Respeta los términos del sitio y obtén solo datos que tengas permitido usar.