Haz clic, escribe y desplázate antes de hacer scraping
Abre menús, rellena formularios y carga más. Luego lee la página.
- 1ClicAbre un menú o pulsa “Load more”
- 2EscrituraRellena un formulario o un cuadro de búsqueda
- 3DesplazamientoCarga el resto del feed
- 4LeerObtén la página como Markdown
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Cómo funciona
- Activa el renderizado con
js_render: true. Las acciones necesitan un navegador. - Enumera tus pasos en
actions. Se ejecutan en orden después de que cargue la página. - Obtén la página tal como se ve tras el último paso, en el formato que elegiste.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Pasos que puedes usar
| Paso | Qué hace |
|---|---|
wait_for | Espera a un elemento o durante un tiempo fijo |
click | Hace clic en un botón o enlace |
fill | Escribe en un campo de entrada. Añade secret: true para ocultar el valor en los registros |
select | Elige una opción de una lista |
scroll | Hace scroll en la página, para feeds que cargan más a medida que avanzas |
evaluate | Ejecuta tu propio JavaScript en la página |
screenshot | Guarda una imagen de la página en ese paso |
Conviene saber
- Hasta 50 pasos por solicitud. Toda la lista se comprueba antes de gastar nada.
- Solo navegador. Sin
js_render, la solicitud se rechaza con un 400. - No en batch. Las acciones se ejecutan solo en scrapes individuales.
- Inicios de sesión: inicia sesión solo en cuentas que sean tuyas o que puedas usar. Para mantener la sesión iniciada, usa una session.
- Precios: gratis durante la beta. Las acciones se ejecutan con renderizado de navegador completo, que cuesta 8 créditos.
Preguntas frecuentes
¿Qué pueden hacer las acciones del navegador?
Espera a un elemento, espera a la navegación, haz clic, rellena un campo, elige una opción, desplázate, ejecuta JavaScript y toma una captura de pantalla. Los pasos se ejecutan en orden después de que la página carga.
¿Cuántos pasos puede tener una solicitud?
Hasta 50. Se comprueba toda la lista antes de ejecutar la solicitud, así un error falla pronto y no cuesta nada.
¿Las acciones del navegador necesitan renderizado de JavaScript?
Sí. Las acciones se ejecutan en un navegador, así que configura js_render en true. Sin eso, la solicitud se rechaza con un 400.
¿Puedo introducir una contraseña de forma segura?
Sí. Marca el paso fill con secret en true y el valor se oculta en los registros. Inicia sesión solo en cuentas que sean tuyas o que puedas usar.
¿Puedo obtener una captura de pantalla después de los pasos?
Sí. Añade un paso screenshot. La respuesta pasa a ser el sobre JSON, con las imágenes en screenshots.