Scraping de sitios con JavaScript
Envía una URL que necesita JavaScript. Recibe la página como Markdown o JSON limpio.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- directo
- Cache-State
- acierto
- X-Credits-Charged
- 3
Empieza con una solicitud simple y sube a un navegador solo si el sitio la bloquea. Las solicitudes bloqueadas no cuestan nada.
Renderiza JavaScript en un navegador real antes de leer la página.
Las solicitudes simples llevan el fingerprint TLS y HTTP/2 de un navegador real.
Una conexión directa o tu propio proxy, sin recargo.
Conserva las cookies y el almacenamiento entre solicitudes, para que el login se mantenga.
Haz clic, escribe, desplázate y ejecuta JavaScript antes de leer la página.
Omite imágenes, fuentes y multimedia para cargar más rápido.
Registra las llamadas de API que hace la página mientras carga.
Activada por defecto durante 48 horas. Las repeticiones son más rápidas, se facturan igual.
Una página renderizada, en el formato que necesitas
Mira cómo el contenido de una página se convierte en Markdown, JSON o HTML. Estos ejemplos muestran la salida, no una solicitud real.


# Wireless Mouse — Model X**$49.00** · En stock · 4.6 (1,284 reseñas)Receptor de 2.4 GHz de baja-latency, batería de 70-dayy las opciones silenciosas.| Spec | Value || --------- | ------------ || Conexión | 2.4 GHz, BT5 || Batería | 70 días |Menús, pies de página y anuncios eliminados: del 3% al 24% de los tokens del HTML sin procesar. Página de ejemplo.
La respuesta completa: estado, URL, motor y datos. Página de ejemplo.
Información de la página, reglas CSS o un JSON Schema con selectores. Página de ejemplo.
Pasos que ejecutar en la página, con renderizado de navegador completo.
Cómo funciona
- Envía la URL de la página a
POST /v1/scrapeconjs_render: true. - Espera al contenido. Configura
wait_forcomo un selector CSS, como.price. - Obtén la página renderizada en el formato que elijas. Los ejemplos de abajo devuelven Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaGuarda tu clave en SPICRAWL_API_KEY. Nunca la pongas en código de navegador ni en un archivo que confirmes en el repositorio.
Cuándo renderizar JavaScript
Una solicitud simple descarga HTML sin ejecutar scripts. Si el resultado es un cascarón vacío o un mensaje de “Cargando…”, es posible que la página necesite JavaScript. Configura js_render: true para ejecutarlo en un navegador antes de leerla.
Usa una solicitud simple para contenido que ya está en el HTML. El renderizado también hace falta para acciones del navegador, bloqueo de recursos y captura de red.
Espera al contenido correcto
| Opción | Qué hace |
|---|---|
wait_for | Espera a que aparezca un selector CSS antes de capturar. |
wait_for_timeout | Configura el límite de espera de 0 a 120.000 ms. Requiere wait_for; 0 usa el valor predeterminado. |
wait | Añade un retraso fijo de 0 a 30.000 ms después de la carga. Si puedes, usa mejor un selector. |
block_resources | Elige qué recursos omitir. Las imágenes y las fuentes se bloquean por defecto, con excepciones para acciones y capturas. |
response_format | Elige Markdown, JSON o HTML para el contenido de la página. |
Una lista explícita de recursos sustituye a la predeterminada. Usa ["none"] para no bloquear nada. No bloquees los scripts cuando la página los necesita para construir su contenido.
Revisa el resultado
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine indica qué nivel de renderizado se ejecutó (fetch, js o browser). X-Target-Status es el estado del sitio, mientras que X-Credits-Charged muestra el cargo.
Si wait_for nunca coincide, la página puede volver tal como estaba, con X-Warning: RENDER_DEGRADED. Revisa el contenido y la advertencia antes de usarla.
Niveles de renderizado y coste
- Gratis durante la beta. Los créditos muestran el coste de cada solicitud.
- Renderizado de JavaScript:
js_render: truecuesta 3 créditos por solicitud correcta. - Renderizado con navegador completo: cuesta 8 créditos. Las capturas de pantalla, los PDF y las acciones lo usan, y Spicrawl enruta la solicitud ahí por ti. Si un despliegue no puede atender el nivel habitual, puede usar el siguiente y devolver
X-Warning: ENGINE_SUBSTITUTED; configuramax_costpara rechazar un precio más alto. - Tú no eliges el nivel. Spicrawl lo elige según lo que necesita la solicitud y factura el nivel que la atendió.
- Los fallos cuestan 0. Esperar y bloquear recursos no añaden ningún cargo. Configura
max_costpara limitar una solicitud.
Conviene saber
- Elige el renderizado o el modo auto.
mode: "auto"no se puede combinar conjs_render. Empieza con fetch y sube a renderizado de JavaScript y luego a renderizado con navegador completo, solo cuando el paso anterior se encuentra con un desafío. - Las opciones de navegador necesitan un navegador. Enviar
wait_for, acciones o bloqueo de recursos sinjs_renderdevuelve un error. - No rastrea. Envía las URL que quieras; Spicrawl no encuentra páginas ni sigue enlaces.
- Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción a partir de un prompt en lenguaje natural.
- Tu responsabilidad: solo obtén páginas que tengas derecho a usar. Lee nuestros términos.
Preguntas frecuentes
¿Cómo hago scraping de un sitio web con JavaScript?
Envía la URL de la página a POST https://api.spicrawl.com/v1/scrape con js_render en true. El navegador ejecuta los scripts antes de que Spicrawl lea la página. Elige response_format para Markdown, JSON o HTML.
¿Cómo espero a que cargue el contenido?
Configura wait_for con un selector CSS, como .price. Usa wait_for_timeout para fijar un tiempo límite de hasta 120000 milisegundos. Si el selector nunca coincide, la página puede volver tal como estaba con X-Warning: RENDER_DEGRADED. Revisa la advertencia antes de usar el resultado.
¿Cuánto cuesta el renderizado de JavaScript?
Spicrawl es gratis durante la beta. Los renderizados de JavaScript correctos usan 3 créditos; el renderizado con navegador completo usa 8. Si un despliegue no puede atender el renderizado de JavaScript, js_render puede atenderse con renderizado de navegador completo y facturarse a ese precio. Las solicitudes fallidas usan 0 créditos. Lee X-Engine (fetch, js o browser) y X-Credits-Charged para comprobar qué se ejecutó.
¿Puedo usar el modo auto con renderizado de JavaScript?
No. mode: auto no se puede combinar con js_render. El modo auto empieza con una solicitud simple y sube a renderizado de JavaScript y luego a renderizado con navegador completo cuando el resultado no es utilizable. Para páginas que sabes que necesitan JavaScript, usa js_render: true en su lugar.
¿Puede rastrear un sitio con JavaScript?
No. Spicrawl no encuentra URL ni sigue enlaces. Envía las URL de las páginas que quieres leer. Obtén solo páginas que tengas derecho a usar.