Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Scraping de sitios con JavaScript

Envía una URL que necesita JavaScript. Recibe la página como Markdown o JSON limpio.

Panel de control de Spicrawl
Escalado automático
Navegador
Fingerprint
Proxy
Proxies gestionados: próximamente
Sesión
Acciones
Bloquear recursos
Captura de red
Caché
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Encabezados de respuesta de ejemplo
X-Target-Status
200
X-Engine
js
X-Proxy-Source
directo
Cache-State
acierto
X-Credits-Charged
3
Navegador

Renderiza JavaScript en un navegador real antes de leer la página.

Solo un ejemplo, no una solicitud real. La beta es gratuita.

Una página renderizada, en el formato que necesitas

Mira cómo el contenido de una página se convierte en Markdown, JSON o HTML. Estos ejemplos muestran la salida, no una solicitud real.

example.com/product/1
Conoce el Model X: precisión en cada clic
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00En stock★ 4.6 (1,284)
Receptor de 2,4 GHz de baja latencia, 70 días de batería e interruptores silenciosos.
EspecificaciónValor
Conexión2,4 GHz, BT5Batería70 días
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · En stock · 4.6 (1,284 reseñas)Receptor de 2.4 GHz de baja-latency, batería de 70-dayy las opciones silenciosas.| Spec      | Value        || --------- | ------------ || Conexión  | 2.4 GHz, BT5 || Batería   | 70 días      |
Lectura de la página
HTML en bruto12.480 tokens
Markdown0 tokens

Menús, pies de página y anuncios eliminados: del 3% al 24% de los tokens del HTML sin procesar. Página de ejemplo.

Cómo funciona

  1. Envía la URL de la página a POST /v1/scrape con js_render: true.
  2. Espera al contenido. Configura wait_for como un selector CSS, como .price.
  3. Obtén la página renderizada en el formato que elijas. Los ejemplos de abajo devuelven Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Guarda tu clave en SPICRAWL_API_KEY. Nunca la pongas en código de navegador ni en un archivo que confirmes en el repositorio.

Cuándo renderizar JavaScript

Una solicitud simple descarga HTML sin ejecutar scripts. Si el resultado es un cascarón vacío o un mensaje de “Cargando…”, es posible que la página necesite JavaScript. Configura js_render: true para ejecutarlo en un navegador antes de leerla.

Usa una solicitud simple para contenido que ya está en el HTML. El renderizado también hace falta para acciones del navegador, bloqueo de recursos y captura de red.

Espera al contenido correcto

OpciónQué hace
wait_forEspera a que aparezca un selector CSS antes de capturar.
wait_for_timeoutConfigura el límite de espera de 0 a 120.000 ms. Requiere wait_for; 0 usa el valor predeterminado.
waitAñade un retraso fijo de 0 a 30.000 ms después de la carga. Si puedes, usa mejor un selector.
block_resourcesElige qué recursos omitir. Las imágenes y las fuentes se bloquean por defecto, con excepciones para acciones y capturas.
response_formatElige Markdown, JSON o HTML para el contenido de la página.

Una lista explícita de recursos sustituye a la predeterminada. Usa ["none"] para no bloquear nada. No bloquees los scripts cuando la página los necesita para construir su contenido.

Revisa el resultado

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine indica qué nivel de renderizado se ejecutó (fetch, js o browser). X-Target-Status es el estado del sitio, mientras que X-Credits-Charged muestra el cargo.

Si wait_for nunca coincide, la página puede volver tal como estaba, con X-Warning: RENDER_DEGRADED. Revisa el contenido y la advertencia antes de usarla.

Niveles de renderizado y coste

  • Gratis durante la beta. Los créditos muestran el coste de cada solicitud.
  • Renderizado de JavaScript: js_render: true cuesta 3 créditos por solicitud correcta.
  • Renderizado con navegador completo: cuesta 8 créditos. Las capturas de pantalla, los PDF y las acciones lo usan, y Spicrawl enruta la solicitud ahí por ti. Si un despliegue no puede atender el nivel habitual, puede usar el siguiente y devolver X-Warning: ENGINE_SUBSTITUTED; configura max_cost para rechazar un precio más alto.
  • Tú no eliges el nivel. Spicrawl lo elige según lo que necesita la solicitud y factura el nivel que la atendió.
  • Los fallos cuestan 0. Esperar y bloquear recursos no añaden ningún cargo. Configura max_cost para limitar una solicitud.

Conviene saber

  • Elige el renderizado o el modo auto. mode: "auto" no se puede combinar con js_render. Empieza con fetch y sube a renderizado de JavaScript y luego a renderizado con navegador completo, solo cuando el paso anterior se encuentra con un desafío.
  • Las opciones de navegador necesitan un navegador. Enviar wait_for, acciones o bloqueo de recursos sin js_render devuelve un error.
  • No rastrea. Envía las URL que quieras; Spicrawl no encuentra páginas ni sigue enlaces.
  • Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción a partir de un prompt en lenguaje natural.
  • Tu responsabilidad: solo obtén páginas que tengas derecho a usar. Lee nuestros términos.

Preguntas frecuentes

¿Cómo hago scraping de un sitio web con JavaScript?

Envía la URL de la página a POST https://api.spicrawl.com/v1/scrape con js_render en true. El navegador ejecuta los scripts antes de que Spicrawl lea la página. Elige response_format para Markdown, JSON o HTML.

¿Cómo espero a que cargue el contenido?

Configura wait_for con un selector CSS, como .price. Usa wait_for_timeout para fijar un tiempo límite de hasta 120000 milisegundos. Si el selector nunca coincide, la página puede volver tal como estaba con X-Warning: RENDER_DEGRADED. Revisa la advertencia antes de usar el resultado.

¿Cuánto cuesta el renderizado de JavaScript?

Spicrawl es gratis durante la beta. Los renderizados de JavaScript correctos usan 3 créditos; el renderizado con navegador completo usa 8. Si un despliegue no puede atender el renderizado de JavaScript, js_render puede atenderse con renderizado de navegador completo y facturarse a ese precio. Las solicitudes fallidas usan 0 créditos. Lee X-Engine (fetch, js o browser) y X-Credits-Charged para comprobar qué se ejecutó.

¿Puedo usar el modo auto con renderizado de JavaScript?

No. mode: auto no se puede combinar con js_render. El modo auto empieza con una solicitud simple y sube a renderizado de JavaScript y luego a renderizado con navegador completo cuando el resultado no es utilizable. Para páginas que sabes que necesitan JavaScript, usa js_render: true en su lugar.

¿Puede rastrear un sitio con JavaScript?

No. Spicrawl no encuentra URL ni sigue enlaces. Envía las URL de las páginas que quieres leer. Obtén solo páginas que tengas derecho a usar.