Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Haz scraping de sitios web tras un login

Inicia sesión una vez y sigue con la sesión iniciada. Lee las páginas de tu cuenta con una sola API.

Panel de control de Spicrawl
Escalado automático
Navegador
Fingerprint
Proxy
Proxies gestionados: próximamente
Sesión
Acciones
Bloquear recursos
Captura de red
Caché
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Encabezados de respuesta de ejemplo
X-Target-Status
200
X-Engine
js
X-Proxy-Source
directo
Cache-State
evasión
X-Credits-Charged
3
Sesiones

Conserva las cookies y el almacenamiento entre solicitudes, para que el login se mantenga.

Solo un ejemplo, no una solicitud real. La beta es gratuita.

Mantén el login entre solicitudes

Una sesión comparte un mismo almacén de cookies entre las páginas que lees. Este ejemplo muestra el flujo, no una solicitud real.

Crea una sesión
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Cómo funciona

  1. Crea una sesión. Guarda el ID de la respuesta.
  2. Inicia sesión con acciones del navegador. Envía el ID de sesión con la solicitud de inicio de sesión.
  3. Lee las páginas de la cuenta. Reutiliza el mismo ID, una solicitud a la vez.
  4. Libera la sesión cuando termines.

Tu clave de API necesita el alcance sessions para crear y gestionar sesiones, y scrape para usar una. Guárdala en SPICRAWL_API_KEY.

1. Crea una sesión

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

La respuesta incluye id, engine, expires_at y hard_expires_at. Nunca incluye cookies. El ejemplo de abajo usa un ID de muestra; sustitúyelo por el tuyo.

2. Inicia sesión con acciones

Envía este cuerpo a POST /v1/scrape con tu token bearer. Cambia la URL y los selectores para que coincidan con el sitio. Usa credenciales de una cuenta que sea tuya o que puedas usar.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Sustituye los marcadores de correo y contraseña de forma segura en tiempo de ejecución. La acción de contraseña usa secret: true. Mantén js_render: true: un ID de sesión por sí solo no permite campos exclusivos del navegador.

3. Lee páginas con el mismo inicio de sesión

Cuando el inicio de sesión funcione, pasa session_id en cada scrape. Las cookies y el almacenamiento se conservan. Python y TypeScript reutilizan las variables del paso de creación.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Las solicitudes de sesión siempre omiten la caché de resultados. Comprueba Cache-State: bypass; la página se obtiene de nuevo.

4. Libera la sesión

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Liberar borra las cookies y el almacenamiento. No conserva el inicio de sesión. Las solicitudes posteriores con ese ID devuelven 410 ERR::SESSION::RELEASED.

Opciones de sesión

OpciónQué conviene saber
engineFijo durante la vida de la sesión. Un scrape no puede elegir otro motor. Revisa la respuesta de creación si lo omites.
ttl_secondsPredeterminado 1.800 segundos; mínimo 30. Un scrape correcto amplía la vida útil, nunca más allá de hard_expires_at.
session_contextRestaura las cookies y el almacenamiento guardados de una sesión activa. El contexto guardado está limitado a 1 MiB.

Para guardar un inicio de sesión antes de liberarlo, lee GET /v1/sessions/{id}/context. Guarda ese estado de forma segura y luego pásalo como session_context al crear una sesión nueva.

Cuánto cuesta

Gratis durante la beta. Crear, leer y liberar sesiones no cuesta nada. Cada scrape se cobra según el nivel de renderizado de la sesión: fetch 1 crédito, js 3, browser 8. Los fallos, incluida una sesión ocupada o caducada, cuestan 0.

Conviene saber

  • Una solicitud por sesión a la vez. Un segundo renderizado devuelve 409 ERR::SESSION::BUSY con Retry-After. Usa una sesión por worker para el trabajo en paralelo.
  • Las sesiones caducadas necesitan un nuevo login. Un ID desconocido, eliminado o con formato incorrecto devuelve un error; la solicitud nunca se ejecuta sin su sesión.
  • Tu propio proxy: usa una salida fija para sitios que desafían un inicio de sesión cuando cambia su IP. Las salidas de sesión gestionadas llegarán pronto.
  • No rastrea. Tú proporcionas las URL. Los proxies gestionados, el modo sigiloso, un navegador remoto y la extracción a partir de un prompt llegarán pronto.
  • Tu responsabilidad: usa solo cuentas y páginas a las que tengas derecho de acceso. Lee nuestros términos.

Preguntas frecuentes

¿Cómo hago scraping de un sitio web detrás de un login?

Crea una sesión, inicia sesión con acciones del navegador y envía su ID como session_id en cada scrape. Usa js_render: true para las acciones y otros campos exclusivos del navegador. Usa solo cuentas y páginas a las que tengas derecho a acceder.

¿Qué conserva una sesión?

Una sesión conserva las cookies y el almacenamiento del navegador entre solicitudes. El motor queda fijo durante toda su vida. La respuesta normal de una sesión nunca contiene cookies; el endpoint de contexto devuelve el estado guardado mientras la sesión está activa.

¿Puedo enviar muchas solicitudes a la vez en una sesión?

No. Envía una solicitud a la vez por sesión. Una segunda solicitud mientras se ejecuta un renderizado devuelve 409 ERR::SESSION::BUSY con Retry-After. Para trabajo en paralelo, crea una sesión por worker.

¿Qué pasa cuando libero una sesión?

Liberar elimina sus cookies y su almacenamiento. No conserva el login para más adelante. Un scrape con el ID liberado devuelve 410 ERR::SESSION::RELEASED. Guarda el contexto antes de liberar si necesitas restaurarlo en una sesión nueva.

¿Cuánto cuestan las sesiones?

Crear, leer y liberar sesiones no cuesta nada. Cada scrape se cobra según el nivel de renderizado que usa la sesión: 1 crédito por fetch, 3 por js u 8 por browser. Las solicitudes fallidas cuestan 0. Spicrawl es gratis durante la beta.