Spicrawl ora funziona con OpenAI Agents SDK, LangChain, Codex, Claude Code e altri.Vedi le integrazioni
Vai al contenuto

Scraping di siti dietro un login

Accedi una volta e resta connesso. Leggi le pagine del tuo account con una sola API.

Pannello di controllo di Spicrawl
Escalation automatica
Browser
Fingerprint
Proxy
Proxy gestiti: in arrivo
Sessione
Azioni
Blocca gli asset
Cattura di rete
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Esempio di header di risposta
X-Target-Status
200
X-Engine
js
X-Proxy-Source
diretto
Cache-State
bypass
X-Credits-Charged
3
Sessioni

Mantieni cookie e storage tra una richiesta e l’altra, così un login resta attivo.

Solo un esempio, non una richiesta reale. La beta è gratuita.

Mantieni il login tra una richiesta e l’altra

Una sessione condivide un unico cookie jar tra le pagine che leggi. Questo esempio mostra il flusso, non una richiesta reale.

Crea una sessione
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Come funziona

  1. Crea una sessione. Conserva l’ID dalla risposta.
  2. Accedi con le azioni del browser. Invia l’ID della sessione con la richiesta di login.
  3. Leggi le pagine dell’account. Riusa lo stesso ID, una richiesta alla volta.
  4. Rilascia la sessione quando hai finito.

La tua chiave API ha bisogno dello scope sessions per creare e gestire le sessioni, e di scrape per usarne una. Tienila in SPICRAWL_API_KEY.

1. Crea una sessione

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

La risposta include id, engine, expires_at e hard_expires_at. Non include mai i cookie. L’esempio qui sotto usa un ID di esempio; sostituiscilo con il tuo.

2. Accedi con le azioni

Invia questo corpo a POST /v1/scrape con il tuo bearer token. Cambia l’URL e i selettori in base al sito. Usa le credenziali di un account di tua proprietà o che sei autorizzato a usare.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Sostituisci in modo sicuro i segnaposto di email e password al momento dell’esecuzione. L’azione password usa secret: true. Mantieni js_render: true: un ID di sessione da solo non consente campi riservati al browser.

3. Leggi le pagine con lo stesso login

Dopo che il login è riuscito, passa session_id a ogni scrape. Cookie e storage vengono mantenuti. Python e TypeScript riusano le variabili del passaggio di creazione.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Le richieste di sessione saltano sempre la cache dei risultati. Controlla Cache-State: bypass; la pagina viene recuperata di nuovo.

4. Rilascia la sessione

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Il rilascio elimina cookie e storage. Non conserva il login. Le richieste successive su quell’ID restituiscono 410 ERR::SESSION::RELEASED.

Opzioni della sessione

OpzioneDa sapere
engineFisso per tutta la durata della sessione. Uno scrape non può scegliere un motore diverso. Controlla la risposta di creazione se lo ometti.
ttl_secondsPredefinito 1.800 secondi; minimo 30. Uno scrape riuscito estende la durata, mai oltre hard_expires_at.
session_contextRipristina cookie e storage salvati da una sessione attiva. Il contesto salvato è limitato a 1 MiB.

Per salvare un login prima del rilascio, leggi GET /v1/sessions/{id}/context. Conserva quello stato in modo sicuro, poi passalo come session_context quando crei una nuova sessione.

Quanto costa

Gratis durante la beta. Creare, leggere e rilasciare le sessioni non costa nulla. Ogni scrape ha il prezzo del livello di rendering della sessione: fetch 1 credito, js 3, browser 8. I fallimenti, inclusa una sessione occupata o scaduta, costano 0.

Da sapere

  • Una richiesta alla volta per sessione. Un secondo render restituisce 409 ERR::SESSION::BUSY con Retry-After. Usa una sessione per worker per il lavoro in parallelo.
  • Le sessioni scadute richiedono un nuovo login. Un ID sconosciuto, eliminato o malformato restituisce un errore; la richiesta non viene mai eseguita senza la sua sessione.
  • Il tuo proxy: usa un’uscita fissa per i siti che fanno una challenge al login quando l’IP cambia. Le uscite di sessione gestite arriveranno presto.
  • Nessun crawling. Gli URL li fornisci tu. Proxy gestiti, stealth, un browser remoto ed estrazione da un prompt arriveranno presto.
  • La tua responsabilità: usa solo account e pagine a cui hai il diritto di accedere. Leggi i nostri termini.

Domande frequenti

Come faccio scraping di un sito protetto da login?

Crea una sessione, accedi con le azioni del browser, poi invia il suo ID come session_id a ogni scrape. Usa js_render: true per le azioni e gli altri campi riservati al browser. Usa solo account e pagine a cui hai il diritto di accedere.

Cosa conserva una sessione?

Una sessione mantiene cookie e storage del browser tra le richieste. Il motore resta fisso per tutta la sua durata. La normale risposta di una sessione non contiene mai cookie; l’endpoint context restituisce lo stato salvato finché la sessione è attiva.

Posso inviare molte richieste contemporaneamente su una sessione?

No. Invia una richiesta alla volta per sessione. Una seconda richiesta mentre è in corso un rendering restituisce 409 ERR::SESSION::BUSY con Retry-After. Per il lavoro in parallelo, crea una sessione per worker.

Cosa succede quando rilascio una sessione?

Il rilascio elimina i suoi cookie e lo storage. Non conserva il login per dopo. Uno scrape che usa l’ID rilasciato restituisce 410 ERR::SESSION::RELEASED. Salva il contesto prima del rilascio se ti serve ripristinarlo in una nuova sessione.

Quanto costano le sessioni?

Creare, leggere e rilasciare le sessioni non costa nulla. Ogni scrape ha il prezzo del livello di rendering che la sessione usa: 1 credito per fetch, 3 per js o 8 per browser. Le richieste fallite costano 0. Spicrawl è gratis durante la beta.