Scraping di siti dietro un login
Accedi una volta e resta connesso. Leggi le pagine del tuo account con una sola API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- diretto
- Cache-State
- bypass
- X-Credits-Charged
- 3
Parte da una richiesta semplice e sale a un browser solo se il sito la blocca. Le richieste bloccate non costano nulla.
Esegui il rendering JavaScript in un browser reale prima che la pagina venga letta.
Le richieste semplici portano il fingerprint TLS e HTTP/2 di un browser reale.
Una connessione diretta o il tuo proxy, senza sovrapprezzo.
Mantieni cookie e storage tra una richiesta e l’altra, così un login resta attivo.
Clicca, scrivi, scorri ed esegui JavaScript prima che la pagina venga letta.
Salta immagini, font e media per caricamenti più veloci.
Registra le chiamate API che la pagina fa mentre si carica.
Attiva per impostazione predefinita per 48 ore. Le ripetizioni sono più veloci, fatturate allo stesso modo.
Mantieni il login tra una richiesta e l’altra
Una sessione condivide un unico cookie jar tra le pagine che leggi. Questo esempio mostra il flusso, non una richiesta reale.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Come funziona
- Crea una sessione. Conserva l’ID dalla risposta.
- Accedi con le azioni del browser. Invia l’ID della sessione con la richiesta di login.
- Leggi le pagine dell’account. Riusa lo stesso ID, una richiesta alla volta.
- Rilascia la sessione quando hai finito.
La tua chiave API ha bisogno dello scope sessions per creare e gestire le sessioni, e di scrape per usarne una. Tienila in SPICRAWL_API_KEY.
1. Crea una sessione
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200La risposta include id, engine, expires_at e hard_expires_at. Non include mai i cookie. L’esempio qui sotto usa un ID di esempio; sostituiscilo con il tuo.
2. Accedi con le azioni
Invia questo corpo a POST /v1/scrape con il tuo bearer token. Cambia l’URL e i selettori in base al sito. Usa le credenziali di un account di tua proprietà o che sei autorizzato a usare.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Sostituisci in modo sicuro i segnaposto di email e password al momento dell’esecuzione. L’azione password usa secret: true. Mantieni js_render: true: un ID di sessione da solo non consente campi riservati al browser.
3. Leggi le pagine con lo stesso login
Dopo che il login è riuscito, passa session_id a ogni scrape. Cookie e storage vengono mantenuti. Python e TypeScript riusano le variabili del passaggio di creazione.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownLe richieste di sessione saltano sempre la cache dei risultati. Controlla Cache-State: bypass; la pagina viene recuperata di nuovo.
4. Rilascia la sessione
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Il rilascio elimina cookie e storage. Non conserva il login. Le richieste successive su quell’ID restituiscono 410 ERR::SESSION::RELEASED.
Opzioni della sessione
| Opzione | Da sapere |
|---|---|
engine | Fisso per tutta la durata della sessione. Uno scrape non può scegliere un motore diverso. Controlla la risposta di creazione se lo ometti. |
ttl_seconds | Predefinito 1.800 secondi; minimo 30. Uno scrape riuscito estende la durata, mai oltre hard_expires_at. |
session_context | Ripristina cookie e storage salvati da una sessione attiva. Il contesto salvato è limitato a 1 MiB. |
Per salvare un login prima del rilascio, leggi GET /v1/sessions/{id}/context. Conserva quello stato in modo sicuro, poi passalo come session_context quando crei una nuova sessione.
Quanto costa
Gratis durante la beta. Creare, leggere e rilasciare le sessioni non costa nulla. Ogni scrape ha il prezzo del livello di rendering della sessione: fetch 1 credito, js 3, browser 8. I fallimenti, inclusa una sessione occupata o scaduta, costano 0.
Da sapere
- Una richiesta alla volta per sessione. Un secondo render restituisce
409 ERR::SESSION::BUSYconRetry-After. Usa una sessione per worker per il lavoro in parallelo. - Le sessioni scadute richiedono un nuovo login. Un ID sconosciuto, eliminato o malformato restituisce un errore; la richiesta non viene mai eseguita senza la sua sessione.
- Il tuo proxy: usa un’uscita fissa per i siti che fanno una challenge al login quando l’IP cambia. Le uscite di sessione gestite arriveranno presto.
- Nessun crawling. Gli URL li fornisci tu. Proxy gestiti, stealth, un browser remoto ed estrazione da un prompt arriveranno presto.
- La tua responsabilità: usa solo account e pagine a cui hai il diritto di accedere. Leggi i nostri termini.
Domande frequenti
Come faccio scraping di un sito protetto da login?
Crea una sessione, accedi con le azioni del browser, poi invia il suo ID come session_id a ogni scrape. Usa js_render: true per le azioni e gli altri campi riservati al browser. Usa solo account e pagine a cui hai il diritto di accedere.
Cosa conserva una sessione?
Una sessione mantiene cookie e storage del browser tra le richieste. Il motore resta fisso per tutta la sua durata. La normale risposta di una sessione non contiene mai cookie; l’endpoint context restituisce lo stato salvato finché la sessione è attiva.
Posso inviare molte richieste contemporaneamente su una sessione?
No. Invia una richiesta alla volta per sessione. Una seconda richiesta mentre è in corso un rendering restituisce 409 ERR::SESSION::BUSY con Retry-After. Per il lavoro in parallelo, crea una sessione per worker.
Cosa succede quando rilascio una sessione?
Il rilascio elimina i suoi cookie e lo storage. Non conserva il login per dopo. Uno scrape che usa l’ID rilasciato restituisce 410 ERR::SESSION::RELEASED. Salva il contesto prima del rilascio se ti serve ripristinarlo in una nuova sessione.
Quanto costano le sessioni?
Creare, leggere e rilasciare le sessioni non costa nulla. Ogni scrape ha il prezzo del livello di rendering che la sessione usa: 1 credito per fetch, 3 per js o 8 per browser. Le richieste fallite costano 0. Spicrawl è gratis durante la beta.