Scrape websites achter een login
Log één keer in en blijf ingelogd. Lees je accountpagina's met één API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- omzeilen
- X-Credits-Charged
- 3
Begint met een gewoon verzoek en gaat alleen naar een browser als de site het blokkeert. Geblokkeerde verzoeken kosten niets.
Render JavaScript in een echte browser voordat de pagina wordt gelezen.
Gewone verzoeken dragen de TLS- en HTTP/2-fingerprint van een echte browser.
Een directe verbinding of je eigen proxy, zonder toeslag.
Bewaar cookies en opslag tussen verzoeken, zodat een login blijft werken.
Klik, typ, scroll en voer JavaScript uit voordat de pagina wordt gelezen.
Sla afbeeldingen, lettertypen en media over voor snellere loads.
Neem de API-aanroepen op die de pagina doet tijdens het laden.
Standaard aan voor 48 uur. Herhalingen zijn sneller, gelijk gerekend.
Behoud de login tussen verzoeken
Een sessie deelt één cookiejar over de pagina's die je leest. Dit voorbeeld toont de flow, geen live verzoek.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Hoe het werkt
- Maak een sessie. Bewaar de ID uit de response.
- Log in met browseracties. Stuur de sessie-ID mee met het loginverzoek.
- Lees accountpagina's. Gebruik dezelfde ID opnieuw, één verzoek tegelijk.
- Geef de sessie vrij als je klaar bent.
Je API-sleutel heeft de scope sessions nodig om sessies te maken en te beheren, en scrape om er een te gebruiken. Bewaar hem in SPICRAWL_API_KEY.
1. Maak een sessie
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200De response bevat id, engine, expires_at en hard_expires_at. Het bevat nooit cookies. Het voorbeeld hieronder gebruikt een voorbeeld-ID; vervang die door de jouwe.
2. Log in met acties
Stuur deze body naar POST /v1/scrape met je bearer-token. Pas de URL en selectors aan op de site. Gebruik inloggegevens voor een account dat van jou is of dat je mag gebruiken.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Vervang de placeholders voor e-mail en wachtwoord veilig tijdens runtime. De wachtwoordactie gebruikt secret: true. Houd js_render: true: een sessie-ID alleen staat geen velden toe die alleen voor de browser zijn.
3. Lees pagina's met dezelfde login
Geef na een geslaagde login session_id mee bij elke scrape. Cookies en opslag worden meegenomen. Python en TypeScript hergebruiken de variabelen uit de stap waarin je de sessie maakt.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownSessieverzoeken omzeilen de resultaatcache altijd. Controleer Cache-State: bypass; de pagina wordt vers opgehaald.
4. Geef de sessie vrij
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Vrijgeven verwijdert cookies en opslag. De login blijft niet bewaard. Latere verzoeken op die ID geven 410 ERR::SESSION::RELEASED.
Sessie-opties
| Optie | Goed om te weten |
|---|---|
engine | Vast voor de levensduur van de sessie. Een scrape kan geen andere engine kiezen. Bekijk de respons van het aanmaken als je dit weglaat. |
ttl_seconds | Standaard 1.800 seconden; minimaal 30. Een geslaagde scrape verlengt de levensduur, nooit voorbij hard_expires_at. |
session_context | Herstel cookies en opslag die uit een actieve sessie zijn opgeslagen. De opgeslagen context is beperkt tot 1 MiB. |
Lees GET /v1/sessions/{id}/context om een login te bewaren vóór het vrijgeven. Sla die status veilig op en geef hem dan mee als session_context wanneer je een nieuwe sessie maakt.
Wat het kost
Gratis tijdens de beta. Sessies maken, lezen en vrijgeven kost niets. Elke scrape wordt geprijsd op basis van de rendering-tier van de sessie: fetch 1 credit, js 3, browser 8. Mislukkingen, ook een drukke of verlopen sessie, kosten 0.
Goed om te weten
- Eén verzoek per sessie tegelijk. Een tweede render geeft
409 ERR::SESSION::BUSYmetRetry-After. Gebruik één sessie per worker voor parallel werk. - Verlopen sessies hebben een nieuwe login nodig. Een onbekende, verwijderde of ongeldige ID geeft een fout; het verzoek draait nooit zonder zijn sessie.
- Je eigen proxy: gebruik een vaste uitgang voor sites die een login betwisten wanneer het IP verandert. Beheerde sessie-uitgangen komen binnenkort.
- Geen crawling. Jij levert de URL's. Beheerde proxy's, stealth, een remote browser en extractie op basis van een prompt komen binnenkort.
- Jouw verantwoordelijkheid: gebruik alleen accounts en pagina's waartoe je toegang mag hebben. Lees onze voorwaarden.
Veelgestelde vragen
Hoe scrape ik een website achter een login?
Maak een sessie, log in met browseracties en stuur dan het ID mee als session_id bij elke scrape. Gebruik js_render: true voor acties en andere velden die alleen in de browser werken. Gebruik alleen accounts en pagina's waartoe je toegang hebt.
Wat bewaart een sessie?
Een sessie bewaart cookies en browseropslag tussen verzoeken. De engine staat vast voor de hele levensduur. De normale sessie-response bevat nooit cookies; het context-endpoint geeft de opgeslagen status terug zolang de sessie actief is.
Kan ik veel verzoeken tegelijk op één sessie sturen?
Nee. Stuur per sessie één verzoek tegelijk. Een tweede verzoek terwijl een render loopt geeft 409 ERR::SESSION::BUSY met Retry-After. Maak voor parallel werk één sessie per worker.
Wat gebeurt er als ik een sessie vrijgeef?
Release verwijdert de cookies en opslag. De login wordt niet bewaard voor later. Een scrape met het vrijgegeven ID geeft 410 ERR::SESSION::RELEASED terug. Sla de context op vóór de release als je hem in een nieuwe sessie wilt herstellen.
Wat kosten sessies?
Sessies maken, lezen en vrijgeven kost niets. Elke scrape wordt geprijsd op basis van de rendering-tier van de sessie: 1 credit voor fetch, 3 voor js of 8 voor browser. Mislukte verzoeken kosten 0. Spicrawl is gratis tijdens de beta.