Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Scrape websites achter een login

Log één keer in en blijf ingelogd. Lees je accountpagina's met één API.

Spicrawl-controlepaneel
Automatisch opschalen
Browser
Fingerprint
Proxy
Beheerde proxy's: binnenkort
Sessie
Acties
Assets blokkeren
Netwerkcapture
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Voorbeeld van responseheaders
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
omzeilen
X-Credits-Charged
3
Sessies

Bewaar cookies en opslag tussen verzoeken, zodat een login blijft werken.

Alleen een voorbeeld, geen live verzoek. De beta is gratis.

Behoud de login tussen verzoeken

Een sessie deelt één cookiejar over de pagina's die je leest. Dit voorbeeld toont de flow, geen live verzoek.

Maak een sessie
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Hoe het werkt

  1. Maak een sessie. Bewaar de ID uit de response.
  2. Log in met browseracties. Stuur de sessie-ID mee met het loginverzoek.
  3. Lees accountpagina's. Gebruik dezelfde ID opnieuw, één verzoek tegelijk.
  4. Geef de sessie vrij als je klaar bent.

Je API-sleutel heeft de scope sessions nodig om sessies te maken en te beheren, en scrape om er een te gebruiken. Bewaar hem in SPICRAWL_API_KEY.

1. Maak een sessie

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

De response bevat id, engine, expires_at en hard_expires_at. Het bevat nooit cookies. Het voorbeeld hieronder gebruikt een voorbeeld-ID; vervang die door de jouwe.

2. Log in met acties

Stuur deze body naar POST /v1/scrape met je bearer-token. Pas de URL en selectors aan op de site. Gebruik inloggegevens voor een account dat van jou is of dat je mag gebruiken.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Vervang de placeholders voor e-mail en wachtwoord veilig tijdens runtime. De wachtwoordactie gebruikt secret: true. Houd js_render: true: een sessie-ID alleen staat geen velden toe die alleen voor de browser zijn.

3. Lees pagina's met dezelfde login

Geef na een geslaagde login session_id mee bij elke scrape. Cookies en opslag worden meegenomen. Python en TypeScript hergebruiken de variabelen uit de stap waarin je de sessie maakt.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Sessieverzoeken omzeilen de resultaatcache altijd. Controleer Cache-State: bypass; de pagina wordt vers opgehaald.

4. Geef de sessie vrij

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Vrijgeven verwijdert cookies en opslag. De login blijft niet bewaard. Latere verzoeken op die ID geven 410 ERR::SESSION::RELEASED.

Sessie-opties

OptieGoed om te weten
engineVast voor de levensduur van de sessie. Een scrape kan geen andere engine kiezen. Bekijk de respons van het aanmaken als je dit weglaat.
ttl_secondsStandaard 1.800 seconden; minimaal 30. Een geslaagde scrape verlengt de levensduur, nooit voorbij hard_expires_at.
session_contextHerstel cookies en opslag die uit een actieve sessie zijn opgeslagen. De opgeslagen context is beperkt tot 1 MiB.

Lees GET /v1/sessions/{id}/context om een login te bewaren vóór het vrijgeven. Sla die status veilig op en geef hem dan mee als session_context wanneer je een nieuwe sessie maakt.

Wat het kost

Gratis tijdens de beta. Sessies maken, lezen en vrijgeven kost niets. Elke scrape wordt geprijsd op basis van de rendering-tier van de sessie: fetch 1 credit, js 3, browser 8. Mislukkingen, ook een drukke of verlopen sessie, kosten 0.

Goed om te weten

  • Eén verzoek per sessie tegelijk. Een tweede render geeft 409 ERR::SESSION::BUSY met Retry-After. Gebruik één sessie per worker voor parallel werk.
  • Verlopen sessies hebben een nieuwe login nodig. Een onbekende, verwijderde of ongeldige ID geeft een fout; het verzoek draait nooit zonder zijn sessie.
  • Je eigen proxy: gebruik een vaste uitgang voor sites die een login betwisten wanneer het IP verandert. Beheerde sessie-uitgangen komen binnenkort.
  • Geen crawling. Jij levert de URL's. Beheerde proxy's, stealth, een remote browser en extractie op basis van een prompt komen binnenkort.
  • Jouw verantwoordelijkheid: gebruik alleen accounts en pagina's waartoe je toegang mag hebben. Lees onze voorwaarden.

Veelgestelde vragen

Hoe scrape ik een website achter een login?

Maak een sessie, log in met browseracties en stuur dan het ID mee als session_id bij elke scrape. Gebruik js_render: true voor acties en andere velden die alleen in de browser werken. Gebruik alleen accounts en pagina's waartoe je toegang hebt.

Wat bewaart een sessie?

Een sessie bewaart cookies en browseropslag tussen verzoeken. De engine staat vast voor de hele levensduur. De normale sessie-response bevat nooit cookies; het context-endpoint geeft de opgeslagen status terug zolang de sessie actief is.

Kan ik veel verzoeken tegelijk op één sessie sturen?

Nee. Stuur per sessie één verzoek tegelijk. Een tweede verzoek terwijl een render loopt geeft 409 ERR::SESSION::BUSY met Retry-After. Maak voor parallel werk één sessie per worker.

Wat gebeurt er als ik een sessie vrijgeef?

Release verwijdert de cookies en opslag. De login wordt niet bewaard voor later. Een scrape met het vrijgegeven ID geeft 410 ERR::SESSION::RELEASED terug. Sla de context op vóór de release als je hem in een nieuwe sessie wilt herstellen.

Wat kosten sessies?

Sessies maken, lezen en vrijgeven kost niets. Elke scrape wordt geprijsd op basis van de rendering-tier van de sessie: 1 credit voor fetch, 3 voor js of 8 voor browser. Mislukte verzoeken kosten 0. Spicrawl is gratis tijdens de beta.