Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Websites hinter einem Login scrapen

Einmal anmelden und angemeldet bleiben. Lies deine Kontoseiten mit einer API.

Spicrawl-Control-Panel
Automatische Eskalation
Browser
Fingerprint
Proxy
Verwaltete Proxys: kommen bald
Session
Aktionen
Assets blockieren
Netzwerk-Erfassung
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Beispiel für Response-Header
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direkt
Cache-State
Umgehung
X-Credits-Charged
3
Sessions

Behalte Cookies und Storage zwischen Anfragen, damit ein Login erhalten bleibt.

Nur ein Beispiel, keine Live-Anfrage. Die Beta ist kostenlos.

Den Login zwischen Anfragen behalten

Eine Session teilt sich einen Cookie-Speicher über alle Seiten, die du liest. Dieses Beispiel zeigt den Ablauf, keine Live-Anfrage.

Eine Session erstellen
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

So funktioniert es

  1. Eine Session erstellen. Behalte die ID aus der Antwort.
  2. Mit Browser-Aktionen anmelden. Sende die Session-ID mit der Login-Anfrage mit.
  3. Kontoseiten lesen. Nutze dieselbe ID wieder, eine Anfrage nach der anderen.
  4. Die Session freigeben, wenn du fertig bist.

Dein API-Schlüssel braucht den Scope sessions, um Sessions zu erstellen und zu verwalten, und scrape, um eine zu nutzen. Halte ihn in SPICRAWL_API_KEY.

1. Eine Session erstellen

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Die Antwort enthält id, engine, expires_at und hard_expires_at. Sie enthält nie Cookies. Das Beispiel unten nutzt eine Beispiel-ID; ersetze sie durch deine.

2. Mit Aktionen einloggen

Sende diesen Body mit deinem Bearer-Token an POST /v1/scrape. Passe URL und Selektoren an die Website an. Nutze Zugangsdaten für ein Konto, das dir gehört oder das du nutzen darfst.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Ersetze die Platzhalter für E-Mail und Passwort zur Laufzeit sicher. Die Passwort-Aktion nutzt secret: true. Behalte js_render: true: Eine Session-ID allein erlaubt keine Felder, die nur im Browser gehen.

3. Seiten mit demselben Login lesen

Nachdem der Login geklappt hat, übergib session_id bei jedem Scrape. Cookies und Storage werden übernommen. Python und TypeScript nutzen die Variablen aus dem Create-Schritt weiter.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Session-Anfragen umgehen immer den Ergebnis-Cache. Prüfe Cache-State: bypass; die Seite wird frisch abgerufen.

4. Die Session freigeben

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Das Freigeben löscht Cookies und Storage. Es behält den Login nicht. Spätere Anfragen mit dieser ID liefern 410 ERR::SESSION::RELEASED.

Session-Optionen

OptionGut zu wissen
engineFür die Lebensdauer der Session fest. Ein Scrape kann keine andere Engine wählen. Prüfe die Antwort beim Erstellen, wenn du das weglässt.
ttl_secondsStandard 1.800 Sekunden; mindestens 30. Ein erfolgreicher Scrape verlängert die Lebensdauer, aber nie über hard_expires_at hinaus.
session_contextStelle Cookies und Storage wieder her, die aus einer aktiven Session gespeichert wurden. Der gespeicherte Kontext ist auf 1 MiB begrenzt.

Um einen Login vor dem Freigeben zu speichern, lies GET /v1/sessions/{id}/context. Bewahre diesen Zustand sicher auf und übergib ihn dann als session_context, wenn du eine neue Session erstellst.

Was es kostet

Kostenlos in der Beta. Sessions zu erstellen, zu lesen und freizugeben kostet nichts. Jeder Scrape wird nach der Rendering-Stufe der Session berechnet: Fetch 1 Credit, js 3, Browser 8. Fehler, auch eine belegte oder abgelaufene Session, kosten 0.

Gut zu wissen

  • Eine Anfrage pro Session gleichzeitig. Ein zweites Rendern liefert 409 ERR::SESSION::BUSY mit Retry-After. Nutze für parallele Arbeit eine Session pro Worker.
  • Abgelaufene Sessions brauchen einen neuen Login. Eine unbekannte, gelöschte oder fehlerhafte ID liefert einen Fehler; die Anfrage läuft nie ohne ihre Session.
  • Dein eigener Proxy: nutze einen festen Ausgang für Websites, die einen Login anzweifeln, wenn sich die IP ändert. Verwaltete Session-Ausgänge kommen bald.
  • Kein Crawling. Du lieferst die URLs. Verwaltete Proxys, Stealth, ein Remote-Browser und Extraktion aus einem Prompt kommen bald.
  • Deine Verantwortung: Nutze nur Konten und Seiten, auf die du zugreifen darfst. Lies unsere Bedingungen.

Häufig gestellte Fragen

Wie scrape ich eine Website hinter einem Login?

Erstelle eine Session, melde dich mit Browser-Aktionen an und sende dann ihre ID bei jedem Scrape als session_id mit. Nutze js_render: true für Aktionen und andere Felder, die nur im Browser gehen. Nutze nur Konten und Seiten, auf die du ein Zugriffsrecht hast.

Was behält eine Session?

Eine Session behält Cookies und Browser-Storage über Anfragen hinweg. Die Engine ist für ihre Lebensdauer fest. Die normale Session-Antwort enthält nie Cookies; der Context-Endpunkt liefert den gespeicherten Zustand, solange die Session aktiv ist.

Kann ich viele Anfragen gleichzeitig in einer Session senden?

Nein. Sende pro Session jeweils eine Anfrage. Eine zweite Anfrage, während ein Rendering läuft, liefert 409 ERR::SESSION::BUSY mit Retry-After. Für parallele Arbeit erstelle eine Session pro Worker.

Was passiert, wenn ich eine Session freigebe?

Das Freigeben löscht die Cookies und den Storage der Session. Der Login bleibt für später nicht erhalten. Ein Scrape mit der freigegebenen ID liefert 410 ERR::SESSION::RELEASED. Speichere den Kontext vor dem Freigeben, wenn du ihn in einer neuen Session wiederherstellen willst.

Was kosten Sessions?

Sessions zu erstellen, zu lesen und freizugeben kostet nichts. Jeder Scrape wird nach der Rendering-Stufe berechnet, die die Session nutzt: 1 Credit für Fetch, 3 für js oder 8 für Browser. Fehlgeschlagene Anfragen kosten 0. Spicrawl ist in der Beta kostenlos.