Websites hinter einem Login scrapen
Einmal anmelden und angemeldet bleiben. Lies deine Kontoseiten mit einer API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direkt
- Cache-State
- Umgehung
- X-Credits-Charged
- 3
Beginnt mit einer einfachen Anfrage und geht nur dann zu einem Browser über, wenn die Website sie blockiert. Blockierte Anfragen kosten nichts.
Rendere JavaScript in einem echten Browser, bevor die Seite gelesen wird.
Einfache Anfragen tragen den TLS- und HTTP/2-Fingerprint eines echten Browsers.
Eine direkte Verbindung oder dein eigener Proxy, ohne Aufpreis.
Behalte Cookies und Storage zwischen Anfragen, damit ein Login erhalten bleibt.
Klicken, tippen, scrollen und JavaScript ausführen, bevor die Seite gelesen wird.
Überspringe Bilder, Schriften und Medien für schnelleres Laden.
Zeichne die API-Aufrufe auf, die die Seite beim Laden macht.
Standardmäßig 48 Stunden an. Wiederholungen sind schneller, gleich berechnet.
Den Login zwischen Anfragen behalten
Eine Session teilt sich einen Cookie-Speicher über alle Seiten, die du liest. Dieses Beispiel zeigt den Ablauf, keine Live-Anfrage.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );So funktioniert es
- Eine Session erstellen. Behalte die ID aus der Antwort.
- Mit Browser-Aktionen anmelden. Sende die Session-ID mit der Login-Anfrage mit.
- Kontoseiten lesen. Nutze dieselbe ID wieder, eine Anfrage nach der anderen.
- Die Session freigeben, wenn du fertig bist.
Dein API-Schlüssel braucht den Scope sessions, um Sessions zu erstellen und zu verwalten, und scrape, um eine zu nutzen. Halte ihn in SPICRAWL_API_KEY.
1. Eine Session erstellen
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Die Antwort enthält id, engine, expires_at und hard_expires_at. Sie enthält nie Cookies. Das Beispiel unten nutzt eine Beispiel-ID; ersetze sie durch deine.
2. Mit Aktionen einloggen
Sende diesen Body mit deinem Bearer-Token an POST /v1/scrape. Passe URL und Selektoren an die Website an. Nutze Zugangsdaten für ein Konto, das dir gehört oder das du nutzen darfst.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Ersetze die Platzhalter für E-Mail und Passwort zur Laufzeit sicher. Die Passwort-Aktion nutzt secret: true. Behalte js_render: true: Eine Session-ID allein erlaubt keine Felder, die nur im Browser gehen.
3. Seiten mit demselben Login lesen
Nachdem der Login geklappt hat, übergib session_id bei jedem Scrape. Cookies und Storage werden übernommen. Python und TypeScript nutzen die Variablen aus dem Create-Schritt weiter.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownSession-Anfragen umgehen immer den Ergebnis-Cache. Prüfe Cache-State: bypass; die Seite wird frisch abgerufen.
4. Die Session freigeben
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Das Freigeben löscht Cookies und Storage. Es behält den Login nicht. Spätere Anfragen mit dieser ID liefern 410 ERR::SESSION::RELEASED.
Session-Optionen
| Option | Gut zu wissen |
|---|---|
engine | Für die Lebensdauer der Session fest. Ein Scrape kann keine andere Engine wählen. Prüfe die Antwort beim Erstellen, wenn du das weglässt. |
ttl_seconds | Standard 1.800 Sekunden; mindestens 30. Ein erfolgreicher Scrape verlängert die Lebensdauer, aber nie über hard_expires_at hinaus. |
session_context | Stelle Cookies und Storage wieder her, die aus einer aktiven Session gespeichert wurden. Der gespeicherte Kontext ist auf 1 MiB begrenzt. |
Um einen Login vor dem Freigeben zu speichern, lies GET /v1/sessions/{id}/context. Bewahre diesen Zustand sicher auf und übergib ihn dann als session_context, wenn du eine neue Session erstellst.
Was es kostet
Kostenlos in der Beta. Sessions zu erstellen, zu lesen und freizugeben kostet nichts. Jeder Scrape wird nach der Rendering-Stufe der Session berechnet: Fetch 1 Credit, js 3, Browser 8. Fehler, auch eine belegte oder abgelaufene Session, kosten 0.
Gut zu wissen
- Eine Anfrage pro Session gleichzeitig. Ein zweites Rendern liefert
409 ERR::SESSION::BUSYmitRetry-After. Nutze für parallele Arbeit eine Session pro Worker. - Abgelaufene Sessions brauchen einen neuen Login. Eine unbekannte, gelöschte oder fehlerhafte ID liefert einen Fehler; die Anfrage läuft nie ohne ihre Session.
- Dein eigener Proxy: nutze einen festen Ausgang für Websites, die einen Login anzweifeln, wenn sich die IP ändert. Verwaltete Session-Ausgänge kommen bald.
- Kein Crawling. Du lieferst die URLs. Verwaltete Proxys, Stealth, ein Remote-Browser und Extraktion aus einem Prompt kommen bald.
- Deine Verantwortung: Nutze nur Konten und Seiten, auf die du zugreifen darfst. Lies unsere Bedingungen.
Häufig gestellte Fragen
Wie scrape ich eine Website hinter einem Login?
Erstelle eine Session, melde dich mit Browser-Aktionen an und sende dann ihre ID bei jedem Scrape als session_id mit. Nutze js_render: true für Aktionen und andere Felder, die nur im Browser gehen. Nutze nur Konten und Seiten, auf die du ein Zugriffsrecht hast.
Was behält eine Session?
Eine Session behält Cookies und Browser-Storage über Anfragen hinweg. Die Engine ist für ihre Lebensdauer fest. Die normale Session-Antwort enthält nie Cookies; der Context-Endpunkt liefert den gespeicherten Zustand, solange die Session aktiv ist.
Kann ich viele Anfragen gleichzeitig in einer Session senden?
Nein. Sende pro Session jeweils eine Anfrage. Eine zweite Anfrage, während ein Rendering läuft, liefert 409 ERR::SESSION::BUSY mit Retry-After. Für parallele Arbeit erstelle eine Session pro Worker.
Was passiert, wenn ich eine Session freigebe?
Das Freigeben löscht die Cookies und den Storage der Session. Der Login bleibt für später nicht erhalten. Ein Scrape mit der freigegebenen ID liefert 410 ERR::SESSION::RELEASED. Speichere den Kontext vor dem Freigeben, wenn du ihn in einer neuen Session wiederherstellen willst.
Was kosten Sessions?
Sessions zu erstellen, zu lesen und freizugeben kostet nichts. Jeder Scrape wird nach der Rendering-Stufe berechnet, die die Session nutzt: 1 Credit für Fetch, 3 für js oder 8 für Browser. Fehlgeschlagene Anfragen kosten 0. Spicrawl ist in der Beta kostenlos.