Die API-Aufrufe hinter einer Webseite erfassen
Viele Seiten laden ihre Daten aus einer API. Erfasse diese Aufrufe und lies das JSON direkt.
So funktioniert es
- Die Seite rendern. Setze
js_render: true, weil die Erfassung nur in einem Browser läuft. - Wähle die Aufrufe. Setze
network_captureauf eineurls-Liste mit Mustern, etwa/api/search. - Lies die Bodys. Jeder passende Aufruf steht im Array
networkmit Status, Typ und Body.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Halte deinen Schlüssel in SPICRAWL_API_KEY.
Was zurückkommt
Ein Auszug aus der dokumentierten Antwort. Der Seiteninhalt ist ein Beispiel.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Wann du es nutzen solltest
- Die Seite füllt sich aus einer API. Das JSON ist meist sauberer und stabiler als das daraus gezeichnete Markup.
- Suche, Einträge und Feeds. Ergebnisse laden oft als ein JSON-Aufruf, den du ganz lesen kannst.
- Andernfalls nutze strukturierte Extraktion mit CSS-Selektoren oder einem JSON Schema.
Gut zu wissen
- Braucht
js_render. Es kostet keine Credits zusätzlich zu den 3 für JavaScript-Rendering. Fehlgeschlagene Anfragen kosten 0. - Sei respektvoll. Rufe nur Daten ab, die du nutzen darfst, und halte dich an die Bedingungen der Website.
- Preise: kostenlos in der Beta, mit 1.000 Credits im Monat.
Häufig gestellte Fragen
Was macht die Netzwerk-Erfassung?
Es zeichnet die Netzwerkaufrufe auf, die eine Seite beim Laden macht, und gibt die angeforderten zurück, einschließlich des Response-Bodys. So kannst du das JSON lesen, das die Seite selbst nutzt, statt das HTML zu parsen, das daraus gezeichnet wird.
Wie wähle ich, welche Aufrufe erfasst werden?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Braucht es JavaScript-Rendering?
Ja. Die Erfassung funktioniert nur, wenn die Seite in einem Browser gerendert wird, setze also js_render auf true.
Kostet die Netzwerk-Erfassung extra?
Nein. Es kommen keine Credits zu dem JavaScript-Rendering hinzu, das du schon zahlst, also 3 Credits. Fehlgeschlagene Anfragen kosten 0.
Soll ich es statt des Scrapens von HTML nutzen?
Wenn eine Seite sich aus einer JSON-API füllt, ist das Lesen dieses JSON meist sauberer und stabiler als das Parsen von Markup. Beachte die Nutzungsbedingungen der Website und rufe nur Daten ab, die du nutzen darfst.