Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Die API-Aufrufe hinter einer Webseite erfassen

Viele Seiten laden ihre Daten aus einer API. Erfasse diese Aufrufe und lies das JSON direkt.

So funktioniert es

  1. Die Seite rendern. Setze js_render: true, weil die Erfassung nur in einem Browser läuft.
  2. Wähle die Aufrufe. Setze network_capture auf eine urls-Liste mit Mustern, etwa /api/search.
  3. Lies die Bodys. Jeder passende Aufruf steht im Array network mit Status, Typ und Body.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Halte deinen Schlüssel in SPICRAWL_API_KEY.

Was zurückkommt

Ein Auszug aus der dokumentierten Antwort. Der Seiteninhalt ist ein Beispiel.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Wann du es nutzen solltest

  • Die Seite füllt sich aus einer API. Das JSON ist meist sauberer und stabiler als das daraus gezeichnete Markup.
  • Suche, Einträge und Feeds. Ergebnisse laden oft als ein JSON-Aufruf, den du ganz lesen kannst.
  • Andernfalls nutze strukturierte Extraktion mit CSS-Selektoren oder einem JSON Schema.

Gut zu wissen

  • Braucht js_render. Es kostet keine Credits zusätzlich zu den 3 für JavaScript-Rendering. Fehlgeschlagene Anfragen kosten 0.
  • Sei respektvoll. Rufe nur Daten ab, die du nutzen darfst, und halte dich an die Bedingungen der Website.
  • Preise: kostenlos in der Beta, mit 1.000 Credits im Monat.

Häufig gestellte Fragen

Was macht die Netzwerk-Erfassung?

Es zeichnet die Netzwerkaufrufe auf, die eine Seite beim Laden macht, und gibt die angeforderten zurück, einschließlich des Response-Bodys. So kannst du das JSON lesen, das die Seite selbst nutzt, statt das HTML zu parsen, das daraus gezeichnet wird.

Wie wähle ich, welche Aufrufe erfasst werden?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

Braucht es JavaScript-Rendering?

Ja. Die Erfassung funktioniert nur, wenn die Seite in einem Browser gerendert wird, setze also js_render auf true.

Kostet die Netzwerk-Erfassung extra?

Nein. Es kommen keine Credits zu dem JavaScript-Rendering hinzu, das du schon zahlst, also 3 Credits. Fehlgeschlagene Anfragen kosten 0.

Soll ich es statt des Scrapens von HTML nutzen?

Wenn eine Seite sich aus einer JSON-API füllt, ist das Lesen dieses JSON meist sauberer und stabiler als das Parsen von Markup. Beachte die Nutzungsbedingungen der Website und rufe nur Daten ab, die du nutzen darfst.