Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

JavaScript-Websites scrapen

Sende eine URL, die JavaScript braucht. Bekomme die Seite als sauberes Markdown oder JSON zurück.

Spicrawl-Control-Panel
Automatische Eskalation
Browser
Fingerprint
Proxy
Verwaltete Proxys: kommen bald
Session
Aktionen
Assets blockieren
Netzwerk-Erfassung
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Beispiel für Response-Header
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direkt
Cache-State
Treffer
X-Credits-Charged
3
Browser

Rendere JavaScript in einem echten Browser, bevor die Seite gelesen wird.

Nur ein Beispiel, keine Live-Anfrage. Die Beta ist kostenlos.

Eine gerenderte Seite im Format, das du brauchst

Sieh, wie Seiteninhalt zu Markdown, JSON oder HTML wird. Diese Beispiele zeigen die Ausgabe, keine Live-Anfrage.

example.com/product/1
Lerne Model X kennen — Präzision bei jedem Klick
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Auf Lager★ 4.6 (1,284)
Empfänger mit niedriger Latenz (2.4 GHz), 70 Tage Akkulaufzeit und leise Schalter.
SpezifikationWert
Verbindung2.4 GHz, BT5Akku70 Tage
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Auf Lager · 4.6 (1,284 Bewertungen)Low-latency 2.4 GHz receiver, 70-day battery lifeund stille Schalter.| Spec      | Value        || --------- | ------------ || Verbindung| 2.4 GHz, BT5 || Akku      | 70 Tage      |
Die Seite lesen
Rohes HTML12.480 Tokens
Markdown0 Tokens

Menüs, Footer und Werbung entfernt: 3 % bis 24 % der Tokens des rohen HTML. Beispielseite.

So funktioniert es

  1. Die Seiten-URL senden an POST /v1/scrape mit js_render: true.
  2. Auf den Inhalt warten. Setze wait_for auf einen CSS-Selektor, etwa .price.
  3. Die gerenderte Seite abrufen im gewählten Format. Die Beispiele unten liefern Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Halte deinen Schlüssel in SPICRAWL_API_KEY. Packe ihn nie in Browser-Code oder in eine Datei, die du committest.

Wann du JavaScript rendern solltest

Eine einfache Anfrage lädt HTML herunter, ohne Skripte auszuführen. Ist das Ergebnis eine leere Hülle oder eine „Loading…“-Meldung, braucht die Seite vielleicht JavaScript. Setze js_render: true, um sie vor dem Lesen in einem Browser auszuführen.

Nutze eine einfache Anfrage für Inhalte, die schon im HTML stehen. Rendering ist außerdem für Browser-Aktionen, Ressourcen-Blockierung und Netzwerk-Erfassung nötig.

Auf den richtigen Inhalt warten

OptionWas es macht
wait_forWarte vor der Erfassung, bis ein CSS-Selektor erscheint.
wait_for_timeoutSetze das Warte-Limit von 0 bis 120.000 ms. Erfordert wait_for; 0 nutzt den Standardwert.
waitFüge nach dem Laden eine feste Verzögerung von 0 bis 30.000 ms hinzu. Nimm lieber einen Selektor, wenn du kannst.
block_resourcesWähle, welche Assets übersprungen werden. Bilder und Schriften sind standardmäßig blockiert, mit Ausnahmen für Aktionen und Erfassungen.
response_formatWähle Markdown, JSON oder HTML für den Seiteninhalt.

Eine explizite Ressourcenliste ersetzt den Standard. Nutze ["none"], um nichts zu blockieren. Blockiere keine Skripte, wenn die Seite sie braucht, um ihren Inhalt aufzubauen.

Das Ergebnis prüfen

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine sagt dir, welche Rendering-Stufe lief (fetch, js oder browser). X-Target-Status ist der Status der Website, während X-Credits-Charged die Abrechnung zeigt.

Wenn wait_for nie trifft, kommt die Seite womöglich so zurück, wie sie war, mit X-Warning: RENDER_DEGRADED. Prüfe Inhalt und Warnung, bevor du sie nutzt.

Rendering-Stufen und Kosten

  • Kostenlos in der Beta. Credits zeigen die Kosten jeder Anfrage.
  • JavaScript-Rendering: js_render: true kostet 3 Credits pro erfolgreicher Anfrage.
  • Rendering im vollen Browser: kostet 8 Credits. Screenshots, PDFs und Aktionen nutzen sie, und Spicrawl leitet die Anfrage dafür automatisch dorthin. Kann ein Deployment die übliche Stufe nicht bedienen, nutzt es unter Umständen die nächsthöhere und liefert X-Warning: ENGINE_SUBSTITUTED; setze max_cost, um einen höheren Preis abzulehnen.
  • Du wählst die Stufe nicht. Spicrawl wählt sie danach, was die Anfrage braucht, und berechnet die Stufe, die geliefert hat.
  • Fehler kosten 0. Warten und Ressourcen-Blockierung kosten nichts extra. Setze max_cost, um eine Anfrage zu begrenzen.

Gut zu wissen

  • Wähle Rendering oder den Auto-Modus. mode: "auto" kann nicht mit js_render kombiniert werden. Es beginnt mit Fetch und steigt auf JavaScript-Rendering und dann auf Rendering im vollen Browser auf, nur wenn der vorherige Schritt auf eine Challenge trifft.
  • Browser-Flags brauchen einen Browser. Wenn du wait_for, Aktionen oder Ressourcen-Blockierung ohne js_render sendest, gibt es einen Fehler.
  • Kein Crawling. Sende die gewünschten URLs; Spicrawl findet keine Seiten und folgt keinen Links.
  • Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und Extraktion aus einem Prompt in einfacher Sprache.
  • Deine Verantwortung: Rufe nur Seiten ab, die du nutzen darfst. Lies unsere Bedingungen.

Häufig gestellte Fragen

Wie scrape ich eine JavaScript-Website?

Sende die Seiten-URL an POST https://api.spicrawl.com/v1/scrape mit js_render auf true. Der Browser führt die Skripte aus, bevor Spicrawl die Seite liest. Wähle response_format für Markdown, JSON oder HTML.

Wie warte ich, bis Inhalte geladen sind?

Setze wait_for auf einen CSS-Selektor, etwa .price. Nutze wait_for_timeout für ein Timeout bis zu 120000 Millisekunden. Wenn der Selektor nie trifft, kann die Seite so zurückkommen, wie sie war, mit X-Warning: RENDER_DEGRADED. Prüfe die Warnung, bevor du das Ergebnis nutzt.

Was kostet JavaScript-Rendering?

Spicrawl ist in der Beta kostenlos. Erfolgreiche JavaScript-Renders brauchen 3 Credits; Rendering im vollen Browser braucht 8. Kann ein Deployment kein JavaScript-Rendering bedienen, kann js_render im vollen Browser bedient und zu diesem Preis berechnet werden. Fehlgeschlagene Anfragen brauchen 0 Credits. Lies X-Engine (fetch, js oder browser) und X-Credits-Charged, um zu prüfen, was lief.

Kann ich den Auto-Modus mit JavaScript-Rendering nutzen?

Nein. mode: auto kann nicht mit js_render kombiniert werden. Der Auto-Modus beginnt mit einer einfachen Anfrage und geht auf JavaScript-Rendering und dann auf Rendering im vollen Browser über, wenn das Ergebnis unbrauchbar ist. Für Seiten, von denen du weißt, dass sie JavaScript brauchen, nutze stattdessen js_render: true.

Kann es eine JavaScript-Website crawlen?

Nein. Spicrawl findet keine URLs und folgt keinen Links. Sende die URLs der Seiten, die du lesen willst. Rufe nur Seiten ab, die du nutzen darfst.