Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Web-Scraping-API für saubere Daten

Sende eine beliebige URL. Bekomme sauberes Markdown oder JSON zurück, bereit für deine App oder deinen KI-Agenten.

Ziehe über die Seite, um den sauberen Text zu sehen, den Spicrawl behält.

shop.exampleWarenkorb · 2
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Auf Lager★★★★★ 4.6 (1,284)

Empfänger mit niedriger Latenz (2.4 GHz), 70 Tage Akkulaufzeit und leise Schalter. Gebaut für lange Tage.

In den WarenkorbSpeichern
Verbindung2.4 GHz, BT5
Akku70 Tage
Gewicht62 g
Sommer-Sale · 30 % Rabatt auf TastaturenAnzeige
© shop.exampleVersandGibt zurück
Was du siehstWas der Crawler behält
25,6 KB
Rohe Seite 48 KB aus HTML, Skripten und StylesBehalten: 3,1 KB des Texts, den Spicrawl zurückgibt · Beispielseite

Nur den Hauptinhalt behalten

Spicrawl entfernt Cookie-Banner, Menüs, Werbung und Footer und behält den Hauptinhalt.

Die Seite abrufen
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

So funktioniert es

  1. Eine URL senden an POST /v1/scrape und wähle ein response_format.
  2. Spicrawl ruft die Seite ab. Es nutzt zuerst eine einfache Anfrage oder einen Browser, wenn du einen anforderst.
  3. Du bekommst das Ergebnis im Antwort-Body, mit dem Status der Website in einem Header.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

Halte deinen Schlüssel in SPICRAWL_API_KEY und schreibe ihn nie in Code, den du committest.

Ausgabeformate

FormatAm besten für
markdownFür KI-Prompts, RAG und zum Lesen. Standardmäßig nur der Hauptinhalt.
jsonApps: der Inhalt plus Metadaten, Links oder extrahierte Felder in einem Objekt.
htmlWenn du das Markup der Seite brauchst. Das ist der Standard.
textDie kleinste Ausgabe, ohne Formatierung.
pdfEin PDF der gerenderten Seite.

Mehr zur Markdown-Ausgabe findest du unter Website zu Markdown.

Das Ergebnis prüfen

Der HTTP-Status ist der von Spicrawl. Was die Website geantwortet hat, steht in X-Target-Status. Ein erfolgreicher Aufruf sieht so aus:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

Ein 403 oder 503 in X-Target-Status bedeutet, dass du eine Blockseite bekommen hast, und das kostet 0 Credits.

Seiten, die mehr brauchen

  • JavaScript-Seiten. Setze js_render: true, um die Seite zuerst in einem Browser zu laden. Siehe JavaScript-Rendering.
  • Seiten hinter einem Login. Nutze eine Session, um Cookies zwischen Anfragen zu behalten, für Konten, die dir gehören oder die du nutzen darfst. Siehe Sessions und Logins.
  • Klicks und Scrollen. Browser-Aktionen können klicken, tippen und scrollen, bevor die Seite gelesen wird. Siehe Browser-Aktionen.
  • Viele URLs. Ein Batch-Job nimmt bis zu 10.000 URLs in einem Aufruf. Siehe batch.

Was es kostet

  • Kostenlos in der Beta, ohne Kreditkarte.
  • Credits pro erfolgreicher Anfrage: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering, 8 für Rendering im vollen Browser.
  • Fehler sind kostenlos: Fehler, Bot-Challenges und Seiten, die mit einem Fehler antworten, kosten 0.
  • Jede Anfrage begrenzen mit max_cost, damit ein Aufruf nie mehr kostet als erwartet.

Gut zu wissen

  • Kein Crawling. Spicrawl folgt keinen Links und entdeckt keine Seiten. Du sendest die URLs.
  • Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy ohne Aufpreis mitbringen.
  • Deine Verantwortung: Rufe nur Seiten ab, die du nutzen darfst. Siehe unsere Bedingungen.

Häufig gestellte Fragen

Was ist eine Web-Scraping-API?

Es ist ein Dienst, der eine Webseite für dich abruft und ihren Inhalt in einer Form zurückgibt, die dein Code nutzen kann. Du sendest eine URL; er übernimmt Anfrage, JavaScript und Aufräumen und gibt Markdown, JSON oder HTML zurück.

Was kostet die Spicrawl-Scraping-API?

In der Beta ist es kostenlos, ohne Kreditkarte. Anfragen verbrauchen Credits: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering und 8 für Rendering im vollen Browser. Fehler, Bot-Challenges und Seiten, die mit einem Fehler antworten, kosten 0.

Kann es Seiten scrapen, die JavaScript brauchen?

Ja. Setze js_render auf true, und die Seite wird zuerst in einem Browser geladen. Beginne mit einer einfachen Anfrage und rendere erst, wenn das einfache Ergebnis leer ist.

Woran erkenne ich, ob die Seite mich blockiert hat?

Lies den Header X-Target-Status. Der HTTP-Status ist der von Spicrawl; X-Target-Status ist das, was die Website geantwortet hat. Ein 403 oder 503 dort bedeutet, dass du eine Blockseite bekommen hast, und das kostet 0 Credits.

Kann es eine ganze Website crawlen?

Nein. Spicrawl folgt keinen Links und entdeckt keine Seiten. Sende die gewünschten URLs, einzeln oder bis zu 10.000 in einem Batch-Aufruf.