Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Web Scraping für RAG- und LLM-Pipelines

Hole Webseiten als sauberes Markdown, bereit zum Chunken und Einbetten, ohne Menüs, Werbung und Skripte.

Warum Markdown für RAG

  • Die Struktur bleibt erhalten. Überschriften, Listen, Tabellen und Code bleiben erhalten, sodass du an echten Abschnitten statt an beliebigen Zeichenzahlen teilen kannst.
  • Weit weniger Tokens. Ohne Menüs, Footer und Werbung macht der Hauptinhalt typischerweise 3 % bis 24 % der Tokens des rohen HTML aus.
  • Standardmäßig der Hauptinhalt. Grenze ihn weiter ein mit include_tags und exclude_tags.

So funktioniert es

  1. Eine URL senden an POST /v1/scrape mit response_format: "markdown".
  2. Chunken und einbetten das Markdown in deiner eigenen Pipeline. Spicrawl macht diesen Schritt nicht.
  3. Nach deinem Zeitplan aktualisieren, indem du dieselben URLs erneut sendest. Für viele Seiten nutze einen Batch-Job mit bis zu 10.000 URLs.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Halte deinen Schlüssel in SPICRAWL_API_KEY.

Quellen, die mehr brauchen

  • JavaScript-Seiten: setze js_render: true. Siehe das Scrapen von JavaScript-Websites.
  • PDFs: werden in einfachen Text geparst, wenn du markdown oder text anforderst. Gescannte oder verschlüsselte PDFs liefern keinen Text.
  • Seiten hinter einem Login: nutze eine session, für Konten, die dir gehören oder die du nutzen darfst.

Gut zu wissen

  • Kein Crawling. Spicrawl findet keine URLs und folgt keinen Links. Sende die Liste, zum Beispiel aus einer Sitemap.
  • Caching: Ergebnisse werden standardmäßig 48 Stunden gecacht. Setze cache_ttl: 0 für einen frischen Abruf. Ein Cache-Treffer wird wie der Abruf berechnet, der ihn gespeichert hat.
  • Preise: kostenlos in der Beta. Eine einfache Seite kostet 1 Credit, JavaScript 3, ein voller Browser 8. Fehlgeschlagene Anfragen kosten 0.

Häufig gestellte Fragen

Warum Markdown für RAG nutzen?

Markdown behält Überschriften, Listen, Tabellen und Code, sodass dein Chunker an echter Struktur trennen kann. Es ist außerdem viel kleiner als rohes HTML: Ohne Menüs, Footer und Werbung macht der Hauptinhalt typischerweise 3 % bis 24 % der Tokens des HTML aus.

Teilt Spicrawl den Inhalt in Chunks auf oder bettet ihn ein?

Nein. Spicrawl liefert sauberes Markdown. Das Aufteilen in Chunks, das Einbetten und das Speichern in einer Vektordatenbank passieren in deiner eigenen Pipeline oder deinem Framework.

Wie scrape ich viele Seiten für eine Wissensbasis?

Sende bis zu 10.000 URLs in einem Batch-Job und lies die Ergebnisse als JSON Lines. Spicrawl crawlt nicht: Du sendest die Liste der URLs, zum Beispiel aus einer Sitemap.

Kann es JavaScript-Seiten und PDFs lesen?

Ja. Setze js_render auf true für Seiten, die ihren Inhalt im Browser aufbauen. Ein PDF wird in einfachen Text geparst, wenn du markdown oder text anforderst; gescannte oder verschlüsselte PDFs liefern keinen Text.

Wie halte ich die Wissensbasis aktuell?

Führe dieselben URLs nach einem Zeitplan, den du steuerst, erneut aus. Ergebnisse werden standardmäßig 48 Stunden gecacht, setze also cache_ttl auf 0, wenn du einen frischen Abruf brauchst. Ein Cache-Treffer wird wie der Abruf berechnet, der ihn gespeichert hat.

Was kostet es?

Kostenlos in der Beta: 1.000 Credits im Monat und keine Kreditkarte. Eine einfache Seite kostet 1 Credit, JavaScript-Rendering 3 und ein voller Browser 8. Fehlgeschlagene Anfragen kosten 0.