Jede Website in sauberes Markdown für LLMs umwandeln
Sende eine URL und bekomme den Hauptinhalt der Seite als Markdown zurück: Überschriften, Listen, Links, Tabellen und Code, ohne die Navigation, Skripte und Footer, die die Tokens eines LLM verschwenden.
So funktioniert es
- Eine URL senden an den Scrape-Endpunkt mit
response_format: "markdown". - Spicrawl ruft die Seite ab, rendert auf Wunsch JavaScript und behält den Hauptinhalt.
- Du bekommst Markdown zurück als Antwort-Body, bereit für einen Prompt, einen RAG-Index oder eine Datei.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownSetze den Schlüssel einmal mit SPICRAWL_API_KEY und schreibe ihn nie in Code, den du committest. Das Standardformat der API ist HTML, setze also immer response_format.
Von HTML zu Markdown
Eine typische Seite packt ein paar Absätze in Navigation, Skripte und Footer-Markup. Spicrawl behält den Inhalt und seine Struktur:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Überschriften, Listen, Links, Tabellen und Code-Blöcke bleiben bei der Konvertierung erhalten. Layout, Styling und interaktive Teile nicht. In unsere Messungen an sechs echten Seiten brauchte Spicrawls Markdown 53 % bis 97 % weniger Tokens als das HTML derselben Seiten.
Optionen, die Tokens sparen
| Feld | Was es macht |
|---|---|
response_format | markdown behält Überschriften, Links und Tabellen; text entfernt jede Markdown-Syntax. |
main_content_only | Für Markdown standardmäßig an: Navigation, Footer und Seitenleisten werden entfernt. Setze false, um die ganze Seite zu behalten. |
include_tags | CSS-Selektoren, die behalten werden sollen. Nur passende Teile der Seite werden konvertiert. |
exclude_tags | CSS-Selektoren, die entfernt werden sollen, etwa Cookie-Banner oder Listen verwandter Beiträge. |
js_render | Lade die Seite zuerst in einem Browser, für Inhalte, die per JavaScript entstehen. |
links | Gib die Links der Seite außerdem als separate Liste in einer JSON-Antwort zurück. |
Die Tag-Filter laufen vor der Konvertierung, alles, was du entfernst, erreicht dein Modell also nie:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript-Seiten und PDFs
Beginne mit einer einfachen Anfrage (1 Credit). Ist das Ergebnis eine leere Hülle oder eine Lademeldung, sende sie erneut mit js_render: true (3 Credits), damit die Seite vor der Konvertierung in einem Browser läuft. Setze max_cost auf den beabsichtigten Schritt, damit eine Anfrage nie mehr kostet als erwartet.
Wenn die URL ein PDF ist, parst Spicrawl es zum normalen Preis in reinen Text. Überschriften und Tabellen werden nicht nachgebaut, und gescannte oder verschlüsselte PDFs liefern keinen Text.
Viele Seiten konvertieren
Ein Batch-Job nimmt bis zu 10.000 URLs pro Aufruf an, führt sie parallel aus und kann jede als Markdown zurückgeben. Ergebnisse bleiben 72 Stunden gespeichert.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl konvertiert die URLs, die du sendest. Es crawlt keine Website und entdeckt keine Seiten für dich, sammle die URLs also zuerst, zum Beispiel aus der Sitemap der Website.
Von einem KI-Agenten
Agenten können dieselbe Konvertierung über den Spicrawl-MCP-Server aufrufen: Das Tool spicrawl_scrape liefert standardmäßig Markdown. Die CLI spicrawl macht dasselbe im Terminal oder in einem Skript.
Eine Konverter-API oder eine HTML-zu-Markdown-Bibliothek?
Wenn du das HTML schon hast, wandelt eine Open-Source-Bibliothek wie Turndown es in deinem eigenen Code kostenlos um. Du musst trotzdem die Seite abrufen, ihr JavaScript ausführen, an Seiten vorbeikommen, die einfache Anfragen abweisen, und die Navigation selbst entfernen. Spicrawl erledigt diese Schritte in einer Anfrage, was am meisten zählt, wenn du Seiten von vielen verschiedenen Websites konvertierst.
Gut zu wissen
- Prüfe den Status der Seite. Der HTTP-Status ist der von Spicrawl. Der eigene Status der Seite steht im Header
X-Target-Status: Eine Website, die mit 403 antwortet, kommt trotzdem als HTTP 200 zurück und kostet 0 Credits. - Prüfe eine Stichprobe. Die Isolierung des Hauptinhalts funktioniert bei den meisten Seiten, aber bei ungewöhnlichen Layouts kann etwas Navigation übrig bleiben. Sieh dir eine Seite jedes Typs an, bevor du Tausende indexierst.
- Preise. Kostenlos in der Beta, ohne Kreditkarte. Eine einfache Anfrage kostet 1 Credit, JavaScript-Rendering 3, Rendering im vollen Browser 8. Die Markdown-Konvertierung kostet nichts extra, und fehlgeschlagene oder blockierte Anfragen kosten 0.
Häufig gestellte Fragen
Wie wandle ich eine Website in Markdown um?
Sende eine POST-Anfrage an https://api.spicrawl.com/v1/scrape mit der Seiten-URL und response_format auf markdown. Der Response-Body ist das Markdown selbst. Du kannst auch die spicrawl-CLI (spicrawl scrape URL --format markdown) oder das MCP-Tool spicrawl_scrape aus einem KI-Agenten nutzen.
Entfernt es Navigation, Werbung und Footer?
Ja. Bei Markdown ist die Isolierung des Hauptinhalts standardmäßig an, Navigation, Footer und Seitenleisten werden also entfernt. Du kannst sie mit include_tags und exclude_tags weiter eingrenzen oder main_content_only auf false setzen, um die ganze Seite zu behalten. Bei ungewöhnlichen Layouts kann trotzdem etwas Navigation übrig bleiben, prüfe also eine Stichprobe jedes Seitentyps.
Kann es JavaScript-lastige Seiten konvertieren?
Ja. Setze js_render auf true, und die Seite wird vor der Konvertierung in einem Browser geladen. Beginne mit einer einfachen Anfrage, die 1 Credit kostet, und rendere nur, wenn das einfache Ergebnis leer oder unvollständig ist; Rendering kostet 3 Credits.
Kann es PDFs in Markdown konvertieren?
Ein PDF wird zu reinem Text geparst, wenn du markdown oder text anforderst, zum normalen Preis. Überschriften und Tabellen werden nicht nachgebaut, und gescannte oder verschlüsselte PDFs liefern keinen Text.
Was kostet es?
Spicrawl ist in der Beta kostenlos, ohne Kreditkarte. Anfragen verbrauchen Credits: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering und 8 für Rendering im vollen Browser. Die Konvertierung in Markdown kostet nichts extra, und fehlgeschlagene oder blockierte Anfragen kosten 0.
Kann ich viele Seiten auf einmal konvertieren?
Ja. Ein Batch-Job nimmt bis zu 10.000 URLs pro Aufruf an und kann jede als Markdown zurückgeben. Spicrawl entdeckt keine Seiten für dich: Sende die gewünschten URLs, zum Beispiel aus einer Sitemap.