Web-Scraping-API für saubere Daten
Sende eine beliebige URL. Bekomme sauberes Markdown oder JSON zurück, bereit für deine App oder deinen KI-Agenten.
Ziehe über die Seite, um den sauberen Text zu sehen, den Spicrawl behält.

Empfänger mit niedriger Latenz (2.4 GHz), 70 Tage Akkulaufzeit und leise Schalter. Gebaut für lange Tage.
| Verbindung | 2.4 GHz, BT5 |
| Akku | 70 Tage |
| Gewicht | 62 g |
Nur den Hauptinhalt behalten
Spicrawl entfernt Cookie-Banner, Menüs, Werbung und Footer und behält den Hauptinhalt.
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/product/1", "response_format": "markdown", "main_content_only": true }'So funktioniert es
- Eine URL senden an
POST /v1/scrapeund wähle einresponse_format. - Spicrawl ruft die Seite ab. Es nutzt zuerst eine einfache Anfrage oder einen Browser, wenn du einen anforderst.
- Du bekommst das Ergebnis im Antwort-Body, mit dem Status der Website in einem Header.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "response_format": "markdown"},
timeout=120,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --format markdown --metaHalte deinen Schlüssel in SPICRAWL_API_KEY und schreibe ihn nie in Code, den du committest.
Ausgabeformate
| Format | Am besten für |
|---|---|
markdown | Für KI-Prompts, RAG und zum Lesen. Standardmäßig nur der Hauptinhalt. |
json | Apps: der Inhalt plus Metadaten, Links oder extrahierte Felder in einem Objekt. |
html | Wenn du das Markup der Seite brauchst. Das ist der Standard. |
text | Die kleinste Ausgabe, ohne Formatierung. |
pdf | Ein PDF der gerenderten Seite. |
Mehr zur Markdown-Ausgabe findest du unter Website zu Markdown.
Das Ergebnis prüfen
Der HTTP-Status ist der von Spicrawl. Was die Website geantwortet hat, steht in X-Target-Status. Ein erfolgreicher Aufruf sieht so aus:
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: missEin 403 oder 503 in X-Target-Status bedeutet, dass du eine Blockseite bekommen hast, und das kostet 0 Credits.
Seiten, die mehr brauchen
- JavaScript-Seiten. Setze
js_render: true, um die Seite zuerst in einem Browser zu laden. Siehe JavaScript-Rendering. - Seiten hinter einem Login. Nutze eine Session, um Cookies zwischen Anfragen zu behalten, für Konten, die dir gehören oder die du nutzen darfst. Siehe Sessions und Logins.
- Klicks und Scrollen. Browser-Aktionen können klicken, tippen und scrollen, bevor die Seite gelesen wird. Siehe Browser-Aktionen.
- Viele URLs. Ein Batch-Job nimmt bis zu 10.000 URLs in einem Aufruf. Siehe batch.
Was es kostet
- Kostenlos in der Beta, ohne Kreditkarte.
- Credits pro erfolgreicher Anfrage: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering, 8 für Rendering im vollen Browser.
- Fehler sind kostenlos: Fehler, Bot-Challenges und Seiten, die mit einem Fehler antworten, kosten 0.
- Jede Anfrage begrenzen mit
max_cost, damit ein Aufruf nie mehr kostet als erwartet.
Gut zu wissen
- Kein Crawling. Spicrawl folgt keinen Links und entdeckt keine Seiten. Du sendest die URLs.
- Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy ohne Aufpreis mitbringen.
- Deine Verantwortung: Rufe nur Seiten ab, die du nutzen darfst. Siehe unsere Bedingungen.
Häufig gestellte Fragen
Was ist eine Web-Scraping-API?
Es ist ein Dienst, der eine Webseite für dich abruft und ihren Inhalt in einer Form zurückgibt, die dein Code nutzen kann. Du sendest eine URL; er übernimmt Anfrage, JavaScript und Aufräumen und gibt Markdown, JSON oder HTML zurück.
Was kostet die Spicrawl-Scraping-API?
In der Beta ist es kostenlos, ohne Kreditkarte. Anfragen verbrauchen Credits: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering und 8 für Rendering im vollen Browser. Fehler, Bot-Challenges und Seiten, die mit einem Fehler antworten, kosten 0.
Kann es Seiten scrapen, die JavaScript brauchen?
Ja. Setze js_render auf true, und die Seite wird zuerst in einem Browser geladen. Beginne mit einer einfachen Anfrage und rendere erst, wenn das einfache Ergebnis leer ist.
Woran erkenne ich, ob die Seite mich blockiert hat?
Lies den Header X-Target-Status. Der HTTP-Status ist der von Spicrawl; X-Target-Status ist das, was die Website geantwortet hat. Ein 403 oder 503 dort bedeutet, dass du eine Blockseite bekommen hast, und das kostet 0 Credits.
Kann es eine ganze Website crawlen?
Nein. Spicrawl folgt keinen Links und entdeckt keine Seiten. Sende die gewünschten URLs, einzeln oder bis zu 10.000 in einem Batch-Aufruf.