Häufig gestellte Fragen
Schnelle Antworten zu Spicrawl, von Preisen bis zu Proxys.
Alle Fragen
Allgemein
Was ist Spicrawl?
Spicrawl ist eine Web-Scraping-API, die jede URL in sauberes Markdown, HTML, ein PDF oder strukturiertes JSON für deinen Code oder KI-Agenten umwandelt, über eine API, CLI oder einen MCP-Server.
Ist Spicrawl kostenlos?
Ja. In der Beta ist es kostenlos, mit 1.000 Credits im Monat und ohne Kreditkarte.
Was bedeutet Spicrawl?
Der Name verbindet "spider" und "crawl", deshalb ist unser Logo eine Spinne. Er wird S-P-I-C-R-A-W-L geschrieben. Spicrawl ist eine Web-Scraping-API: Du sendest die gewünschten URLs, und sie gibt saubere Daten zurück.
Warum nicht das eingebaute Web-Fetch meines KI-Assistenten nutzen?
Eingebaute Fetch-Tools reichen für einen schnellen Blick, liefern aber oft rohen oder abgeschnittenen Text und führen womöglich kein JavaScript aus. Spicrawl liefert sauberes Markdown oder JSON, rendert JavaScript, wenn eine Seite es braucht, hält Login-Sessions, führt Klicks und Formulareingaben aus und verarbeitet bis zu 10.000 URLs in einem Job. Dein Agent bekommt den Inhalt der Seite, nicht ihre Menüs und Skripte.
Ist Web Scraping legal?
Das hängt davon ab, was du sammelst, wo du bist und wie du es nutzt. Öffentlich zugängliche Seiten zu scrapen ist verbreitet, aber du bist dafür verantwortlich, die Nutzungsbedingungen, das Urheberrecht und Datenschutzgesetze wie die DSGVO jeder Website zu beachten, besonders bei personenbezogenen Daten. Wenn du unsicher bist, frag eine Anwältin oder einen Anwalt zu deinem konkreten Fall.
Scraping und Daten
Kann ich JavaScript-Websites scrapen?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Kann Spicrawl Bot-Schutz wie Cloudflare überwinden?
Oft, aber nicht immer. Nutze einen echten Browser-Fingerprint, Browser-Rendering oder deinen eigenen Proxy. Eine Bot-Challenge liefert einen klaren Fehler und kostet nichts. Stealth-Modus und verwaltete Proxys sind nicht in der Beta.
Wie mache ich aus einer Website Markdown für ein LLM?
Sende die URL mit response_format auf markdown. Spicrawl gibt den Hauptinhalt der Seite als Markdown zurück, ohne Menüs, Footer und Seitenleisten, was meist nur einen Bruchteil der Tokens von rohem HTML braucht. Es parst auch PDFs, und die Markdown-Konvertierung kostet nichts extra.
Kann ich strukturierte Daten als JSON extrahieren?
Ja, auf drei Arten: autoparse liest die eigenen Metadaten der Seite, eine Selektor-Map holt genaue Felder, und ein JSON Schema mit Selektoren liefert typisierte, validierte Ausgabe. Alle drei sind zusätzlich zum Engine-Preis kostenlos. Extraktion aus einer Beschreibung in einfacher Sprache mit einem Modell kommt bald.
Kann ich viele URLs auf einmal scrapen?
Ja. Ein Batch-Job nimmt bis zu 10.000 URLs pro Aufruf an und führt sie parallel aus. Du prüfst den Fortschritt und lädst dann die Ergebnisse als JSON Lines herunter. Ergebnisse bleiben 72 Stunden gespeichert.
Kann ich eine Login-Session behalten?
Ja. Erstelle eine Session und übergib ihre ID bei jeder Anfrage, um dieselben Cookies, denselben Browser-Storage und dieselbe Exit-IP wiederzuverwenden, sodass ein Login zwischen Seiten erhalten bleibt. Eine Organisation kann bis zu 100 Live-Sessions gleichzeitig halten.
Kann ich Klicks und Formulare automatisieren?
Ja. Browser-Aktionen können auf einer gerenderten Seite klicken, tippen, auswählen, scrollen, warten und JavaScript ausführen, bevor sie erfasst wird, mit bis zu 50 Schritten pro Anfrage.
Kann ich Proxys nutzen?
Ja. Bring deinen eigenen Proxy ohne Proxy-Aufpreis mit. Verwaltete Proxys und eingebautes Länder-Targeting kommen bald und sind in der Beta nicht verfügbar.
KI-Agenten und Entwickler
Kann ich Spicrawl mit KI-Agenten nutzen?
Ja. Der gehostete MCP-Server lässt Claude Code, Cursor und Codex Seiten scrapen, Batches ausführen, Sessions wiederverwenden und Browser-Aktionen ausführen. Führe spicrawl init aus, um ihn einzurichten.
Welche Programmiersprachen kann ich nutzen?
Jede Sprache, die eine HTTP-Anfrage senden kann. Die Docs enthalten Beispiele in cURL, Python und TypeScript, und es gibt ein JavaScript- und TypeScript-SDK auf npm (@spicrawl/sdk) für Node.js 18 und neuer. Die spicrawl-CLI funktioniert in jeder Shell und jedem Skript.
Gibt es eine CLI oder ein Dashboard?
Beides. Eine CLI deckt Scraping, Batches, Sessions, Logs und Nutzung ab, und das Dashboard hat einen Playground, Aktivitäts-Logs, Nutzung und Schlüsselverwaltung.
Credits und Limits
Kosten fehlgeschlagene Anfragen Credits?
Nein. Nur erfolgreiche Anfragen kosten Credits: 1 für einfach, 3 für JavaScript-Rendering und 8 für einen vollen Browser. Fehler, Bot-Challenges und Timeouts sind kostenlos.
Gibt es Rate Limits?
Ja. Jeder API-Schlüssel hat eine Anfragerate, jede Organisation hat ein Limit für gleichzeitig laufende Anfragen, und es gibt ein monatliches Credit-Kontingent. Jede Antwort meldet deine aktuellen Limits in ihren Headern, und eine Anfrage, die ein Limit ablehnt, kostet nichts.
Immer noch nicht gelöst? Docs lesen oder schreib an support@spicrawl.com.