Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Ein gehosteter Web-Scraping-MCP-Server für KI-Agenten

Verbinde deinen Agenten mit https://mcp.spicrawl.com/mcp, und er kann jede URL als Markdown oder JSON lesen, Batch-Jobs ausführen, Sessions mit Login wiederverwenden und seine eigene Nutzung prüfen, ohne dass du Scraping-Code schreibst.

Was der Spicrawl-MCP-Server macht

Der Server gibt einem KI-Agenten Spicrawl als native Tools. Er wird unter https://mcp.spicrawl.com/mcp gehostet, spricht MCP Streamable HTTP und authentifiziert sich mit deinem eigenen API-Schlüssel als Bearer-Token. Jeder Tool-Aufruf läuft unter diesem Schlüssel genau so, als hättest du die API selbst aufgerufen: dieselben Limits und dieselben Credits.

Mit einem Befehl einrichten

Die Spicrawl-CLI fügt deinem Client den MCP-Server und den Spicrawl-Agent-Skill hinzu und zeigt die Änderungen, bevor sie angewendet werden:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Oder füge ihn von Hand hinzu. Halte den Schlüssel in der Umgebungsvariable SPICRAWL_API_KEY und verweise in der Konfiguration darauf, sodass der Schlüssel nie in einer committeten Datei landet:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Prüfe die Verbindung mit claude mcp list, codex mcp list oder den MCP-Einstellungen deines Clients. Du solltest 25 spicrawl_*-Tools sehen.

Die Tools, nach Aufgabe gruppiert

JobTools
Eine Seite lesenspicrawl_scrape: Markdown (Standard), Text, HTML oder JSON, optional mit Rendering, Tag-Filtern, Extraktion und Browser-Aktionen
Viele URLsspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Seiten hinter einem Loginspicrawl_session_create, _list, _get, _context, _release, _delete
Einen Fehler debuggenspicrawl_requests_list, spicrawl_request_get
Credits und Nutzungspicrawl_usage, _summary, _reconciliation (brauchen den Scope read)
Dinge nachschlagenspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

Das Tool zum Verbinden mit einem Remote-Browser über CDP ist gelistet, kommt aber bald.

Eine erste Aufgabe zum Ausprobieren

Prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Der Agent ruft spicrawl_scrape mit der URL und format: "markdown" auf und fügt render: true nur hinzu, wenn das erste Ergebnis leer ist. Eine vollständige Anleitung findest du in wie du eine Website mit Claude Code scrapst.

Agenten günstig und sicher halten

  • Zuerst das Günstigste. Eine einfache Anfrage kostet 1 Credit, JavaScript-Rendering 3, Rendering im vollen Browser 8. Agenten sollten Schritt für Schritt eskalieren und beim ersten funktionierenden Schritt aufhören.
  • Begrenze jeden Aufruf. Setze max_cost, und eine Anfrage, die mehr kosten würde, wird abgelehnt, bevor sie läuft.
  • Fehler sind kostenlos. Fehler und blockierte Seiten kosten 0 Credits.
  • Teste, ohne Geld auszugeben. spicrawl_test_-Schlüssel laufen gegen eine Sandbox und verbrauchen nie echte Credits.
  • Begrenze, was ein Schlüssel darf. Schlüssel erhalten standardmäßig die Scopes scrape, batch und sessions; vergib read nur, wenn der Agent die Nutzung sehen soll.

Was es nicht macht

  • Kein Crawling. Spicrawl folgt keinen Links und entdeckt keine URLs. Gib dem Agenten die URLs oder die Liste einer Sitemap und nutze für viele Seiten einen Batch-Job.
  • Kommt bald: verwaltete Proxys, Stealth-Modus, eine Remote-Browser-Verbindung und Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy ohne Aufpreis mitbringen und Daten mit CSS-Selektoren oder einem JSON Schema extrahieren.

Wie es im Vergleich zu anderen Scraping-MCP-Servern abschneidet

Die meisten Scraping-APIs liefern inzwischen einen MCP-Server mit. Was jede bietet, aus unseren Vergleichsseiten, die jeweils die eigenen Docs des Anbieters zitieren:

AnbieterIhr MCP-Server
FirecrawlGehosteter MCP-Server, der ohne Schlüssel funktioniert, mit OAuth-Anmeldung oder mit einem API-Schlüssel.
ZenRowsGehosteter MCP-Server, dazu ein Agent-Toolkit aus Skills und Plugins für Claude Code, Cursor und Codex.
Context.devGehosteter MCP-Server, der sich per OAuth statt mit einem API-Schlüssel anmeldet, dazu ein Agent-Skill.
ScrapingBeeGehosteter MCP-Server mit Tools zum Abrufen von Seiten, Text, Screenshots, Suchergebnissen und Nutzung.
Bright DataMCP-Server unter MIT-Lizenz, gehostet oder lokal ausgeführt. Ein kostenloser Standardmodus scrapt Seiten als Markdown und durchsucht das Web; der Pro-Modus fügt 60+ Tools hinzu.
Jina ReaderGehosteter MCP-Server mit Tools zum Lesen von URLs, für Screenshots und zum Suchen. Das Lesen funktioniert ohne Schlüssel.
ApifyOffizieller MCP-Server, mit dem Agenten fertige Scraper (Actors) finden und ausführen können.
BrowserbaseGehosteter MCP-Server auf Basis von Stagehand, der einen Cloud-Browser mit Befehlen in einfacher Sprache steuert.

Wähle den Server von Spicrawl, wenn dein Agent meist Seiten liest, für die er schon URLs hat, und du sauberes Markdown, Sessions für Seiten hinter einem Login und Fehler willst, die nichts kosten. Wähle einen, der crawlt oder sucht, wenn der Agent Seiten erst finden muss.

Häufig gestellte Fragen

Was ist ein Web-Scraping-MCP-Server?

Es ist ein Model-Context-Protocol-Server, der einem KI-Agenten Tools zum Abrufen von Webseiten gibt. Statt HTTP-Code zu schreiben, ruft der Agent ein Tool wie spicrawl_scrape mit einer URL auf und bekommt die Seite als Markdown, Text, HTML oder JSON zurück.

Mit welchen KI-Agenten und Editoren funktioniert es?

Jeder MCP-Client, der sich über Streamable HTTP mit einem Remote-Server verbinden und einen Authorization-Header senden kann, darunter Claude Code, Cursor, VS Code und die Codex CLI. Claude Desktop kann sich über die mcp-remote-Bridge verbinden.

Ist der Spicrawl-MCP-Server kostenlos?

Spicrawl ist in der Beta kostenlos, ohne Kreditkarte. Tool-Aufrufe verbrauchen dieselben Credits wie die API: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering und 8 für Rendering im vollen Browser. Fehlgeschlagene und blockierte Anfragen kosten 0.

Kann der MCP-Server eine ganze Website crawlen?

Nein. Spicrawl entdeckt keine URLs und folgt keinen Links. Gib dem Agenten die gewünschten URLs oder eine Liste aus einer Sitemap und nutze einen Batch-Job für viele Seiten.

Wie halte ich meinen API-Schlüssel sicher?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Funktioniert es mit Seiten hinter einem Login?

Ja, für Konten, die dir gehören oder die du nutzen darfst. Erstelle eine Session mit spicrawl_session_create, melde dich mit Browser-Aktionen an und übergib die Session-ID dann bei späteren Scrapes, damit Cookies und Browser-Storage übernommen werden.