Ein gehosteter Web-Scraping-MCP-Server für KI-Agenten
Verbinde deinen Agenten mit https://mcp.spicrawl.com/mcp, und er kann jede URL als Markdown oder JSON lesen, Batch-Jobs ausführen, Sessions mit Login wiederverwenden und seine eigene Nutzung prüfen, ohne dass du Scraping-Code schreibst.
Was der Spicrawl-MCP-Server macht
Der Server gibt einem KI-Agenten Spicrawl als native Tools. Er wird unter https://mcp.spicrawl.com/mcp gehostet, spricht MCP Streamable HTTP und authentifiziert sich mit deinem eigenen API-Schlüssel als Bearer-Token. Jeder Tool-Aufruf läuft unter diesem Schlüssel genau so, als hättest du die API selbst aufgerufen: dieselben Limits und dieselben Credits.
Mit einem Befehl einrichten
Die Spicrawl-CLI fügt deinem Client den MCP-Server und den Spicrawl-Agent-Skill hinzu und zeigt die Änderungen, bevor sie angewendet werden:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexOder füge ihn von Hand hinzu. Halte den Schlüssel in der Umgebungsvariable SPICRAWL_API_KEY und verweise in der Konfiguration darauf, sodass der Schlüssel nie in einer committeten Datei landet:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Prüfe die Verbindung mit claude mcp list, codex mcp list oder den MCP-Einstellungen deines Clients. Du solltest 25 spicrawl_*-Tools sehen.
Die Tools, nach Aufgabe gruppiert
| Job | Tools |
|---|---|
| Eine Seite lesen | spicrawl_scrape: Markdown (Standard), Text, HTML oder JSON, optional mit Rendering, Tag-Filtern, Extraktion und Browser-Aktionen |
| Viele URLs | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Seiten hinter einem Login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Einen Fehler debuggen | spicrawl_requests_list, spicrawl_request_get |
| Credits und Nutzung | spicrawl_usage, _summary, _reconciliation (brauchen den Scope read) |
| Dinge nachschlagen | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
Das Tool zum Verbinden mit einem Remote-Browser über CDP ist gelistet, kommt aber bald.
Eine erste Aufgabe zum Ausprobieren
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Der Agent ruft spicrawl_scrape mit der URL und format: "markdown" auf und fügt render: true nur hinzu, wenn das erste Ergebnis leer ist. Eine vollständige Anleitung findest du in wie du eine Website mit Claude Code scrapst.
Agenten günstig und sicher halten
- Zuerst das Günstigste. Eine einfache Anfrage kostet 1 Credit, JavaScript-Rendering 3, Rendering im vollen Browser 8. Agenten sollten Schritt für Schritt eskalieren und beim ersten funktionierenden Schritt aufhören.
- Begrenze jeden Aufruf. Setze
max_cost, und eine Anfrage, die mehr kosten würde, wird abgelehnt, bevor sie läuft. - Fehler sind kostenlos. Fehler und blockierte Seiten kosten 0 Credits.
- Teste, ohne Geld auszugeben.
spicrawl_test_-Schlüssel laufen gegen eine Sandbox und verbrauchen nie echte Credits. - Begrenze, was ein Schlüssel darf. Schlüssel erhalten standardmäßig die Scopes
scrape,batchundsessions; vergibreadnur, wenn der Agent die Nutzung sehen soll.
Was es nicht macht
- Kein Crawling. Spicrawl folgt keinen Links und entdeckt keine URLs. Gib dem Agenten die URLs oder die Liste einer Sitemap und nutze für viele Seiten einen Batch-Job.
- Kommt bald: verwaltete Proxys, Stealth-Modus, eine Remote-Browser-Verbindung und Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy ohne Aufpreis mitbringen und Daten mit CSS-Selektoren oder einem JSON Schema extrahieren.
Wie es im Vergleich zu anderen Scraping-MCP-Servern abschneidet
Die meisten Scraping-APIs liefern inzwischen einen MCP-Server mit. Was jede bietet, aus unseren Vergleichsseiten, die jeweils die eigenen Docs des Anbieters zitieren:
| Anbieter | Ihr MCP-Server |
|---|---|
| Firecrawl | Gehosteter MCP-Server, der ohne Schlüssel funktioniert, mit OAuth-Anmeldung oder mit einem API-Schlüssel. |
| ZenRows | Gehosteter MCP-Server, dazu ein Agent-Toolkit aus Skills und Plugins für Claude Code, Cursor und Codex. |
| Context.dev | Gehosteter MCP-Server, der sich per OAuth statt mit einem API-Schlüssel anmeldet, dazu ein Agent-Skill. |
| ScrapingBee | Gehosteter MCP-Server mit Tools zum Abrufen von Seiten, Text, Screenshots, Suchergebnissen und Nutzung. |
| Bright Data | MCP-Server unter MIT-Lizenz, gehostet oder lokal ausgeführt. Ein kostenloser Standardmodus scrapt Seiten als Markdown und durchsucht das Web; der Pro-Modus fügt 60+ Tools hinzu. |
| Jina Reader | Gehosteter MCP-Server mit Tools zum Lesen von URLs, für Screenshots und zum Suchen. Das Lesen funktioniert ohne Schlüssel. |
| Apify | Offizieller MCP-Server, mit dem Agenten fertige Scraper (Actors) finden und ausführen können. |
| Browserbase | Gehosteter MCP-Server auf Basis von Stagehand, der einen Cloud-Browser mit Befehlen in einfacher Sprache steuert. |
Wähle den Server von Spicrawl, wenn dein Agent meist Seiten liest, für die er schon URLs hat, und du sauberes Markdown, Sessions für Seiten hinter einem Login und Fehler willst, die nichts kosten. Wähle einen, der crawlt oder sucht, wenn der Agent Seiten erst finden muss.
Häufig gestellte Fragen
Was ist ein Web-Scraping-MCP-Server?
Es ist ein Model-Context-Protocol-Server, der einem KI-Agenten Tools zum Abrufen von Webseiten gibt. Statt HTTP-Code zu schreiben, ruft der Agent ein Tool wie spicrawl_scrape mit einer URL auf und bekommt die Seite als Markdown, Text, HTML oder JSON zurück.
Mit welchen KI-Agenten und Editoren funktioniert es?
Jeder MCP-Client, der sich über Streamable HTTP mit einem Remote-Server verbinden und einen Authorization-Header senden kann, darunter Claude Code, Cursor, VS Code und die Codex CLI. Claude Desktop kann sich über die mcp-remote-Bridge verbinden.
Ist der Spicrawl-MCP-Server kostenlos?
Spicrawl ist in der Beta kostenlos, ohne Kreditkarte. Tool-Aufrufe verbrauchen dieselben Credits wie die API: 1 für eine einfache Anfrage, 3 für JavaScript-Rendering und 8 für Rendering im vollen Browser. Fehlgeschlagene und blockierte Anfragen kosten 0.
Kann der MCP-Server eine ganze Website crawlen?
Nein. Spicrawl entdeckt keine URLs und folgt keinen Links. Gib dem Agenten die gewünschten URLs oder eine Liste aus einer Sitemap und nutze einen Batch-Job für viele Seiten.
Wie halte ich meinen API-Schlüssel sicher?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Funktioniert es mit Seiten hinter einem Login?
Ja, für Konten, die dir gehören oder die du nutzen darfst. Erstelle eine Session mit spicrawl_session_create, melde dich mit Browser-Aktionen an und übergib die Session-ID dann bei späteren Scrapes, damit Cookies und Browser-Storage übernommen werden.