Een gehoste web scraping MCP-server voor AI-agents
Verbind je agent met https://mcp.spicrawl.com/mcp en hij kan elke URL als Markdown of JSON lezen, batchjobs draaien, sessies met login hergebruiken en zijn eigen gebruik controleren, zonder dat je scrapingcode schrijft.
Wat de Spicrawl MCP-server doet
De server geeft een AI-agent Spicrawl als native tools. Hij wordt gehost op https://mcp.spicrawl.com/mcp, spreekt MCP Streamable HTTP en authenticeert met je eigen API-sleutel als bearer-token. Elke tool-aanroep draait onder die sleutel precies alsof je zelf de API had aangeroepen: dezelfde limieten en dezelfde credits.
Stel het in met één commando
De Spicrawl CLI voegt de MCP-server en de Spicrawl agent skill toe aan je client en toont de wijzigingen voordat ze worden toegepast:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexOf voeg hem met de hand toe. Bewaar de sleutel in de omgevingsvariabele SPICRAWL_API_KEY en verwijs ernaar vanuit de config, zodat de sleutel nooit in een gecommit bestand terechtkomt:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Controleer de verbinding met claude mcp list, codex mcp list of de MCP-instellingen van je client. Je zou 25 spicrawl_*-tools moeten zien.
De tools, gegroepeerd per taak
| Job | Tools |
|---|---|
| Lees één pagina | spicrawl_scrape: Markdown (standaard), tekst, HTML of JSON, met optioneel renderen, tagfilters, extractie en browseracties |
| Veel URL's | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Pagina's achter een login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Een fout debuggen | spicrawl_requests_list, spicrawl_request_get |
| Credits en gebruik | spicrawl_usage, _summary, _reconciliation (hebben de scope read nodig) |
| Dingen opzoeken | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
De tool om via CDP met een remote browser te verbinden staat in de lijst maar komt binnenkort.
Een eerste taak om te proberen
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.De agent roept spicrawl_scrape aan met de URL en format: "markdown", en voegt render: true alleen toe als het eerste resultaat leeg is. Een volledige uitleg staat in hoe je een website scrapet met Claude Code.
Houd agents goedkoop en veilig
- Eerst het goedkoopst. Een gewoon verzoek is 1 credit, JavaScript-rendering 3, full-browser-rendering 8. Agents moeten stap voor stap opschalen en stoppen bij de eerste die werkt.
- Begrens elke aanroep. Stel
max_costin en een verzoek dat meer zou kosten wordt geweigerd voordat het wordt uitgevoerd. - Mislukkingen zijn gratis. Fouten en geblokkeerde pagina's kosten 0 credits.
- Test zonder uit te geven.
spicrawl_test_-sleutels draaien tegen een sandbox en verbruiken nooit echte credits. - Beperk wat een sleutel mag doen. Sleutels krijgen standaard de scopes
scrape,batchensessions; geefreadalleen als de agent het gebruik moet kunnen zien.
Wat het niet doet
- Geen crawling. Spicrawl volgt geen links en ontdekt geen URL's. Geef de agent de URL's, of de lijst uit een sitemap, en gebruik een batchjob voor veel pagina's.
- Binnenkort: beheerde proxy's, stealth-modus, een remote-browserverbinding en extractie op basis van een prompt in gewone taal. Nu kun je zonder extra kosten je eigen proxy meenemen en data extraheren met CSS-selectors of een JSON Schema.
Hoe het zich verhoudt tot andere scraping MCP-servers
De meeste scraping-API's leveren nu een MCP-server mee. Wat elk biedt, uit onze vergelijkingspagina's, die de eigen docs van elke aanbieder citeren:
| Provider | Hun MCP-server |
|---|---|
| Firecrawl | Gehoste MCP-server die zonder sleutel werkt, met OAuth-aanmelding of met een API-sleutel. |
| ZenRows | Gehoste MCP-server, plus een agent toolkit met skills en plug-ins voor Claude Code, Cursor en Codex. |
| Context.dev | Gehoste MCP-server die inlogt met OAuth in plaats van een API-sleutel, plus een agent skill. |
| ScrapingBee | Gehoste MCP-server met tools voor het ophalen van pagina's, tekst, screenshots, zoekresultaten en gebruik. |
| Bright Data | MCP-server onder MIT-licentie, gehost of lokaal te draaien. Een gratis standaardmodus scrapet pagina's als Markdown en zoekt op het web; Pro-modus voegt 60+ tools toe. |
| Jina Reader | Gehoste MCP-server met tools om URL's te lezen, screenshots te maken en te zoeken. Lezen werkt zonder sleutel. |
| Apify | Officiële MCP-server waarmee agents kant-en-klare scrapers (Actors) kunnen ontdekken en uitvoeren. |
| Browserbase | Gehoste MCP-server gebouwd op Stagehand die een cloudbrowser bestuurt met commando's in gewone taal. |
Kies de server van Spicrawl als je agent vooral pagina's leest waarvan hij de URL's al heeft, en je schone Markdown wilt, sessies voor pagina's achter een login en fouten die niets kosten. Kies een server die crawlt of zoekt als de agent eerst pagina's moet vinden.
Veelgestelde vragen
Wat is een web scraping MCP-server?
Het is een Model Context Protocol-server die een AI-agent tools geeft om webpagina's op te halen. In plaats van HTTP-code te schrijven roept de agent een tool aan zoals spicrawl_scrape met een URL en krijgt hij de pagina terug als Markdown, tekst, HTML of JSON.
Met welke AI-agents en editors werkt het?
Elke MCP-client die via Streamable HTTP verbinding kan maken met een externe server en een Authorization-header kan sturen, waaronder Claude Code, Cursor, VS Code en de Codex CLI. Claude Desktop kan verbinden via de mcp-remote-bridge.
Is de Spicrawl MCP-server gratis?
Spicrawl is gratis tijdens de beta, zonder creditcard. Tool-aanroepen gebruiken dezelfde credits als de API: 1 voor een gewoon verzoek, 3 voor JavaScript-rendering en 8 voor volledige browserrendering. Mislukte en geblokkeerde verzoeken kosten 0.
Kan de MCP-server een hele website crawlen?
Nee. Spicrawl ontdekt geen URL's en volgt geen links. Geef de agent de URL's die je wilt, of een lijst uit een sitemap, en gebruik een batchjob voor veel pagina's.
Hoe houd ik mijn API-sleutel veilig?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Werkt het met pagina's achter een login?
Ja, voor accounts die van jou zijn of die je mag gebruiken. Maak een sessie met spicrawl_session_create, log in met browseracties en geef dan de sessie-ID mee bij latere scrapes, zodat cookies en browseropslag behouden blijven.