Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Een gehoste web scraping MCP-server voor AI-agents

Verbind je agent met https://mcp.spicrawl.com/mcp en hij kan elke URL als Markdown of JSON lezen, batchjobs draaien, sessies met login hergebruiken en zijn eigen gebruik controleren, zonder dat je scrapingcode schrijft.

Wat de Spicrawl MCP-server doet

De server geeft een AI-agent Spicrawl als native tools. Hij wordt gehost op https://mcp.spicrawl.com/mcp, spreekt MCP Streamable HTTP en authenticeert met je eigen API-sleutel als bearer-token. Elke tool-aanroep draait onder die sleutel precies alsof je zelf de API had aangeroepen: dezelfde limieten en dezelfde credits.

Stel het in met één commando

De Spicrawl CLI voegt de MCP-server en de Spicrawl agent skill toe aan je client en toont de wijzigingen voordat ze worden toegepast:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Of voeg hem met de hand toe. Bewaar de sleutel in de omgevingsvariabele SPICRAWL_API_KEY en verwijs ernaar vanuit de config, zodat de sleutel nooit in een gecommit bestand terechtkomt:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Controleer de verbinding met claude mcp list, codex mcp list of de MCP-instellingen van je client. Je zou 25 spicrawl_*-tools moeten zien.

De tools, gegroepeerd per taak

JobTools
Lees één paginaspicrawl_scrape: Markdown (standaard), tekst, HTML of JSON, met optioneel renderen, tagfilters, extractie en browseracties
Veel URL'sspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Pagina's achter een loginspicrawl_session_create, _list, _get, _context, _release, _delete
Een fout debuggenspicrawl_requests_list, spicrawl_request_get
Credits en gebruikspicrawl_usage, _summary, _reconciliation (hebben de scope read nodig)
Dingen opzoekenspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

De tool om via CDP met een remote browser te verbinden staat in de lijst maar komt binnenkort.

Een eerste taak om te proberen

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

De agent roept spicrawl_scrape aan met de URL en format: "markdown", en voegt render: true alleen toe als het eerste resultaat leeg is. Een volledige uitleg staat in hoe je een website scrapet met Claude Code.

Houd agents goedkoop en veilig

  • Eerst het goedkoopst. Een gewoon verzoek is 1 credit, JavaScript-rendering 3, full-browser-rendering 8. Agents moeten stap voor stap opschalen en stoppen bij de eerste die werkt.
  • Begrens elke aanroep. Stel max_cost in en een verzoek dat meer zou kosten wordt geweigerd voordat het wordt uitgevoerd.
  • Mislukkingen zijn gratis. Fouten en geblokkeerde pagina's kosten 0 credits.
  • Test zonder uit te geven. spicrawl_test_-sleutels draaien tegen een sandbox en verbruiken nooit echte credits.
  • Beperk wat een sleutel mag doen. Sleutels krijgen standaard de scopes scrape, batch en sessions; geef read alleen als de agent het gebruik moet kunnen zien.

Wat het niet doet

  • Geen crawling. Spicrawl volgt geen links en ontdekt geen URL's. Geef de agent de URL's, of de lijst uit een sitemap, en gebruik een batchjob voor veel pagina's.
  • Binnenkort: beheerde proxy's, stealth-modus, een remote-browserverbinding en extractie op basis van een prompt in gewone taal. Nu kun je zonder extra kosten je eigen proxy meenemen en data extraheren met CSS-selectors of een JSON Schema.

Hoe het zich verhoudt tot andere scraping MCP-servers

De meeste scraping-API's leveren nu een MCP-server mee. Wat elk biedt, uit onze vergelijkingspagina's, die de eigen docs van elke aanbieder citeren:

ProviderHun MCP-server
FirecrawlGehoste MCP-server die zonder sleutel werkt, met OAuth-aanmelding of met een API-sleutel.
ZenRowsGehoste MCP-server, plus een agent toolkit met skills en plug-ins voor Claude Code, Cursor en Codex.
Context.devGehoste MCP-server die inlogt met OAuth in plaats van een API-sleutel, plus een agent skill.
ScrapingBeeGehoste MCP-server met tools voor het ophalen van pagina's, tekst, screenshots, zoekresultaten en gebruik.
Bright DataMCP-server onder MIT-licentie, gehost of lokaal te draaien. Een gratis standaardmodus scrapet pagina's als Markdown en zoekt op het web; Pro-modus voegt 60+ tools toe.
Jina ReaderGehoste MCP-server met tools om URL's te lezen, screenshots te maken en te zoeken. Lezen werkt zonder sleutel.
ApifyOfficiële MCP-server waarmee agents kant-en-klare scrapers (Actors) kunnen ontdekken en uitvoeren.
BrowserbaseGehoste MCP-server gebouwd op Stagehand die een cloudbrowser bestuurt met commando's in gewone taal.

Kies de server van Spicrawl als je agent vooral pagina's leest waarvan hij de URL's al heeft, en je schone Markdown wilt, sessies voor pagina's achter een login en fouten die niets kosten. Kies een server die crawlt of zoekt als de agent eerst pagina's moet vinden.

Veelgestelde vragen

Wat is een web scraping MCP-server?

Het is een Model Context Protocol-server die een AI-agent tools geeft om webpagina's op te halen. In plaats van HTTP-code te schrijven roept de agent een tool aan zoals spicrawl_scrape met een URL en krijgt hij de pagina terug als Markdown, tekst, HTML of JSON.

Met welke AI-agents en editors werkt het?

Elke MCP-client die via Streamable HTTP verbinding kan maken met een externe server en een Authorization-header kan sturen, waaronder Claude Code, Cursor, VS Code en de Codex CLI. Claude Desktop kan verbinden via de mcp-remote-bridge.

Is de Spicrawl MCP-server gratis?

Spicrawl is gratis tijdens de beta, zonder creditcard. Tool-aanroepen gebruiken dezelfde credits als de API: 1 voor een gewoon verzoek, 3 voor JavaScript-rendering en 8 voor volledige browserrendering. Mislukte en geblokkeerde verzoeken kosten 0.

Kan de MCP-server een hele website crawlen?

Nee. Spicrawl ontdekt geen URL's en volgt geen links. Geef de agent de URL's die je wilt, of een lijst uit een sitemap, en gebruik een batchjob voor veel pagina's.

Hoe houd ik mijn API-sleutel veilig?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Werkt het met pagina's achter een login?

Ja, voor accounts die van jou zijn of die je mag gebruiken. Maak een sessie met spicrawl_session_create, log in met browseracties en geef dan de sessie-ID mee bij latere scrapes, zodat cookies en browseropslag behouden blijven.