Un server MCP di web scraping ospitato per agenti AI
Collega il tuo agente a https://mcp.spicrawl.com/mcp e potrà leggere qualsiasi URL come Markdown o JSON, eseguire batch job, riutilizzare sessioni con login e controllare il proprio utilizzo, senza che tu scriva codice di scraping.
Cosa fa il server MCP di Spicrawl
Il server offre a un agente AI Spicrawl come strumenti nativi. È ospitato su https://mcp.spicrawl.com/mcp, parla MCP Streamable HTTP e si autentica con la tua chiave API come bearer token. Ogni chiamata a un tool viene eseguita con quella chiave esattamente come se avessi chiamato tu l’API: gli stessi limiti e gli stessi crediti.
Configuralo con un solo comando
La CLI di Spicrawl aggiunge al tuo client il server MCP e la skill per agenti di Spicrawl, e mostra le modifiche prima di applicarle:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexOppure aggiungilo a mano. Tieni la chiave nella variabile d’ambiente SPICRAWL_API_KEY e richiamala dalla configurazione, così la chiave non finisce mai in un file committato:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Verifica la connessione con claude mcp list, codex mcp list o le impostazioni MCP del tuo client. Dovresti vedere 25 strumenti spicrawl_*.
I tool, raggruppati per compito
| Job | Tool |
|---|---|
| Leggi una pagina | spicrawl_scrape: Markdown (predefinito), testo, HTML o JSON, con rendering opzionale, filtri sui tag, estrazione e azioni del browser |
| Molti URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Pagine con login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Fai il debug di un errore | spicrawl_requests_list, spicrawl_request_get |
| Crediti e utilizzo | spicrawl_usage, _summary, _reconciliation (richiedono lo scope read) |
| Cerca informazioni | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
Il tool per collegarsi a un browser remoto tramite CDP è elencato ma in arrivo.
Un primo task da provare
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.L’agente richiama spicrawl_scrape con l’URL e format: "markdown", e aggiunge render: true solo se il primo risultato è vuoto. Una guida completa è in come fare scraping di un sito web con Claude Code.
Tieni gli agenti economici e sicuri
- Prima il più economico. Una richiesta semplice costa 1 credito, il rendering JavaScript 3, il rendering con browser completo 8. Gli agenti dovrebbero salire un passaggio alla volta e fermarsi al primo che funziona.
- Limita ogni chiamata. Imposta
max_coste una richiesta che costerebbe di più viene rifiutata prima di essere eseguita. - I fallimenti sono gratuiti. Errori e pagine bloccate costano 0 crediti.
- Prova senza spendere. Le chiavi
spicrawl_test_funzionano su una sandbox e non spendono mai crediti reali. - Limita cosa può fare una chiave. Le chiavi hanno di default gli scope
scrape,batchesessions; concedireadsolo se l’agente deve vedere l’utilizzo.
Cosa non fa
- Nessun crawling. Spicrawl non segue link né scopre URL. Dai all’agente gli URL, o l’elenco di una sitemap, e usa un batch job per molte pagine.
- In arrivo: proxy gestiti, modalità stealth, una connessione a un browser remoto ed estrazione da un prompt in linguaggio naturale. Oggi puoi usare il tuo proxy senza costi extra ed estrarre dati con selettori CSS o un JSON Schema.
Come si confronta con altri server MCP di scraping
La maggior parte delle API di scraping ora include un server MCP. Cosa offre ciascuna, dalle nostre pagine di confronto, che citano la documentazione di ogni fornitore:
| Fornitore | Il loro server MCP |
|---|---|
| Firecrawl | Server MCP ospitato che funziona senza chiave, con accesso OAuth o con una chiave API. |
| ZenRows | Server MCP ospitato, più un toolkit per agenti con skill e plugin per Claude Code, Cursor e Codex. |
| Context.dev | Server MCP ospitato che si autentica con OAuth invece che con una chiave API, più una skill per agenti. |
| ScrapingBee | Server MCP ospitato con tool per recuperare pagine, testo, screenshot, risultati di ricerca e utilizzo. |
| Bright Data | Server MCP con licenza MIT, ospitato o eseguito in locale. Una modalità predefinita gratuita estrae le pagine come Markdown e cerca sul web; la modalità Pro aggiunge più di 60 strumenti. |
| Jina Reader | Server MCP ospitato con tool per leggere URL, fare screenshot e cercare. La lettura funziona senza chiave. |
| Apify | Server MCP ufficiale che permette agli agenti di scoprire ed eseguire scraper già pronti (Actor). |
| Browserbase | Server MCP ospitato basato su Stagehand che controlla un browser cloud con comandi in linguaggio naturale. |
Scegli il server di Spicrawl quando il tuo agente legge soprattutto pagine di cui ha già gli URL e vuoi Markdown pulito, sessioni per pagine con login e fallimenti che non costano nulla. Scegline uno che fa crawl o ricerca quando l’agente deve prima trovare le pagine.
Domande frequenti
Che cos’è un server MCP di web scraping?
È un server Model Context Protocol che dà a un agente AI dei tool per recuperare pagine web. Invece di scrivere codice HTTP, l’agente chiama un tool come spicrawl_scrape con un URL e ottiene la pagina come Markdown, testo, HTML o JSON.
Con quali agenti AI ed editor funziona?
Qualsiasi client MCP in grado di collegarsi a un server remoto tramite Streamable HTTP e inviare un header Authorization, tra cui Claude Code, Cursor, VS Code e la Codex CLI. Claude Desktop può collegarsi tramite il bridge mcp-remote.
Il server MCP di Spicrawl è gratuito?
Spicrawl è gratis durante la beta, senza carta di credito. Le chiamate ai tool usano gli stessi crediti dell’API: 1 per una richiesta semplice, 3 per il rendering JavaScript e 8 per il rendering con browser completo. Le richieste fallite e bloccate costano 0.
Il server MCP può fare il crawl di un intero sito?
No. Spicrawl non scopre gli URL né segue i link. Dai all’agente gli URL che vuoi, o un elenco da una sitemap, e usa un batch job per molte pagine.
Come tengo al sicuro la mia chiave API?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Funziona con le pagine che richiedono un login?
Sì, per account di tua proprietà o che sei autorizzato a usare. Crea una sessione con spicrawl_session_create, accedi con le azioni del browser, poi passa l’ID della sessione negli scrape successivi così cookie e storage del browser vengono mantenuti.