Un serveur MCP de web scraping hébergé pour agents IA
Connectez votre agent à https://mcp.spicrawl.com/mcp et il peut lire n’importe quelle URL en Markdown ou JSON, lancer des jobs batch, réutiliser des sessions avec connexion et vérifier sa propre consommation, sans que vous écriviez de code de scraping.
Ce que fait le serveur MCP Spicrawl
Le serveur donne à un agent IA Spicrawl sous forme d’outils natifs. Il est hébergé à https://mcp.spicrawl.com/mcp, parle MCP Streamable HTTP et s’authentifie avec votre propre clé API comme jeton bearer. Chaque appel d’outil s’exécute sous cette clé exactement comme si vous aviez appelé l’API vous-même : mêmes limites et mêmes crédits.
Configurez-le en une commande
La CLI Spicrawl ajoute le serveur MCP et la skill d’agent Spicrawl à votre client, et affiche les changements avant de les appliquer :
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexOu ajoutez-le à la main. Gardez la clé dans la variable d’environnement SPICRAWL_API_KEY et référencez-la depuis la configuration, pour que la clé n’atterrisse jamais dans un fichier commité :
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Vérifiez la connexion avec claude mcp list, codex mcp list ou les paramètres MCP de votre client. Vous devriez voir 25 outils spicrawl_*.
Les outils, regroupés par tâche
| Job | Outils |
|---|---|
| Lire une page | spicrawl_scrape : Markdown (par défaut), texte, HTML ou JSON, avec rendu, filtres de balises, extraction et actions de navigateur en option |
| De nombreuses URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Pages avec connexion | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Déboguer un échec | spicrawl_requests_list, spicrawl_request_get |
| Crédits et utilisation | spicrawl_usage, _summary, _reconciliation (nécessitent le scope read) |
| Rechercher des informations | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
L’outil pour se connecter à un navigateur distant via CDP est listé mais arrive bientôt.
Une première tâche à essayer
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.L’agent appelle spicrawl_scrape avec l’URL et format: "markdown", et ajoute render: true seulement si le premier résultat est vide. Un tutoriel complet se trouve dans comment scraper un site web avec Claude Code.
Gardez les agents économiques et sûrs
- Le moins cher d’abord. Une requête simple coûte 1 crédit, le rendu JavaScript 3, le rendu navigateur complet 8. Les agents doivent monter d’un cran à la fois et s’arrêter au premier qui fonctionne.
- Plafonnez tous les appels. Définissez
max_costet une requête qui coûterait plus cher est refusée avant d’être exécutée. - Les échecs sont gratuits. Les erreurs et les pages bloquées coûtent 0 crédit.
- Testez sans dépenser. Les clés
spicrawl_test_fonctionnent dans un bac à sable et ne dépensent jamais de crédits réels. - Limitez ce qu’une clé peut faire. Les clés reçoivent par défaut les scopes
scrape,batchetsessions; n’accordezreadque si l’agent doit voir l’utilisation.
Ce qu’il ne fait pas
- Pas de crawl. Spicrawl ne suit pas les liens et ne découvre pas d’URL. Donnez à l’agent les URL, ou la liste d’un sitemap, et utilisez un job batch pour de nombreuses pages.
- Bientôt disponible : proxys gérés, mode furtif, connexion à un navigateur distant et extraction à partir d’un prompt en langage naturel. Aujourd’hui, vous pouvez apporter votre propre proxy sans supplément et extraire des données avec des sélecteurs CSS ou un JSON Schema.
Comparaison avec d’autres serveurs MCP de scraping
La plupart des API de scraping proposent désormais un serveur MCP. Ce que chacune offre, d’après nos pages de comparaison, qui citent la documentation de chaque éditeur :
| Fournisseur | Leur serveur MCP |
|---|---|
| Firecrawl | Serveur MCP hébergé qui fonctionne sans clé, avec connexion OAuth ou avec une clé API. |
| ZenRows | Serveur MCP hébergé, plus une boîte à outils d’agent de skills et de plugins pour Claude Code, Cursor et Codex. |
| Context.dev | Serveur MCP hébergé qui se connecte avec OAuth au lieu d’une clé API, plus une skill d’agent. |
| ScrapingBee | Serveur MCP hébergé avec des outils pour récupérer des pages, du texte, des captures d’écran, des résultats de recherche et l’usage. |
| Bright Data | Serveur MCP sous licence MIT, hébergé ou exécuté en local. Un mode par défaut gratuit scrape des pages en Markdown et recherche sur le web ; le mode Pro ajoute plus de 60 outils. |
| Jina Reader | Serveur MCP hébergé avec des outils pour lire des URL, faire des captures d’écran et chercher. La lecture fonctionne sans clé. |
| Apify | Serveur MCP officiel qui permet aux agents de découvrir et d’exécuter des scrapers prêts à l’emploi (Actors). |
| Browserbase | Serveur MCP hébergé basé sur Stagehand qui contrôle un navigateur cloud avec des commandes en langage naturel. |
Choisissez le serveur de Spicrawl quand votre agent lit surtout des pages dont il a déjà les URL, et que vous voulez du Markdown propre, des sessions pour les pages avec connexion et des échecs qui ne coûtent rien. Choisissez un serveur qui crawle ou recherche quand l’agent doit d’abord trouver des pages.
Questions fréquentes
Qu’est-ce qu’un serveur MCP de web scraping ?
C’est un serveur Model Context Protocol qui donne à un agent IA des outils pour récupérer des pages web. Au lieu d’écrire du code HTTP, l’agent appelle un outil comme spicrawl_scrape avec une URL et reçoit la page en Markdown, texte, HTML ou JSON.
Avec quels agents IA et éditeurs cela fonctionne-t-il ?
Tout client MCP capable de se connecter à un serveur distant via Streamable HTTP et d’envoyer un en-tête Authorization, y compris Claude Code, Cursor, VS Code et Codex CLI. Claude Desktop peut se connecter via le pont mcp-remote.
Le serveur MCP Spicrawl est-il gratuit ?
Spicrawl est gratuit pendant sa bêta, sans carte bancaire. Les appels d’outil utilisent les mêmes crédits que l’API : 1 pour une requête simple, 3 pour le rendu JavaScript et 8 pour le rendu navigateur complet. Les requêtes échouées et bloquées coûtent 0.
Le serveur MCP peut-il crawler un site entier ?
Non. Spicrawl ne découvre pas d’URL et ne suit pas les liens. Donnez à l’agent les URL voulues, ou une liste issue d’un sitemap, et utilisez un job batch pour de nombreuses pages.
Comment protéger ma clé API ?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Cela fonctionne-t-il avec les pages avec connexion ?
Oui, pour des comptes qui vous appartiennent ou que vous avez le droit d’utiliser. Créez une session avec spicrawl_session_create, connectez-vous avec des actions de navigateur, puis passez l’ID de session aux scrapes suivants pour que les cookies et le stockage du navigateur soient conservés.