Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Un serveur MCP de web scraping hébergé pour agents IA

Connectez votre agent à https://mcp.spicrawl.com/mcp et il peut lire n’importe quelle URL en Markdown ou JSON, lancer des jobs batch, réutiliser des sessions avec connexion et vérifier sa propre consommation, sans que vous écriviez de code de scraping.

Ce que fait le serveur MCP Spicrawl

Le serveur donne à un agent IA Spicrawl sous forme d’outils natifs. Il est hébergé à https://mcp.spicrawl.com/mcp, parle MCP Streamable HTTP et s’authentifie avec votre propre clé API comme jeton bearer. Chaque appel d’outil s’exécute sous cette clé exactement comme si vous aviez appelé l’API vous-même : mêmes limites et mêmes crédits.

Configurez-le en une commande

La CLI Spicrawl ajoute le serveur MCP et la skill d’agent Spicrawl à votre client, et affiche les changements avant de les appliquer :

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Ou ajoutez-le à la main. Gardez la clé dans la variable d’environnement SPICRAWL_API_KEY et référencez-la depuis la configuration, pour que la clé n’atterrisse jamais dans un fichier commité :

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Vérifiez la connexion avec claude mcp list, codex mcp list ou les paramètres MCP de votre client. Vous devriez voir 25 outils spicrawl_*.

Les outils, regroupés par tâche

JobOutils
Lire une pagespicrawl_scrape : Markdown (par défaut), texte, HTML ou JSON, avec rendu, filtres de balises, extraction et actions de navigateur en option
De nombreuses URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Pages avec connexionspicrawl_session_create, _list, _get, _context, _release, _delete
Déboguer un échecspicrawl_requests_list, spicrawl_request_get
Crédits et utilisationspicrawl_usage, _summary, _reconciliation (nécessitent le scope read)
Rechercher des informationsspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

L’outil pour se connecter à un navigateur distant via CDP est listé mais arrive bientôt.

Une première tâche à essayer

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

L’agent appelle spicrawl_scrape avec l’URL et format: "markdown", et ajoute render: true seulement si le premier résultat est vide. Un tutoriel complet se trouve dans comment scraper un site web avec Claude Code.

Gardez les agents économiques et sûrs

  • Le moins cher d’abord. Une requête simple coûte 1 crédit, le rendu JavaScript 3, le rendu navigateur complet 8. Les agents doivent monter d’un cran à la fois et s’arrêter au premier qui fonctionne.
  • Plafonnez tous les appels. Définissez max_cost et une requête qui coûterait plus cher est refusée avant d’être exécutée.
  • Les échecs sont gratuits. Les erreurs et les pages bloquées coûtent 0 crédit.
  • Testez sans dépenser. Les clés spicrawl_test_ fonctionnent dans un bac à sable et ne dépensent jamais de crédits réels.
  • Limitez ce qu’une clé peut faire. Les clés reçoivent par défaut les scopes scrape, batch et sessions ; n’accordez read que si l’agent doit voir l’utilisation.

Ce qu’il ne fait pas

  • Pas de crawl. Spicrawl ne suit pas les liens et ne découvre pas d’URL. Donnez à l’agent les URL, ou la liste d’un sitemap, et utilisez un job batch pour de nombreuses pages.
  • Bientôt disponible : proxys gérés, mode furtif, connexion à un navigateur distant et extraction à partir d’un prompt en langage naturel. Aujourd’hui, vous pouvez apporter votre propre proxy sans supplément et extraire des données avec des sélecteurs CSS ou un JSON Schema.

Comparaison avec d’autres serveurs MCP de scraping

La plupart des API de scraping proposent désormais un serveur MCP. Ce que chacune offre, d’après nos pages de comparaison, qui citent la documentation de chaque éditeur :

FournisseurLeur serveur MCP
FirecrawlServeur MCP hébergé qui fonctionne sans clé, avec connexion OAuth ou avec une clé API.
ZenRowsServeur MCP hébergé, plus une boîte à outils d’agent de skills et de plugins pour Claude Code, Cursor et Codex.
Context.devServeur MCP hébergé qui se connecte avec OAuth au lieu d’une clé API, plus une skill d’agent.
ScrapingBeeServeur MCP hébergé avec des outils pour récupérer des pages, du texte, des captures d’écran, des résultats de recherche et l’usage.
Bright DataServeur MCP sous licence MIT, hébergé ou exécuté en local. Un mode par défaut gratuit scrape des pages en Markdown et recherche sur le web ; le mode Pro ajoute plus de 60 outils.
Jina ReaderServeur MCP hébergé avec des outils pour lire des URL, faire des captures d’écran et chercher. La lecture fonctionne sans clé.
ApifyServeur MCP officiel qui permet aux agents de découvrir et d’exécuter des scrapers prêts à l’emploi (Actors).
BrowserbaseServeur MCP hébergé basé sur Stagehand qui contrôle un navigateur cloud avec des commandes en langage naturel.

Choisissez le serveur de Spicrawl quand votre agent lit surtout des pages dont il a déjà les URL, et que vous voulez du Markdown propre, des sessions pour les pages avec connexion et des échecs qui ne coûtent rien. Choisissez un serveur qui crawle ou recherche quand l’agent doit d’abord trouver des pages.

Questions fréquentes

Qu’est-ce qu’un serveur MCP de web scraping ?

C’est un serveur Model Context Protocol qui donne à un agent IA des outils pour récupérer des pages web. Au lieu d’écrire du code HTTP, l’agent appelle un outil comme spicrawl_scrape avec une URL et reçoit la page en Markdown, texte, HTML ou JSON.

Avec quels agents IA et éditeurs cela fonctionne-t-il ?

Tout client MCP capable de se connecter à un serveur distant via Streamable HTTP et d’envoyer un en-tête Authorization, y compris Claude Code, Cursor, VS Code et Codex CLI. Claude Desktop peut se connecter via le pont mcp-remote.

Le serveur MCP Spicrawl est-il gratuit ?

Spicrawl est gratuit pendant sa bêta, sans carte bancaire. Les appels d’outil utilisent les mêmes crédits que l’API : 1 pour une requête simple, 3 pour le rendu JavaScript et 8 pour le rendu navigateur complet. Les requêtes échouées et bloquées coûtent 0.

Le serveur MCP peut-il crawler un site entier ?

Non. Spicrawl ne découvre pas d’URL et ne suit pas les liens. Donnez à l’agent les URL voulues, ou une liste issue d’un sitemap, et utilisez un job batch pour de nombreuses pages.

Comment protéger ma clé API ?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Cela fonctionne-t-il avec les pages avec connexion ?

Oui, pour des comptes qui vous appartiennent ou que vous avez le droit d’utiliser. Créez une session avec spicrawl_session_create, connectez-vous avec des actions de navigateur, puis passez l’ID de session aux scrapes suivants pour que les cookies et le stockage du navigateur soient conservés.