Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Web scraping LangChain avec Spicrawl

Connectez un agent LangChain au serveur MCP de Spicrawl. L’agent peut alors lire des pages web en Markdown.

Configurez-le

  1. Installez langchain-mcp-adapters et langchain[openai].

  2. Définissez SPICRAWL_API_KEY et la clé de votre fournisseur de modèle (OPENAI_API_KEY ici).

  3. Créez un MultiServerMCPClient avec une seule entrée spicrawl. "transport": "streamable_http" et headers configurent la connexion.

  4. Gardez uniquement les outils dont vous avez besoin et construisez un agent LangGraph avec create_agent.

Exemple : lire une page de tarifs

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Par défaut, chaque appel d’outil ouvre sa propre session MCP. C’est correct pour spicrawl_scrape, qui est sans état. Le serveur n’a pas d’OAuth, donc envoyez toujours la clé dans headers.

Gardez la liste d’outils courte

Les schémas des 25 outils sont envoyés à chaque appel du modèle. Cela augmente le coût du prompt et peut perturber le modèle. Gardez spicrawl_scrape et, pour de nombreuses URL, ajoutez spicrawl_batch_submit, spicrawl_batch_status et spicrawl_batch_results.

Si votre code sait déjà quelle URL récupérer, vous n’avez peut-être pas besoin de MCP du tout. Une fonction ordinaire qui appelle POST /v1/scrape ne coûte aucun jeton de schéma d’outil et se teste plus facilement.

Ce qu’il peut faire

Le serveur donne à l’agent 25 outils spicrawl_*. Chaque appel s’exécute sous votre clé API, avec les mêmes limites et les mêmes crédits qu’un appel direct à l’API.

  • Lire une page : spicrawl_scrape renvoie du Markdown (par défaut), du texte, du HTML, du JSON ou un PDF.
  • Lire plusieurs pages : spicrawl_batch_submit met en file jusqu’à 10 000 URL. Suivez-le avec spicrawl_batch_status et spicrawl_batch_results.
  • Pages derrière une connexion : spicrawl_session_create conserve les cookies et le stockage d’un appel à l’autre.
  • Déboguer un échec : spicrawl_requests_list et spicrawl_request_get.
  • Vérifier l’usage : spicrawl_usage_summary et les autres outils d’utilisation. Ils nécessitent une clé avec le scope read.
  • Rechercher des informations : spicrawl_docs_search et spicrawl_docs_read cherchent et lisent la documentation de Spicrawl.

Un outil, spicrawl_browser_connect_url, est listé mais arrive bientôt. Sur spicrawl_scrape, l’argument de rendu est render, et non le js_render de l’API.

Bon à savoir

  • Pas de crawl. Spicrawl ne suit pas les liens et ne trouve pas de pages. Donnez les URL à l’agent.
  • Crédits par requête. Une récupération simple coûte 1 crédit. Le rendu JavaScript coûte 3. Le rendu navigateur complet coûte 8.
  • Les échecs sont gratuits. Une requête échouée coûte 0 crédit.
  • Le cache fait gagner du temps, pas des crédits. Un résultat en cache coûte autant que la récupération qui l’a stocké.
  • Plafonnez chaque appel. Définissez max_cost, et une requête qui pourrait coûter plus cher est refusée avant d’être exécutée.
  • Bientôt disponible : proxys gérés, mode furtif, navigateur distant et extraction par IA à partir d’un prompt en langage naturel. Aujourd’hui, vous pouvez apporter votre propre proxy.

Questions fréquentes

De quels packages ai-je besoin ?

langchain-mcp-adapters et langchain[openai]. Définissez SPICRAWL_API_KEY et OPENAI_API_KEY avant d’exécuter l’exemple.

Dois-je donner les 25 outils à l’agent ?

En général non. Tous les schémas d’outils sont envoyés à chaque appel du modèle. Gardez spicrawl_scrape, et pour de nombreuses URL spicrawl_batch_submit, spicrawl_batch_status et spicrawl_batch_results.

Chaque appel d’outil ouvre-t-il une nouvelle session ?

Oui, par défaut. Ce n’est pas un problème pour spicrawl_scrape, qui est sans état. Voir le README de l’adaptateur pour client.session("spicrawl") si vous voulez une session par exécution.

Dois-je utiliser MCP ou appeler directement l’API ?

Utilisez MCP quand le modèle décide quoi récupérer. Quand votre code connaît déjà l’URL, une simple fonction qui appelle POST /v1/scrape est plus simple et ne coûte aucun jeton de schéma d’outils.

Combien coûte chaque page ?

Une récupération simple coûte 1 crédit, le rendu JavaScript 3 et le rendu navigateur complet 8. Les requêtes échouées coûtent 0. Un résultat en cache coûte autant que la récupération qui l’a stocké. Demandez à l’agent de définir max_cost sur chaque requête pour qu’il ne dépense jamais plus que prévu.