Web scraping LangChain avec Spicrawl
Connectez un agent LangChain au serveur MCP de Spicrawl. L’agent peut alors lire des pages web en Markdown.
Configurez-le
Installez
langchain-mcp-adaptersetlangchain[openai].Définissez
SPICRAWL_API_KEYet la clé de votre fournisseur de modèle (OPENAI_API_KEYici).Créez un
MultiServerMCPClientavec une seule entréespicrawl."transport": "streamable_http"etheadersconfigurent la connexion.Gardez uniquement les outils dont vous avez besoin et construisez un agent LangGraph avec
create_agent.
Exemple : lire une page de tarifs
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Par défaut, chaque appel d’outil ouvre sa propre session MCP. C’est correct pour spicrawl_scrape, qui est sans état. Le serveur n’a pas d’OAuth, donc envoyez toujours la clé dans headers.
Gardez la liste d’outils courte
Les schémas des 25 outils sont envoyés à chaque appel du modèle. Cela augmente le coût du prompt et peut perturber le modèle. Gardez spicrawl_scrape et, pour de nombreuses URL, ajoutez spicrawl_batch_submit, spicrawl_batch_status et spicrawl_batch_results.
Si votre code sait déjà quelle URL récupérer, vous n’avez peut-être pas besoin de MCP du tout. Une fonction ordinaire qui appelle POST /v1/scrape ne coûte aucun jeton de schéma d’outil et se teste plus facilement.
Ce qu’il peut faire
Le serveur donne à l’agent 25 outils spicrawl_*. Chaque appel s’exécute sous votre clé API, avec les mêmes limites et les mêmes crédits qu’un appel direct à l’API.
- Lire une page :
spicrawl_scraperenvoie du Markdown (par défaut), du texte, du HTML, du JSON ou un PDF. - Lire plusieurs pages :
spicrawl_batch_submitmet en file jusqu’à 10 000 URL. Suivez-le avecspicrawl_batch_statusetspicrawl_batch_results. - Pages derrière une connexion :
spicrawl_session_createconserve les cookies et le stockage d’un appel à l’autre. - Déboguer un échec :
spicrawl_requests_listetspicrawl_request_get. - Vérifier l’usage :
spicrawl_usage_summaryet les autres outils d’utilisation. Ils nécessitent une clé avec le scoperead. - Rechercher des informations :
spicrawl_docs_searchetspicrawl_docs_readcherchent et lisent la documentation de Spicrawl.
Un outil, spicrawl_browser_connect_url, est listé mais arrive bientôt. Sur spicrawl_scrape, l’argument de rendu est render, et non le js_render de l’API.
Bon à savoir
- Pas de crawl. Spicrawl ne suit pas les liens et ne trouve pas de pages. Donnez les URL à l’agent.
- Crédits par requête. Une récupération simple coûte 1 crédit. Le rendu JavaScript coûte 3. Le rendu navigateur complet coûte 8.
- Les échecs sont gratuits. Une requête échouée coûte 0 crédit.
- Le cache fait gagner du temps, pas des crédits. Un résultat en cache coûte autant que la récupération qui l’a stocké.
- Plafonnez chaque appel. Définissez
max_cost, et une requête qui pourrait coûter plus cher est refusée avant d’être exécutée. - Bientôt disponible : proxys gérés, mode furtif, navigateur distant et extraction par IA à partir d’un prompt en langage naturel. Aujourd’hui, vous pouvez apporter votre propre proxy.
Questions fréquentes
De quels packages ai-je besoin ?
langchain-mcp-adapters et langchain[openai]. Définissez SPICRAWL_API_KEY et OPENAI_API_KEY avant d’exécuter l’exemple.
Dois-je donner les 25 outils à l’agent ?
En général non. Tous les schémas d’outils sont envoyés à chaque appel du modèle. Gardez spicrawl_scrape, et pour de nombreuses URL spicrawl_batch_submit, spicrawl_batch_status et spicrawl_batch_results.
Chaque appel d’outil ouvre-t-il une nouvelle session ?
Oui, par défaut. Ce n’est pas un problème pour spicrawl_scrape, qui est sans état. Voir le README de l’adaptateur pour client.session("spicrawl") si vous voulez une session par exécution.
Dois-je utiliser MCP ou appeler directement l’API ?
Utilisez MCP quand le modèle décide quoi récupérer. Quand votre code connaît déjà l’URL, une simple fonction qui appelle POST /v1/scrape est plus simple et ne coûte aucun jeton de schéma d’outils.
Combien coûte chaque page ?
Une récupération simple coûte 1 crédit, le rendu JavaScript 3 et le rendu navigateur complet 8. Les requêtes échouées coûtent 0. Un résultat en cache coûte autant que la récupération qui l’a stocké. Demandez à l’agent de définir max_cost sur chaque requête pour qu’il ne dépense jamais plus que prévu.