Web scraping en LangChain con Spicrawl
Conecta un agente de LangChain al servidor MCP de Spicrawl. Así el agente puede leer páginas web como Markdown.
Configúralo
Instala
langchain-mcp-adaptersylangchain[openai].Configura
SPICRAWL_API_KEYy la clave de tu proveedor de modelos (OPENAI_API_KEYaquí).Crea un
MultiServerMCPClientcon una entradaspicrawl."transport": "streamable_http"yheadersconfiguran la conexión.Conserva solo las herramientas que necesites y crea un agente de LangGraph con
create_agent.
Ejemplo: lee una página de precios
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Por defecto, cada llamada a una herramienta abre su propia sesión MCP. Eso está bien para spicrawl_scrape, que no tiene estado. El servidor no tiene OAuth, así que envía siempre la clave en headers.
Mantén corta la lista de herramientas
Los 25 esquemas de herramientas se envían en cada llamada al modelo. Eso aumenta el coste del prompt y puede confundir al modelo. Conserva spicrawl_scrape y, para muchas URL, añade spicrawl_batch_submit, spicrawl_batch_status y spicrawl_batch_results.
Si tu código ya sabe qué URL obtener, quizá no necesites MCP en absoluto. Una función simple que llame a POST /v1/scrape no gasta tokens de esquema de herramientas y es más fácil de probar.
Qué puede hacer
El servidor ofrece al agente 25 herramientas de spicrawl_*. Cada llamada se ejecuta con tu clave de API, con los mismos límites y créditos que una llamada directa a la API.
- Lee una página:
spicrawl_scrapedevuelve Markdown (predeterminado), texto, HTML, JSON o PDF. - Lee muchas páginas:
spicrawl_batch_submitpone en cola hasta 10.000 URL. Continúa conspicrawl_batch_statusyspicrawl_batch_results. - Páginas con login:
spicrawl_session_createconserva las cookies y el almacenamiento entre llamadas. - Depura un fallo:
spicrawl_requests_listyspicrawl_request_get. - Revisa el uso:
spicrawl_usage_summaryy las demás herramientas de uso. Requieren una clave con el alcanceread. - Busca cosas:
spicrawl_docs_searchyspicrawl_docs_readbuscan y leen la documentación de Spicrawl.
Una herramienta, spicrawl_browser_connect_url, aparece en la lista pero llegará pronto. En spicrawl_scrape, el argumento de renderizado es render, no el js_render de la API.
Conviene saber
- No rastrea. Spicrawl no sigue enlaces ni encuentra páginas. Dale las URL al agente.
- Créditos por solicitud. Una obtención simple cuesta 1 crédito. El renderizado de JavaScript, 3. El renderizado con navegador completo, 8.
- Los fallos son gratis. Una solicitud fallida cuesta 0 créditos.
- La caché ahorra tiempo, no créditos. Un acierto de caché cuesta lo mismo que la obtención que lo guardó.
- Limita cada llamada. Configura
max_costy una solicitud que podría costar más se rechaza antes de ejecutarse. - Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción con IA a partir de un prompt en lenguaje natural. Hoy puedes usar tu propio proxy.
Preguntas frecuentes
¿Qué paquetes necesito?
langchain-mcp-adapters y langchain[openai]. Configura SPICRAWL_API_KEY y OPENAI_API_KEY antes de ejecutar el ejemplo.
¿Debo dar al agente las 25 herramientas?
Normalmente no. Todas las definiciones de herramientas se envían en cada llamada al modelo. Conserva spicrawl_scrape y, para muchas URL, spicrawl_batch_submit, spicrawl_batch_status y spicrawl_batch_results.
¿Cada llamada a una herramienta abre una sesión nueva?
Sí, por defecto. Eso está bien para spicrawl_scrape, que no tiene estado. Consulta el README del adaptador para client.session("spicrawl") si quieres una sesión por ejecución.
¿Debo usar MCP o llamar a la API directamente?
Usa MCP cuando el modelo decide qué obtener. Cuando tu código ya conoce la URL, una función simple que llame a POST /v1/scrape es más sencilla y no gasta tokens de definiciones de herramientas.
¿Cuánto cuesta cada página?
Una solicitud simple cuesta 1 crédito, el renderizado con JavaScript 3 y el renderizado con navegador completo 8. Las solicitudes fallidas cuestan 0. Un acierto de caché cuesta lo mismo que la solicitud que lo guardó. Pide al agente que configure max_cost en cada solicitud para que nunca gaste más de lo que esperas.