Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Web scraping en LangChain con Spicrawl

Conecta un agente de LangChain al servidor MCP de Spicrawl. Así el agente puede leer páginas web como Markdown.

Configúralo

  1. Instala langchain-mcp-adapters y langchain[openai].

  2. Configura SPICRAWL_API_KEY y la clave de tu proveedor de modelos (OPENAI_API_KEY aquí).

  3. Crea un MultiServerMCPClient con una entrada spicrawl. "transport": "streamable_http" y headers configuran la conexión.

  4. Conserva solo las herramientas que necesites y crea un agente de LangGraph con create_agent.

Ejemplo: lee una página de precios

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Por defecto, cada llamada a una herramienta abre su propia sesión MCP. Eso está bien para spicrawl_scrape, que no tiene estado. El servidor no tiene OAuth, así que envía siempre la clave en headers.

Mantén corta la lista de herramientas

Los 25 esquemas de herramientas se envían en cada llamada al modelo. Eso aumenta el coste del prompt y puede confundir al modelo. Conserva spicrawl_scrape y, para muchas URL, añade spicrawl_batch_submit, spicrawl_batch_status y spicrawl_batch_results.

Si tu código ya sabe qué URL obtener, quizá no necesites MCP en absoluto. Una función simple que llame a POST /v1/scrape no gasta tokens de esquema de herramientas y es más fácil de probar.

Qué puede hacer

El servidor ofrece al agente 25 herramientas de spicrawl_*. Cada llamada se ejecuta con tu clave de API, con los mismos límites y créditos que una llamada directa a la API.

  • Lee una página: spicrawl_scrape devuelve Markdown (predeterminado), texto, HTML, JSON o PDF.
  • Lee muchas páginas: spicrawl_batch_submit pone en cola hasta 10.000 URL. Continúa con spicrawl_batch_status y spicrawl_batch_results.
  • Páginas con login: spicrawl_session_create conserva las cookies y el almacenamiento entre llamadas.
  • Depura un fallo: spicrawl_requests_list y spicrawl_request_get.
  • Revisa el uso: spicrawl_usage_summary y las demás herramientas de uso. Requieren una clave con el alcance read.
  • Busca cosas: spicrawl_docs_search y spicrawl_docs_read buscan y leen la documentación de Spicrawl.

Una herramienta, spicrawl_browser_connect_url, aparece en la lista pero llegará pronto. En spicrawl_scrape, el argumento de renderizado es render, no el js_render de la API.

Conviene saber

  • No rastrea. Spicrawl no sigue enlaces ni encuentra páginas. Dale las URL al agente.
  • Créditos por solicitud. Una obtención simple cuesta 1 crédito. El renderizado de JavaScript, 3. El renderizado con navegador completo, 8.
  • Los fallos son gratis. Una solicitud fallida cuesta 0 créditos.
  • La caché ahorra tiempo, no créditos. Un acierto de caché cuesta lo mismo que la obtención que lo guardó.
  • Limita cada llamada. Configura max_cost y una solicitud que podría costar más se rechaza antes de ejecutarse.
  • Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción con IA a partir de un prompt en lenguaje natural. Hoy puedes usar tu propio proxy.

Preguntas frecuentes

¿Qué paquetes necesito?

langchain-mcp-adapters y langchain[openai]. Configura SPICRAWL_API_KEY y OPENAI_API_KEY antes de ejecutar el ejemplo.

¿Debo dar al agente las 25 herramientas?

Normalmente no. Todas las definiciones de herramientas se envían en cada llamada al modelo. Conserva spicrawl_scrape y, para muchas URL, spicrawl_batch_submit, spicrawl_batch_status y spicrawl_batch_results.

¿Cada llamada a una herramienta abre una sesión nueva?

Sí, por defecto. Eso está bien para spicrawl_scrape, que no tiene estado. Consulta el README del adaptador para client.session("spicrawl") si quieres una sesión por ejecución.

¿Debo usar MCP o llamar a la API directamente?

Usa MCP cuando el modelo decide qué obtener. Cuando tu código ya conoce la URL, una función simple que llame a POST /v1/scrape es más sencilla y no gasta tokens de definiciones de herramientas.

¿Cuánto cuesta cada página?

Una solicitud simple cuesta 1 crédito, el renderizado con JavaScript 3 y el renderizado con navegador completo 8. Las solicitudes fallidas cuestan 0. Un acierto de caché cuesta lo mismo que la solicitud que lo guardó. Pide al agente que configure max_cost en cada solicitud para que nunca gaste más de lo que esperas.