Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

LangChain web scraping met Spicrawl

Verbind een LangChain-agent met de Spicrawl MCP-server. De agent kan dan webpagina's als Markdown lezen.

Stel het in

  1. Installeer langchain-mcp-adapters en langchain[openai].

  2. Stel SPICRAWL_API_KEY in en de sleutel van je modelprovider (OPENAI_API_KEY hier).

  3. Maak een MultiServerMCPClient met één spicrawl-item. "transport": "streamable_http" en headers stellen de verbinding in.

  4. Houd alleen de tools die je nodig hebt en bouw een LangGraph-agent met create_agent.

Voorbeeld: een prijspagina lezen

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Standaard opent elke tool-aanroep zijn eigen MCP-sessie. Dat is prima voor spicrawl_scrape, dat stateless is. De server heeft geen OAuth, dus stuur de sleutel altijd mee in headers.

Houd de toollijst kort

Alle 25 toolschema's worden bij elke modelaanroep meegestuurd. Dat verhoogt de promptkosten en kan het model in de war brengen. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.

Als je code al weet welke URL moet worden opgehaald, heb je MCP misschien helemaal niet nodig. Een gewone functie die POST /v1/scrape aanroept kost geen tokens voor toolschema's en is makkelijker te testen.

Wat het kan

De server geeft de agent 25 spicrawl_*-tools. Elke aanroep draait onder je API-sleutel, met dezelfde limieten en credits als een directe API-aanroep.

  • Lees één pagina: spicrawl_scrape geeft Markdown (de standaard), tekst, HTML, JSON of PDF terug.
  • Lees veel pagina's: spicrawl_batch_submit zet tot 10.000 URL's in de wachtrij. Volg het met spicrawl_batch_status en spicrawl_batch_results.
  • Pagina's achter een login: spicrawl_session_create bewaart cookies en opslag tussen aanroepen.
  • Een fout debuggen: spicrawl_requests_list en spicrawl_request_get.
  • Controleer het gebruik: spicrawl_usage_summary en de andere usage-tools. Die hebben een sleutel met de scope read nodig.
  • Dingen opzoeken: spicrawl_docs_search en spicrawl_docs_read doorzoeken en lezen de Spicrawl-docs.

Eén tool, spicrawl_browser_connect_url, staat in de lijst maar komt binnenkort. Bij spicrawl_scrape is het renderargument render, niet de js_render van de API.

Goed om te weten

  • Geen crawling. Spicrawl volgt geen links en zoekt geen pagina's. Geef de agent de URL's.
  • Credits per verzoek. Een gewone fetch is 1 credit. JavaScript-rendering is 3. Full-browser-rendering is 8.
  • Mislukkingen zijn gratis. Een mislukt verzoek kost 0 credits.
  • De cache bespaart tijd, geen credits. De cache bespaart tijd, geen credits.
  • Begrens elke aanroep. Stel max_cost in, en een verzoek dat meer zou kunnen kosten wordt geweigerd voordat het wordt uitgevoerd.
  • Binnenkort: beheerde proxy's, stealth-modus, een remote browser en AI-extractie op basis van een prompt in gewone taal. Nu kun je je eigen proxy meenemen.

Veelgestelde vragen

Welke pakketten heb ik nodig?

langchain-mcp-adapters en langchain[openai]. Stel SPICRAWL_API_KEY en OPENAI_API_KEY in voordat je het voorbeeld draait.

Moet ik de agent alle 25 tools geven?

Meestal niet. Alle toolschema's worden bij elke modelaanroep meegestuurd. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.

Opent elke tool-aanroep een nieuwe sessie?

Ja, standaard. Dat is prima voor spicrawl_scrape, die stateless is. Zie de README van de adapter voor client.session("spicrawl") als je één sessie per run wilt.

Moet ik MCP gebruiken of de API rechtstreeks aanroepen?

Gebruik MCP als het model bepaalt wat het ophaalt. Als je code de URL al kent, is een gewone functie die POST /v1/scrape aanroept eenvoudiger en kost het geen tokens voor toolschema's.

Wat kost elke pagina?

Een gewone fetch kost 1 credit, JavaScript-rendering 3 en volledige browserrendering 8. Mislukte verzoeken kosten 0. Een cachehit kost evenveel als de fetch die hem heeft opgeslagen. Vraag de agent om max_cost bij elk verzoek in te stellen zodat hij nooit meer uitgeeft dan je verwacht.