LangChain web scraping met Spicrawl
Verbind een LangChain-agent met de Spicrawl MCP-server. De agent kan dan webpagina's als Markdown lezen.
Stel het in
Installeer
langchain-mcp-adaptersenlangchain[openai].Stel
SPICRAWL_API_KEYin en de sleutel van je modelprovider (OPENAI_API_KEYhier).Maak een
MultiServerMCPClientmet éénspicrawl-item."transport": "streamable_http"enheadersstellen de verbinding in.Houd alleen de tools die je nodig hebt en bouw een LangGraph-agent met
create_agent.
Voorbeeld: een prijspagina lezen
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Standaard opent elke tool-aanroep zijn eigen MCP-sessie. Dat is prima voor spicrawl_scrape, dat stateless is. De server heeft geen OAuth, dus stuur de sleutel altijd mee in headers.
Houd de toollijst kort
Alle 25 toolschema's worden bij elke modelaanroep meegestuurd. Dat verhoogt de promptkosten en kan het model in de war brengen. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.
Als je code al weet welke URL moet worden opgehaald, heb je MCP misschien helemaal niet nodig. Een gewone functie die POST /v1/scrape aanroept kost geen tokens voor toolschema's en is makkelijker te testen.
Wat het kan
De server geeft de agent 25 spicrawl_*-tools. Elke aanroep draait onder je API-sleutel, met dezelfde limieten en credits als een directe API-aanroep.
- Lees één pagina:
spicrawl_scrapegeeft Markdown (de standaard), tekst, HTML, JSON of PDF terug. - Lees veel pagina's:
spicrawl_batch_submitzet tot 10.000 URL's in de wachtrij. Volg het metspicrawl_batch_statusenspicrawl_batch_results. - Pagina's achter een login:
spicrawl_session_createbewaart cookies en opslag tussen aanroepen. - Een fout debuggen:
spicrawl_requests_listenspicrawl_request_get. - Controleer het gebruik:
spicrawl_usage_summaryen de andere usage-tools. Die hebben een sleutel met de scopereadnodig. - Dingen opzoeken:
spicrawl_docs_searchenspicrawl_docs_readdoorzoeken en lezen de Spicrawl-docs.
Eén tool, spicrawl_browser_connect_url, staat in de lijst maar komt binnenkort. Bij spicrawl_scrape is het renderargument render, niet de js_render van de API.
Goed om te weten
- Geen crawling. Spicrawl volgt geen links en zoekt geen pagina's. Geef de agent de URL's.
- Credits per verzoek. Een gewone fetch is 1 credit. JavaScript-rendering is 3. Full-browser-rendering is 8.
- Mislukkingen zijn gratis. Een mislukt verzoek kost 0 credits.
- De cache bespaart tijd, geen credits. De cache bespaart tijd, geen credits.
- Begrens elke aanroep. Stel
max_costin, en een verzoek dat meer zou kunnen kosten wordt geweigerd voordat het wordt uitgevoerd. - Binnenkort: beheerde proxy's, stealth-modus, een remote browser en AI-extractie op basis van een prompt in gewone taal. Nu kun je je eigen proxy meenemen.
Veelgestelde vragen
Welke pakketten heb ik nodig?
langchain-mcp-adapters en langchain[openai]. Stel SPICRAWL_API_KEY en OPENAI_API_KEY in voordat je het voorbeeld draait.
Moet ik de agent alle 25 tools geven?
Meestal niet. Alle toolschema's worden bij elke modelaanroep meegestuurd. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.
Opent elke tool-aanroep een nieuwe sessie?
Ja, standaard. Dat is prima voor spicrawl_scrape, die stateless is. Zie de README van de adapter voor client.session("spicrawl") als je één sessie per run wilt.
Moet ik MCP gebruiken of de API rechtstreeks aanroepen?
Gebruik MCP als het model bepaalt wat het ophaalt. Als je code de URL al kent, is een gewone functie die POST /v1/scrape aanroept eenvoudiger en kost het geen tokens voor toolschema's.
Wat kost elke pagina?
Een gewone fetch kost 1 credit, JavaScript-rendering 3 en volledige browserrendering 8. Mislukte verzoeken kosten 0. Een cachehit kost evenveel als de fetch die hem heeft opgeslagen. Vraag de agent om max_cost bij elk verzoek in te stellen zodat hij nooit meer uitgeeft dan je verwacht.