LangChain-Web-Scraping mit Spicrawl
Verbinde einen LangChain-Agenten mit dem Spicrawl-MCP-Server. Der Agent kann dann Webseiten als Markdown lesen.
Einrichten
Installiere
langchain-mcp-adaptersundlangchain[openai].Setze
SPICRAWL_API_KEYund den Schlüssel deines Modellanbieters (hierOPENAI_API_KEY).Erstelle einen
MultiServerMCPClientmit einemspicrawl-Eintrag."transport": "streamable_http"undheadersrichten die Verbindung ein.Behalte nur die Tools, die du brauchst, und baue mit
create_agenteinen LangGraph-Agenten.
Beispiel: eine Preisseite lesen
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Standardmäßig öffnet jeder Tool-Aufruf seine eigene MCP-Session. Das ist für spicrawl_scrape in Ordnung, das zustandslos ist. Der Server hat kein OAuth, sende den Schlüssel also immer in headers.
Halte die Tool-Liste kurz
Alle 25 Tool-Schemas werden bei jedem Modellaufruf mitgesendet. Das erhöht die Prompt-Kosten und kann das Modell verwirren. Behalte spicrawl_scrape, und füge für viele URLs spicrawl_batch_submit, spicrawl_batch_status und spicrawl_batch_results hinzu.
Wenn dein Code schon weiß, welche URL er abrufen soll, brauchst du MCP vielleicht gar nicht. Eine einfache Funktion, die POST /v1/scrape aufruft, kostet keine Tool-Schema-Tokens und ist leichter zu testen.
Was es kann
Der Server gibt dem Agenten 25 spicrawl_*-Tools. Jeder Aufruf läuft unter deinem API-Schlüssel, mit denselben Limits und Credits wie ein direkter API-Aufruf.
- Eine Seite lesen:
spicrawl_scrapeliefert Markdown (Standard), Text, HTML, JSON oder PDF. - Viele Seiten lesen:
spicrawl_batch_submitstellt bis zu 10.000 URLs in die Warteschlange. Danach folgenspicrawl_batch_statusundspicrawl_batch_results. - Seiten hinter einem Login:
spicrawl_session_createbehält Cookies und Storage über Aufrufe hinweg. - Einen Fehler debuggen:
spicrawl_requests_listundspicrawl_request_get. - Nutzung prüfen:
spicrawl_usage_summaryund die anderen Nutzungs-Tools. Dafür brauchst du einen Schlüssel mit dem Scoperead. - Dinge nachschlagen:
spicrawl_docs_searchundspicrawl_docs_readdurchsuchen und lesen die Spicrawl-Docs.
Ein Tool, spicrawl_browser_connect_url, ist aufgeführt, kommt aber bald. Bei spicrawl_scrape heißt das Rendering-Argument render, nicht js_render wie bei der API.
Gut zu wissen
- Kein Crawling. Spicrawl folgt keinen Links und findet keine Seiten. Gib dem Agenten die URLs.
- Credits pro Anfrage. Ein einfacher Abruf kostet 1 Credit. JavaScript-Rendering kostet 3. Rendering im vollen Browser kostet 8.
- Fehler sind kostenlos. Eine fehlgeschlagene Anfrage kostet 0 Credits.
- Der Cache spart Zeit, keine Credits. Ein Cache-Treffer kostet genauso viel wie der Abruf, der ihn gespeichert hat.
- Begrenze jeden Aufruf. Setze
max_cost, und eine Anfrage, die mehr kosten könnte, wird abgelehnt, bevor sie läuft. - Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und KI-Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy mitbringen.
Häufig gestellte Fragen
Welche Pakete brauche ich?
langchain-mcp-adapters und langchain[openai]. Setze SPICRAWL_API_KEY und OPENAI_API_KEY, bevor du das Beispiel ausführst.
Soll ich dem Agenten alle 25 Tools geben?
Meistens nicht. Alle Tool-Schemas werden bei jedem Modellaufruf mitgesendet. Behalte spicrawl_scrape und für viele URLs spicrawl_batch_submit, spicrawl_batch_status und spicrawl_batch_results.
Öffnet jeder Tool-Aufruf eine neue Session?
Ja, standardmäßig. Das ist in Ordnung für spicrawl_scrape, das zustandslos ist. Siehe die README des Adapters für client.session("spicrawl"), wenn du eine Session pro Lauf willst.
Soll ich MCP nutzen oder die API direkt aufrufen?
Nutze MCP, wenn das Modell entscheidet, was abgerufen wird. Wenn dein Code die URL schon kennt, ist eine einfache Funktion, die POST /v1/scrape aufruft, simpler und kostet keine Tokens für Tool-Schemas.
Was kostet jede Seite?
Ein einfacher Abruf kostet 1 Credit, JavaScript-Rendering 3 und Rendering im vollen Browser 8. Fehlgeschlagene Anfragen kosten 0. Ein Cache-Treffer kostet so viel wie der Abruf, der ihn gespeichert hat. Lass den Agenten bei jeder Anfrage max_cost setzen, damit er nie mehr ausgibt als erwartet.