OpenAI-Agents-SDK-Web-Scraping
Verbinde einen Agenten des OpenAI Agents SDK mit dem Spicrawl-MCP-Server. Der Agent kann dann Webseiten als Markdown lesen.
Einrichten
Installiere
openai-agents.Setze
SPICRAWL_API_KEYundOPENAI_API_KEY.Öffne
MCPServerStreamableHttpmit der URL und dem HeaderAuthorizationinparams.Nutze
create_static_tool_filter, um zu begrenzen, welche Tools das Modell sieht, und übergib den Server an deinenAgent.
Beispiel: eine Preisseite lesen
import asyncio
import os
from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter
async def main() -> None:
async with MCPServerStreamableHttp(
name="spicrawl",
params={
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
},
cache_tools_list=True,
tool_filter=create_static_tool_filter(
allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
),
) as server:
agent = Agent(
name="Page reader",
instructions="Use the Spicrawl tools to read web pages.",
mcp_servers=[server],
)
result = await Runner.run(
agent,
"Read https://example.com/pricing as markdown and list the plans.",
)
print(result.final_output)
asyncio.run(main())Der Server hat kein OAuth, sende den Schlüssel also immer in headers. Wenn du ein 401 bekommst, prüfe, ob SPICRAWL_API_KEY in dem Prozess gesetzt ist, der den Agenten ausführt.
Halte die Tool-Liste kurz
Alle 25 Tool-Schemas werden bei jedem Modellaufruf mitgesendet. Behalte spicrawl_scrape, und füge für viele URLs spicrawl_batch_submit, spicrawl_batch_status und spicrawl_batch_results hinzu.
Wenn dein Code schon weiß, welche URL er abrufen soll, ist eine einfache Funktion, die POST /v1/scrape aufruft, simpler. Sie kostet keine Tool-Schema-Tokens und ist leichter zu testen.
Was es kann
Der Server gibt dem Agenten 25 spicrawl_*-Tools. Jeder Aufruf läuft unter deinem API-Schlüssel, mit denselben Limits und Credits wie ein direkter API-Aufruf.
- Eine Seite lesen:
spicrawl_scrapeliefert Markdown (Standard), Text, HTML, JSON oder PDF. - Viele Seiten lesen:
spicrawl_batch_submitstellt bis zu 10.000 URLs in die Warteschlange. Danach folgenspicrawl_batch_statusundspicrawl_batch_results. - Seiten hinter einem Login:
spicrawl_session_createbehält Cookies und Storage über Aufrufe hinweg. - Einen Fehler debuggen:
spicrawl_requests_listundspicrawl_request_get. - Nutzung prüfen:
spicrawl_usage_summaryund die anderen Nutzungs-Tools. Dafür brauchst du einen Schlüssel mit dem Scoperead. - Dinge nachschlagen:
spicrawl_docs_searchundspicrawl_docs_readdurchsuchen und lesen die Spicrawl-Docs.
Ein Tool, spicrawl_browser_connect_url, ist aufgeführt, kommt aber bald. Bei spicrawl_scrape heißt das Rendering-Argument render, nicht js_render wie bei der API.
Gut zu wissen
- Kein Crawling. Spicrawl folgt keinen Links und findet keine Seiten. Gib dem Agenten die URLs.
- Credits pro Anfrage. Ein einfacher Abruf kostet 1 Credit. JavaScript-Rendering kostet 3. Rendering im vollen Browser kostet 8.
- Fehler sind kostenlos. Eine fehlgeschlagene Anfrage kostet 0 Credits.
- Der Cache spart Zeit, keine Credits. Ein Cache-Treffer kostet genauso viel wie der Abruf, der ihn gespeichert hat.
- Begrenze jeden Aufruf. Setze
max_cost, und eine Anfrage, die mehr kosten könnte, wird abgelehnt, bevor sie läuft. - Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und KI-Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy mitbringen.
Häufig gestellte Fragen
Welches Paket brauche ich?
openai-agents. Setze SPICRAWL_API_KEY und OPENAI_API_KEY, bevor du das Beispiel ausführst.
Wie begrenze ich, welche Tools das Modell sieht?
Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.
Warum bekomme ich ein 401, wenn sich der Agent verbindet?
Der Header fehlt oder der Schlüssel ist falsch. Baue den Header im Code aus SPICRAWL_API_KEY und prüfe, dass die Variable im Prozess gesetzt ist, der den Agenten ausführt.
Was passiert, wenn ein Tool-Aufruf fehlschlägt?
Der Fehler erreicht das Modell als MCP-Tool-Fehler mit dem Code der API. Fehlgeschlagene Aufrufe kosten 0 Credits.
Was kostet jede Seite?
Ein einfacher Abruf kostet 1 Credit, JavaScript-Rendering 3 und Rendering im vollen Browser 8. Fehlgeschlagene Anfragen kosten 0. Ein Cache-Treffer kostet so viel wie der Abruf, der ihn gespeichert hat. Lass den Agenten bei jeder Anfrage max_cost setzen, damit er nie mehr ausgibt als erwartet.