Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

OpenAI-Agents-SDK-Web-Scraping

Verbinde einen Agenten des OpenAI Agents SDK mit dem Spicrawl-MCP-Server. Der Agent kann dann Webseiten als Markdown lesen.

Einrichten

  1. Installiere openai-agents.

  2. Setze SPICRAWL_API_KEY und OPENAI_API_KEY.

  3. Öffne MCPServerStreamableHttp mit der URL und dem Header Authorization in params.

  4. Nutze create_static_tool_filter, um zu begrenzen, welche Tools das Modell sieht, und übergib den Server an deinen Agent.

Beispiel: eine Preisseite lesen

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

Der Server hat kein OAuth, sende den Schlüssel also immer in headers. Wenn du ein 401 bekommst, prüfe, ob SPICRAWL_API_KEY in dem Prozess gesetzt ist, der den Agenten ausführt.

Halte die Tool-Liste kurz

Alle 25 Tool-Schemas werden bei jedem Modellaufruf mitgesendet. Behalte spicrawl_scrape, und füge für viele URLs spicrawl_batch_submit, spicrawl_batch_status und spicrawl_batch_results hinzu.

Wenn dein Code schon weiß, welche URL er abrufen soll, ist eine einfache Funktion, die POST /v1/scrape aufruft, simpler. Sie kostet keine Tool-Schema-Tokens und ist leichter zu testen.

Was es kann

Der Server gibt dem Agenten 25 spicrawl_*-Tools. Jeder Aufruf läuft unter deinem API-Schlüssel, mit denselben Limits und Credits wie ein direkter API-Aufruf.

  • Eine Seite lesen: spicrawl_scrape liefert Markdown (Standard), Text, HTML, JSON oder PDF.
  • Viele Seiten lesen: spicrawl_batch_submit stellt bis zu 10.000 URLs in die Warteschlange. Danach folgen spicrawl_batch_status und spicrawl_batch_results.
  • Seiten hinter einem Login: spicrawl_session_create behält Cookies und Storage über Aufrufe hinweg.
  • Einen Fehler debuggen: spicrawl_requests_list und spicrawl_request_get.
  • Nutzung prüfen: spicrawl_usage_summary und die anderen Nutzungs-Tools. Dafür brauchst du einen Schlüssel mit dem Scope read.
  • Dinge nachschlagen: spicrawl_docs_search und spicrawl_docs_read durchsuchen und lesen die Spicrawl-Docs.

Ein Tool, spicrawl_browser_connect_url, ist aufgeführt, kommt aber bald. Bei spicrawl_scrape heißt das Rendering-Argument render, nicht js_render wie bei der API.

Gut zu wissen

  • Kein Crawling. Spicrawl folgt keinen Links und findet keine Seiten. Gib dem Agenten die URLs.
  • Credits pro Anfrage. Ein einfacher Abruf kostet 1 Credit. JavaScript-Rendering kostet 3. Rendering im vollen Browser kostet 8.
  • Fehler sind kostenlos. Eine fehlgeschlagene Anfrage kostet 0 Credits.
  • Der Cache spart Zeit, keine Credits. Ein Cache-Treffer kostet genauso viel wie der Abruf, der ihn gespeichert hat.
  • Begrenze jeden Aufruf. Setze max_cost, und eine Anfrage, die mehr kosten könnte, wird abgelehnt, bevor sie läuft.
  • Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und KI-Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy mitbringen.

Häufig gestellte Fragen

Welches Paket brauche ich?

openai-agents. Setze SPICRAWL_API_KEY und OPENAI_API_KEY, bevor du das Beispiel ausführst.

Wie begrenze ich, welche Tools das Modell sieht?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Warum bekomme ich ein 401, wenn sich der Agent verbindet?

Der Header fehlt oder der Schlüssel ist falsch. Baue den Header im Code aus SPICRAWL_API_KEY und prüfe, dass die Variable im Prozess gesetzt ist, der den Agenten ausführt.

Was passiert, wenn ein Tool-Aufruf fehlschlägt?

Der Fehler erreicht das Modell als MCP-Tool-Fehler mit dem Code der API. Fehlgeschlagene Aufrufe kosten 0 Credits.

Was kostet jede Seite?

Ein einfacher Abruf kostet 1 Credit, JavaScript-Rendering 3 und Rendering im vollen Browser 8. Fehlgeschlagene Anfragen kosten 0. Ein Cache-Treffer kostet so viel wie der Abruf, der ihn gespeichert hat. Lass den Agenten bei jeder Anfrage max_cost setzen, damit er nie mehr ausgibt als erwartet.