Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

OpenAI Agents SDK web scraping

Verbind een OpenAI Agents SDK-agent met de Spicrawl MCP-server. De agent kan dan webpagina's als Markdown lezen.

Stel het in

  1. Installeer openai-agents.

  2. Stel SPICRAWL_API_KEY en OPENAI_API_KEY in.

  3. Open MCPServerStreamableHttp met de URL en de header Authorization in params.

  4. Gebruik create_static_tool_filter om te beperken welke tools het model ziet en geef de server mee aan je Agent.

Voorbeeld: een prijspagina lezen

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

De server heeft geen OAuth, dus stuur de sleutel altijd mee in headers. Als je een 401 krijgt, controleer dan of SPICRAWL_API_KEY is ingesteld in het proces dat de agent draait.

Houd de toollijst kort

Alle 25 toolschema's worden bij elke modelaanroep meegestuurd. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.

Als je code al weet welke URL moet worden opgehaald, is een gewone functie die POST /v1/scrape aanroept eenvoudiger. Het kost geen tokens voor toolschema's en is makkelijker te testen.

Wat het kan

De server geeft de agent 25 spicrawl_*-tools. Elke aanroep draait onder je API-sleutel, met dezelfde limieten en credits als een directe API-aanroep.

  • Lees één pagina: spicrawl_scrape geeft Markdown (de standaard), tekst, HTML, JSON of PDF terug.
  • Lees veel pagina's: spicrawl_batch_submit zet tot 10.000 URL's in de wachtrij. Volg het met spicrawl_batch_status en spicrawl_batch_results.
  • Pagina's achter een login: spicrawl_session_create bewaart cookies en opslag tussen aanroepen.
  • Een fout debuggen: spicrawl_requests_list en spicrawl_request_get.
  • Controleer het gebruik: spicrawl_usage_summary en de andere usage-tools. Die hebben een sleutel met de scope read nodig.
  • Dingen opzoeken: spicrawl_docs_search en spicrawl_docs_read doorzoeken en lezen de Spicrawl-docs.

Eén tool, spicrawl_browser_connect_url, staat in de lijst maar komt binnenkort. Bij spicrawl_scrape is het renderargument render, niet de js_render van de API.

Goed om te weten

  • Geen crawling. Spicrawl volgt geen links en zoekt geen pagina's. Geef de agent de URL's.
  • Credits per verzoek. Een gewone fetch is 1 credit. JavaScript-rendering is 3. Full-browser-rendering is 8.
  • Mislukkingen zijn gratis. Een mislukt verzoek kost 0 credits.
  • De cache bespaart tijd, geen credits. De cache bespaart tijd, geen credits.
  • Begrens elke aanroep. Stel max_cost in, en een verzoek dat meer zou kunnen kosten wordt geweigerd voordat het wordt uitgevoerd.
  • Binnenkort: beheerde proxy's, stealth-modus, een remote browser en AI-extractie op basis van een prompt in gewone taal. Nu kun je je eigen proxy meenemen.

Veelgestelde vragen

Welk pakket heb ik nodig?

openai-agents. Stel SPICRAWL_API_KEY en OPENAI_API_KEY in voordat je het voorbeeld draait.

Hoe beperk ik welke tools het model ziet?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Waarom krijg ik een 401 als de agent verbindt?

De header ontbreekt of de sleutel klopt niet. Bouw de header in code op vanuit SPICRAWL_API_KEY en controleer of de variabele is ingesteld in het proces dat de agent draait.

Wat gebeurt er als een tool-aanroep mislukt?

De fout bereikt het model als MCP-toolfout met de code van de API. Mislukte aanroepen kosten 0 credits.

Wat kost elke pagina?

Een gewone fetch kost 1 credit, JavaScript-rendering 3 en volledige browserrendering 8. Mislukte verzoeken kosten 0. Een cachehit kost evenveel als de fetch die hem heeft opgeslagen. Vraag de agent om max_cost bij elk verzoek in te stellen zodat hij nooit meer uitgeeft dan je verwacht.