OpenAI Agents SDK web scraping
Verbind een OpenAI Agents SDK-agent met de Spicrawl MCP-server. De agent kan dan webpagina's als Markdown lezen.
Stel het in
Installeer
openai-agents.Stel
SPICRAWL_API_KEYenOPENAI_API_KEYin.Open
MCPServerStreamableHttpmet de URL en de headerAuthorizationinparams.Gebruik
create_static_tool_filterom te beperken welke tools het model ziet en geef de server mee aan jeAgent.
Voorbeeld: een prijspagina lezen
import asyncio
import os
from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter
async def main() -> None:
async with MCPServerStreamableHttp(
name="spicrawl",
params={
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
},
cache_tools_list=True,
tool_filter=create_static_tool_filter(
allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
),
) as server:
agent = Agent(
name="Page reader",
instructions="Use the Spicrawl tools to read web pages.",
mcp_servers=[server],
)
result = await Runner.run(
agent,
"Read https://example.com/pricing as markdown and list the plans.",
)
print(result.final_output)
asyncio.run(main())De server heeft geen OAuth, dus stuur de sleutel altijd mee in headers. Als je een 401 krijgt, controleer dan of SPICRAWL_API_KEY is ingesteld in het proces dat de agent draait.
Houd de toollijst kort
Alle 25 toolschema's worden bij elke modelaanroep meegestuurd. Houd spicrawl_scrape, en voeg voor veel URL's spicrawl_batch_submit, spicrawl_batch_status en spicrawl_batch_results toe.
Als je code al weet welke URL moet worden opgehaald, is een gewone functie die POST /v1/scrape aanroept eenvoudiger. Het kost geen tokens voor toolschema's en is makkelijker te testen.
Wat het kan
De server geeft de agent 25 spicrawl_*-tools. Elke aanroep draait onder je API-sleutel, met dezelfde limieten en credits als een directe API-aanroep.
- Lees één pagina:
spicrawl_scrapegeeft Markdown (de standaard), tekst, HTML, JSON of PDF terug. - Lees veel pagina's:
spicrawl_batch_submitzet tot 10.000 URL's in de wachtrij. Volg het metspicrawl_batch_statusenspicrawl_batch_results. - Pagina's achter een login:
spicrawl_session_createbewaart cookies en opslag tussen aanroepen. - Een fout debuggen:
spicrawl_requests_listenspicrawl_request_get. - Controleer het gebruik:
spicrawl_usage_summaryen de andere usage-tools. Die hebben een sleutel met de scopereadnodig. - Dingen opzoeken:
spicrawl_docs_searchenspicrawl_docs_readdoorzoeken en lezen de Spicrawl-docs.
Eén tool, spicrawl_browser_connect_url, staat in de lijst maar komt binnenkort. Bij spicrawl_scrape is het renderargument render, niet de js_render van de API.
Goed om te weten
- Geen crawling. Spicrawl volgt geen links en zoekt geen pagina's. Geef de agent de URL's.
- Credits per verzoek. Een gewone fetch is 1 credit. JavaScript-rendering is 3. Full-browser-rendering is 8.
- Mislukkingen zijn gratis. Een mislukt verzoek kost 0 credits.
- De cache bespaart tijd, geen credits. De cache bespaart tijd, geen credits.
- Begrens elke aanroep. Stel
max_costin, en een verzoek dat meer zou kunnen kosten wordt geweigerd voordat het wordt uitgevoerd. - Binnenkort: beheerde proxy's, stealth-modus, een remote browser en AI-extractie op basis van een prompt in gewone taal. Nu kun je je eigen proxy meenemen.
Veelgestelde vragen
Welk pakket heb ik nodig?
openai-agents. Stel SPICRAWL_API_KEY en OPENAI_API_KEY in voordat je het voorbeeld draait.
Hoe beperk ik welke tools het model ziet?
Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.
Waarom krijg ik een 401 als de agent verbindt?
De header ontbreekt of de sleutel klopt niet. Bouw de header in code op vanuit SPICRAWL_API_KEY en controleer of de variabele is ingesteld in het proces dat de agent draait.
Wat gebeurt er als een tool-aanroep mislukt?
De fout bereikt het model als MCP-toolfout met de code van de API. Mislukte aanroepen kosten 0 credits.
Wat kost elke pagina?
Een gewone fetch kost 1 credit, JavaScript-rendering 3 en volledige browserrendering 8. Mislukte verzoeken kosten 0. Een cachehit kost evenveel als de fetch die hem heeft opgeslagen. Vraag de agent om max_cost bij elk verzoek in te stellen zodat hij nooit meer uitgeeft dan je verwacht.