Web scraping z OpenAI Agents SDK
Połącz agenta OpenAI Agents SDK z serwerem MCP Spicrawl. Agent będzie mógł wtedy czytać strony jako Markdown.
Skonfiguruj
Zainstaluj
openai-agents.Ustaw
SPICRAWL_API_KEYiOPENAI_API_KEY.Otwórz
MCPServerStreamableHttpz adresem URL i nagłówkiemAuthorizationwparams.Użyj
create_static_tool_filter, aby ograniczyć, które narzędzia widzi model, i przekaż serwer swojemuAgent.
Przykład: odczyt strony z cennikiem
import asyncio
import os
from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter
async def main() -> None:
async with MCPServerStreamableHttp(
name="spicrawl",
params={
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
},
cache_tools_list=True,
tool_filter=create_static_tool_filter(
allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
),
) as server:
agent = Agent(
name="Page reader",
instructions="Use the Spicrawl tools to read web pages.",
mcp_servers=[server],
)
result = await Runner.run(
agent,
"Read https://example.com/pricing as markdown and list the plans.",
)
print(result.final_output)
asyncio.run(main())Serwer nie ma OAuth, więc zawsze wysyłaj klucz w headers. Jeśli dostaniesz 401, sprawdź, czy SPICRAWL_API_KEY jest ustawiony w procesie, który uruchamia agenta.
Utrzymuj listę narzędzi krótką
Wszystkie 25 schematów narzędzi jest wysyłanych przy każdym wywołaniu modelu. Zostaw spicrawl_scrape, a dla wielu adresów URL dodaj spicrawl_batch_submit, spicrawl_batch_status i spicrawl_batch_results.
Jeśli Twój kod już wie, który adres URL pobrać, prostsza jest zwykła funkcja wywołująca POST /v1/scrape. Nie kosztuje tokenów na schematy narzędzi i łatwiej ją testować.
Co potrafi
Serwer daje agentowi 25 narzędzi spicrawl_*. Każde wywołanie działa na Twoim kluczu API, z tymi samymi limitami i kredytami co bezpośrednie wywołanie API.
- Przeczytaj jedną stronę:
spicrawl_scrapezwraca Markdown (domyślnie), tekst, HTML, JSON lub PDF. - Czytaj wiele stron:
spicrawl_batch_submitkolejkuje do 10,000 adresów URL. Potem użyjspicrawl_batch_statusispicrawl_batch_results. - Strony za logowaniem:
spicrawl_session_createzachowuje ciasteczka i storage między wywołaniami. - Zdiagnozuj błąd:
spicrawl_requests_listispicrawl_request_get. - Sprawdź użycie:
spicrawl_usage_summaryi pozostałe narzędzia użycia. Wymagają klucza z uprawnieniemread. - Wyszukuj informacje:
spicrawl_docs_searchispicrawl_docs_readprzeszukują i czytają dokumentację Spicrawl.
Jedno narzędzie, spicrawl_browser_connect_url, jest na liście, ale wkrótce. W spicrawl_scrape argument renderowania to render, a nie js_render z API.
Warto wiedzieć
- Bez crawlowania. Spicrawl nie podąża za linkami ani nie wyszukuje stron. Daj agentowi adresy URL.
- Kredyty na żądanie. Zwykłe pobranie to 1 kredyt. Renderowanie JavaScriptu to 3. Renderowanie w pełnej przeglądarce to 8.
- Błędy są darmowe. Nieudane żądanie kosztuje 0 kredytów.
- Cache oszczędza czas, a nie kredyty. Trafienie w cache kosztuje tyle samo co pobranie, które je zapisało.
- Ogranicz każde wywołanie. Ustaw
max_cost, a żądanie, które mogłoby kosztować więcej, zostanie odrzucone, zanim się wykona. - Wkrótce: zarządzane proxy, tryb stealth, zdalna przeglądarka i ekstrakcja AI z promptu w zwykłym języku. Dziś możesz użyć własnego proxy.
Najczęściej zadawane pytania
Jakiego pakietu potrzebuję?
openai-agents. Ustaw SPICRAWL_API_KEY i OPENAI_API_KEY przed uruchomieniem przykładu.
Jak ograniczyć, które narzędzia widzi model?
Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.
Dlaczego dostaję 401, gdy agent się łączy?
Brakuje nagłówka lub klucz jest błędny. Zbuduj nagłówek w kodzie z SPICRAWL_API_KEY i sprawdź, czy zmienna jest ustawiona w procesie, który uruchamia agenta.
Co się dzieje, gdy wywołanie narzędzia się nie powiedzie?
Błąd trafia do modelu jako błąd narzędzia MCP z kodem z API. Nieudane wywołania kosztują 0 kredytów.
Ile kosztuje każda strona?
Zwykłe pobranie kosztuje 1 kredyt, renderowanie JavaScriptu 3, a renderowanie w pełnej przeglądarce 8. Nieudane żądania kosztują 0. Trafienie w cache kosztuje tyle samo, co pobranie, które je zapisało. Poproś agenta, aby ustawiał max_cost w każdym żądaniu, tak by nigdy nie wydał więcej, niż się spodziewasz.