Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Web scraping z OpenAI Agents SDK

Połącz agenta OpenAI Agents SDK z serwerem MCP Spicrawl. Agent będzie mógł wtedy czytać strony jako Markdown.

Skonfiguruj

  1. Zainstaluj openai-agents.

  2. Ustaw SPICRAWL_API_KEY i OPENAI_API_KEY.

  3. Otwórz MCPServerStreamableHttp z adresem URL i nagłówkiem Authorization w params.

  4. Użyj create_static_tool_filter, aby ograniczyć, które narzędzia widzi model, i przekaż serwer swojemu Agent.

Przykład: odczyt strony z cennikiem

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

Serwer nie ma OAuth, więc zawsze wysyłaj klucz w headers. Jeśli dostaniesz 401, sprawdź, czy SPICRAWL_API_KEY jest ustawiony w procesie, który uruchamia agenta.

Utrzymuj listę narzędzi krótką

Wszystkie 25 schematów narzędzi jest wysyłanych przy każdym wywołaniu modelu. Zostaw spicrawl_scrape, a dla wielu adresów URL dodaj spicrawl_batch_submit, spicrawl_batch_status i spicrawl_batch_results.

Jeśli Twój kod już wie, który adres URL pobrać, prostsza jest zwykła funkcja wywołująca POST /v1/scrape. Nie kosztuje tokenów na schematy narzędzi i łatwiej ją testować.

Co potrafi

Serwer daje agentowi 25 narzędzi spicrawl_*. Każde wywołanie działa na Twoim kluczu API, z tymi samymi limitami i kredytami co bezpośrednie wywołanie API.

  • Przeczytaj jedną stronę: spicrawl_scrape zwraca Markdown (domyślnie), tekst, HTML, JSON lub PDF.
  • Czytaj wiele stron: spicrawl_batch_submit kolejkuje do 10,000 adresów URL. Potem użyj spicrawl_batch_status i spicrawl_batch_results.
  • Strony za logowaniem: spicrawl_session_create zachowuje ciasteczka i storage między wywołaniami.
  • Zdiagnozuj błąd: spicrawl_requests_list i spicrawl_request_get.
  • Sprawdź użycie: spicrawl_usage_summary i pozostałe narzędzia użycia. Wymagają klucza z uprawnieniem read.
  • Wyszukuj informacje: spicrawl_docs_search i spicrawl_docs_read przeszukują i czytają dokumentację Spicrawl.

Jedno narzędzie, spicrawl_browser_connect_url, jest na liście, ale wkrótce. W spicrawl_scrape argument renderowania to render, a nie js_render z API.

Warto wiedzieć

  • Bez crawlowania. Spicrawl nie podąża za linkami ani nie wyszukuje stron. Daj agentowi adresy URL.
  • Kredyty na żądanie. Zwykłe pobranie to 1 kredyt. Renderowanie JavaScriptu to 3. Renderowanie w pełnej przeglądarce to 8.
  • Błędy są darmowe. Nieudane żądanie kosztuje 0 kredytów.
  • Cache oszczędza czas, a nie kredyty. Trafienie w cache kosztuje tyle samo co pobranie, które je zapisało.
  • Ogranicz każde wywołanie. Ustaw max_cost, a żądanie, które mogłoby kosztować więcej, zostanie odrzucone, zanim się wykona.
  • Wkrótce: zarządzane proxy, tryb stealth, zdalna przeglądarka i ekstrakcja AI z promptu w zwykłym języku. Dziś możesz użyć własnego proxy.

Najczęściej zadawane pytania

Jakiego pakietu potrzebuję?

openai-agents. Ustaw SPICRAWL_API_KEY i OPENAI_API_KEY przed uruchomieniem przykładu.

Jak ograniczyć, które narzędzia widzi model?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Dlaczego dostaję 401, gdy agent się łączy?

Brakuje nagłówka lub klucz jest błędny. Zbuduj nagłówek w kodzie z SPICRAWL_API_KEY i sprawdź, czy zmienna jest ustawiona w procesie, który uruchamia agenta.

Co się dzieje, gdy wywołanie narzędzia się nie powiedzie?

Błąd trafia do modelu jako błąd narzędzia MCP z kodem z API. Nieudane wywołania kosztują 0 kredytów.

Ile kosztuje każda strona?

Zwykłe pobranie kosztuje 1 kredyt, renderowanie JavaScriptu 3, a renderowanie w pełnej przeglądarce 8. Nieudane żądania kosztują 0. Trafienie w cache kosztuje tyle samo, co pobranie, które je zapisało. Poproś agenta, aby ustawiał max_cost w każdym żądaniu, tak by nigdy nie wydał więcej, niż się spodziewasz.