Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Веб-скрейпинг в OpenAI Agents SDK

Подключите агента OpenAI Agents SDK к MCP-серверу Spicrawl. Тогда агент сможет читать веб-страницы как Markdown.

Настройте

  1. Установите openai-agents.

  2. Задайте SPICRAWL_API_KEY и OPENAI_API_KEY.

  3. Откройте MCPServerStreamableHttp с URL и заголовком Authorization в params.

  4. Используйте create_static_tool_filter, чтобы ограничить инструменты, которые видит модель, и передайте сервер в Agent.

Пример: чтение страницы с ценами

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

У сервера нет OAuth, поэтому всегда передавайте ключ в headers. Если вы получаете 401, проверьте, что SPICRAWL_API_KEY задан в процессе, запускающем агента.

Держите список инструментов коротким

Все 25 схем инструментов отправляются при каждом вызове модели. Оставьте spicrawl_scrape, а для множества URL добавьте spicrawl_batch_submit, spicrawl_batch_status и spicrawl_batch_results.

Если ваш код уже знает, какой URL загружать, проще обычная функция, вызывающая POST /v1/scrape. Она не тратит токены на схемы инструментов и легче тестируется.

Что он умеет

Сервер даёт агенту 25 инструментов spicrawl_*. Каждый вызов выполняется под вашим API-ключом с теми же лимитами и кредитами, что и прямой вызов API.

  • Прочитайте одну страницу: spicrawl_scrape возвращает Markdown (по умолчанию), текст, HTML, JSON или PDF.
  • Читайте много страниц: spicrawl_batch_submit ставит в очередь до 10 000 URL. Затем используйте spicrawl_batch_status и spicrawl_batch_results.
  • Страницы за входом: spicrawl_session_create сохраняет cookies и хранилище между вызовами.
  • Отладьте сбой: spicrawl_requests_list и spicrawl_request_get.
  • Проверьте использование: spicrawl_usage_summary и остальные инструменты учёта использования. Им нужен ключ с областью доступа read.
  • Ищите информацию: spicrawl_docs_search и spicrawl_docs_read ищут и читают документацию Spicrawl.

Один инструмент, spicrawl_browser_connect_url, есть в списке, но скоро появится. В spicrawl_scrape аргумент рендеринга — render, а не js_render из API.

Полезно знать

  • Без обхода. Spicrawl не переходит по ссылкам и не находит страницы. Дайте агенту URL.
  • Кредитов за запрос. Обычная загрузка — 1 кредит. Рендеринг JavaScript — 3. Полный рендеринг в браузере — 8.
  • Сбои бесплатны. Неудачный запрос стоит 0 кредитов.
  • Кэш экономит время, а не кредиты. Попадание в кеш стоит столько же, сколько загрузка, которая его сохранила.
  • Ограничьте каждый вызов. Задайте max_cost, и запрос, который мог бы стоить дороже, отклоняется до выполнения.
  • Скоро: управляемые прокси, режим stealth, удалённый браузер и AI-извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси.

Часто задаваемые вопросы

Какой пакет мне нужен?

openai-agents. Задайте SPICRAWL_API_KEY и OPENAI_API_KEY перед запуском примера.

Как ограничить, какие инструменты видит модель?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Почему я получаю 401, когда агент подключается?

Заголовок отсутствует или ключ неверен. Соберите заголовок в коде из SPICRAWL_API_KEY и проверьте, что переменная задана в процессе, который запускает агента.

Что происходит, когда вызов инструмента завершается ошибкой?

Ошибка доходит до модели как ошибка инструмента MCP с кодом API. Неудачные вызовы стоят 0 кредитов.

Сколько стоит каждая страница?

Обычный запрос стоит 1 кредит, рендеринг JavaScript 3, а рендеринг в полноценном браузере 8. Неудачные запросы стоят 0. Попадание в кэш стоит столько же, сколько запрос, который его сохранил. Попросите агента задавать max_cost в каждом запросе, чтобы он никогда не тратил больше, чем вы ожидаете.