Веб-скрейпинг в OpenAI Agents SDK
Подключите агента OpenAI Agents SDK к MCP-серверу Spicrawl. Тогда агент сможет читать веб-страницы как Markdown.
Настройте
Установите
openai-agents.Задайте
SPICRAWL_API_KEYиOPENAI_API_KEY.Откройте
MCPServerStreamableHttpс URL и заголовкомAuthorizationвparams.Используйте
create_static_tool_filter, чтобы ограничить инструменты, которые видит модель, и передайте сервер вAgent.
Пример: чтение страницы с ценами
import asyncio
import os
from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter
async def main() -> None:
async with MCPServerStreamableHttp(
name="spicrawl",
params={
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
},
cache_tools_list=True,
tool_filter=create_static_tool_filter(
allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
),
) as server:
agent = Agent(
name="Page reader",
instructions="Use the Spicrawl tools to read web pages.",
mcp_servers=[server],
)
result = await Runner.run(
agent,
"Read https://example.com/pricing as markdown and list the plans.",
)
print(result.final_output)
asyncio.run(main())У сервера нет OAuth, поэтому всегда передавайте ключ в headers. Если вы получаете 401, проверьте, что SPICRAWL_API_KEY задан в процессе, запускающем агента.
Держите список инструментов коротким
Все 25 схем инструментов отправляются при каждом вызове модели. Оставьте spicrawl_scrape, а для множества URL добавьте spicrawl_batch_submit, spicrawl_batch_status и spicrawl_batch_results.
Если ваш код уже знает, какой URL загружать, проще обычная функция, вызывающая POST /v1/scrape. Она не тратит токены на схемы инструментов и легче тестируется.
Что он умеет
Сервер даёт агенту 25 инструментов spicrawl_*. Каждый вызов выполняется под вашим API-ключом с теми же лимитами и кредитами, что и прямой вызов API.
- Прочитайте одну страницу:
spicrawl_scrapeвозвращает Markdown (по умолчанию), текст, HTML, JSON или PDF. - Читайте много страниц:
spicrawl_batch_submitставит в очередь до 10 000 URL. Затем используйтеspicrawl_batch_statusиspicrawl_batch_results. - Страницы за входом:
spicrawl_session_createсохраняет cookies и хранилище между вызовами. - Отладьте сбой:
spicrawl_requests_listиspicrawl_request_get. - Проверьте использование:
spicrawl_usage_summaryи остальные инструменты учёта использования. Им нужен ключ с областью доступаread. - Ищите информацию:
spicrawl_docs_searchиspicrawl_docs_readищут и читают документацию Spicrawl.
Один инструмент, spicrawl_browser_connect_url, есть в списке, но скоро появится. В spicrawl_scrape аргумент рендеринга — render, а не js_render из API.
Полезно знать
- Без обхода. Spicrawl не переходит по ссылкам и не находит страницы. Дайте агенту URL.
- Кредитов за запрос. Обычная загрузка — 1 кредит. Рендеринг JavaScript — 3. Полный рендеринг в браузере — 8.
- Сбои бесплатны. Неудачный запрос стоит 0 кредитов.
- Кэш экономит время, а не кредиты. Попадание в кеш стоит столько же, сколько загрузка, которая его сохранила.
- Ограничьте каждый вызов. Задайте
max_cost, и запрос, который мог бы стоить дороже, отклоняется до выполнения. - Скоро: управляемые прокси, режим stealth, удалённый браузер и AI-извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси.
Часто задаваемые вопросы
Какой пакет мне нужен?
openai-agents. Задайте SPICRAWL_API_KEY и OPENAI_API_KEY перед запуском примера.
Как ограничить, какие инструменты видит модель?
Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.
Почему я получаю 401, когда агент подключается?
Заголовок отсутствует или ключ неверен. Соберите заголовок в коде из SPICRAWL_API_KEY и проверьте, что переменная задана в процессе, который запускает агента.
Что происходит, когда вызов инструмента завершается ошибкой?
Ошибка доходит до модели как ошибка инструмента MCP с кодом API. Неудачные вызовы стоят 0 кредитов.
Сколько стоит каждая страница?
Обычный запрос стоит 1 кредит, рендеринг JavaScript 3, а рендеринг в полноценном браузере 8. Неудачные запросы стоят 0. Попадание в кэш стоит столько же, сколько запрос, который его сохранил. Попросите агента задавать max_cost в каждом запросе, чтобы он никогда не тратил больше, чем вы ожидаете.