Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Веб-скрейпинг в LangChain со Spicrawl

Подключите агента LangChain к MCP-серверу Spicrawl. Тогда агент сможет читать веб-страницы как Markdown.

Настройте

  1. Установите langchain-mcp-adapters и langchain[openai].

  2. Задайте SPICRAWL_API_KEY и ключ вашего провайдера модели (здесь OPENAI_API_KEY).

  3. Создайте MultiServerMCPClient с одной записью spicrawl. "transport": "streamable_http" и headers настраивают подключение.

  4. Оставьте только нужные инструменты и создайте агента LangGraph с помощью create_agent.

Пример: чтение страницы с ценами

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

По умолчанию каждый вызов инструмента открывает собственную MCP-сессию. Для spicrawl_scrape, не имеющего состояния, это нормально. У сервера нет OAuth, поэтому всегда передавайте ключ в headers.

Держите список инструментов коротким

Все 25 схем инструментов отправляются при каждом вызове модели. Это повышает стоимость промпта и может запутать модель. Оставьте spicrawl_scrape, а для множества URL добавьте spicrawl_batch_submit, spicrawl_batch_status и spicrawl_batch_results.

Если ваш код уже знает, какой URL загружать, MCP может вообще не понадобиться. Обычная функция, вызывающая POST /v1/scrape, не тратит токены на схемы инструментов и легче тестируется.

Что он умеет

Сервер даёт агенту 25 инструментов spicrawl_*. Каждый вызов выполняется под вашим API-ключом с теми же лимитами и кредитами, что и прямой вызов API.

  • Прочитайте одну страницу: spicrawl_scrape возвращает Markdown (по умолчанию), текст, HTML, JSON или PDF.
  • Читайте много страниц: spicrawl_batch_submit ставит в очередь до 10 000 URL. Затем используйте spicrawl_batch_status и spicrawl_batch_results.
  • Страницы за входом: spicrawl_session_create сохраняет cookies и хранилище между вызовами.
  • Отладьте сбой: spicrawl_requests_list и spicrawl_request_get.
  • Проверьте использование: spicrawl_usage_summary и остальные инструменты учёта использования. Им нужен ключ с областью доступа read.
  • Ищите информацию: spicrawl_docs_search и spicrawl_docs_read ищут и читают документацию Spicrawl.

Один инструмент, spicrawl_browser_connect_url, есть в списке, но скоро появится. В spicrawl_scrape аргумент рендеринга — render, а не js_render из API.

Полезно знать

  • Без обхода. Spicrawl не переходит по ссылкам и не находит страницы. Дайте агенту URL.
  • Кредитов за запрос. Обычная загрузка — 1 кредит. Рендеринг JavaScript — 3. Полный рендеринг в браузере — 8.
  • Сбои бесплатны. Неудачный запрос стоит 0 кредитов.
  • Кэш экономит время, а не кредиты. Попадание в кеш стоит столько же, сколько загрузка, которая его сохранила.
  • Ограничьте каждый вызов. Задайте max_cost, и запрос, который мог бы стоить дороже, отклоняется до выполнения.
  • Скоро: управляемые прокси, режим stealth, удалённый браузер и AI-извлечение данных по запросу на обычном языке. Сейчас можно подключить собственный прокси.

Часто задаваемые вопросы

Какие пакеты мне нужны?

langchain-mcp-adapters и langchain[openai]. Задайте SPICRAWL_API_KEY и OPENAI_API_KEY перед запуском примера.

Стоит ли давать агенту все 25 инструментов?

Обычно нет. Все схемы инструментов отправляются при каждом вызове модели. Оставьте spicrawl_scrape, а для множества URL — spicrawl_batch_submit, spicrawl_batch_status и spicrawl_batch_results.

Открывает ли каждый вызов инструмента новую сессию?

Да, по умолчанию. Для spicrawl_scrape, у которого нет состояния, это нормально. Если нужна одна сессия на запуск, смотрите README адаптера про client.session("spicrawl").

Использовать MCP или вызывать API напрямую?

Используйте MCP, когда модель сама решает, что загружать. Когда ваш код уже знает URL, проще обычная функция, которая вызывает POST /v1/scrape, и она не тратит токены на схемы инструментов.

Сколько стоит каждая страница?

Обычный запрос стоит 1 кредит, рендеринг JavaScript 3, а рендеринг в полноценном браузере 8. Неудачные запросы стоят 0. Попадание в кэш стоит столько же, сколько запрос, который его сохранил. Попросите агента задавать max_cost в каждом запросе, чтобы он никогда не тратил больше, чем вы ожидаете.