Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Веб-скрейпинг для RAG и LLM-конвейеров

Получайте веб-страницы в виде чистого Markdown, готового для разбиения на фрагменты и эмбеддингов, без меню, рекламы и скриптов.

Почему Markdown для RAG

  • Структура сохраняется. Заголовки, списки, таблицы и код сохраняются, поэтому делить текст можно по настоящим разделам, а не по произвольному числу символов.
  • Намного меньше токенов. Если убрать меню, футеры и рекламу, основной контент обычно составляет от 3% до 24% токенов исходного HTML.
  • По умолчанию основное содержимое. Сузьте его ещё сильнее с помощью include_tags и exclude_tags.

Как это работает

  1. Отправьте URL на POST /v1/scrape с response_format: "markdown".
  2. Разбейте на фрагменты и создайте эмбеддинги Markdown в собственном пайплайне. Spicrawl этот шаг не выполняет.
  3. Обновление по вашему расписанию повторной отправкой тех же URL. Для множества страниц используйте одно пакетное задание до 10 000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Храните ключ в SPICRAWL_API_KEY.

Источники, которым нужно больше

  • JavaScript-страницы: задайте js_render: true. См. скрейпинг JavaScript-сайтов.
  • PDF: преобразуются в обычный текст, когда вы запрашиваете markdown или text. Отсканированные или зашифрованные PDF не возвращают текста.
  • Страницы за входом: используйте session для аккаунтов, которыми вы владеете или которыми вам разрешено пользоваться.

Полезно знать

  • Без обхода. Spicrawl не находит URL и не переходит по ссылкам. Отправьте список, например из sitemap.
  • Кеширование: Результаты по умолчанию кешируются на 48 часов. Задайте cache_ttl: 0 для свежей загрузки. Попадание в кеш оплачивается как загрузка, которая его сохранила.
  • Цены: бесплатно во время беты. Обычная страница стоит 1 кредит, JavaScript — 3, полный браузер — 8. Неудачные запросы стоят 0.

Часто задаваемые вопросы

Зачем использовать Markdown для RAG?

Markdown сохраняет заголовки, списки, таблицы и код, поэтому ваш чанкер может делить текст по реальной структуре. Он также намного компактнее сырого HTML: без меню, футеров и рекламы основное содержимое обычно составляет от 3% до 24% токенов HTML.

Разбивает ли Spicrawl содержимое на фрагменты или создаёт эмбеддинги?

Нет. Spicrawl возвращает чистый Markdown. Разбиение на фрагменты, эмбеддинги и хранение в векторной базе происходят в вашем конвейере или фреймворке.

Как скрейпить много страниц для базы знаний?

Отправьте до 10,000 URL в одной пакетной задаче и читайте результаты как JSON Lines. Spicrawl не обходит сайты: вы отправляете список URL, например из карты сайта.

Умеет ли он читать JavaScript-страницы и PDF?

Да. Задайте js_render равным true для страниц, которые строят содержимое в браузере. PDF преобразуется в обычный текст, когда вы запрашиваете markdown или text; отсканированные или зашифрованные PDF не возвращают текста.

Как поддерживать базу знаний актуальной?

Запускайте те же URL повторно по расписанию, которое вы контролируете. Результаты по умолчанию кэшируются на 48 часов, поэтому задайте cache_ttl в 0, когда нужна свежая загрузка. Попадание в кэш тарифицируется как запрос, который его сохранил.

Сколько это стоит?

Бесплатно в бета-версии: 1,000 кредитов в месяц и без банковской карты. Обычная страница стоит 1 кредит, рендеринг JavaScript 3, полноценный браузер 8. Неудачные запросы стоят 0.