Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Преобразуйте любой сайт в чистый Markdown для LLM

Отправьте URL, получите основное содержимое страницы как Markdown: заголовки, списки, ссылки, таблицы и код, без навигации, скриптов и футера, которые тратят токены LLM впустую.

https://
Формат: Markdown Только основной контент

Как это работает

  1. Отправьте URL на эндпоинт scrape с response_format: "markdown".
  2. Spicrawl загружает страницу, при необходимости рендерит JavaScript и оставляет основной контент.
  3. Вы получаете Markdown в теле ответа, готовый для промпта, RAG-индекса или файла.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Один раз задайте ключ в SPICRAWL_API_KEY и никогда не записывайте его в код, который коммитите. Формат API по умолчанию — HTML, поэтому всегда задавайте response_format.

От HTML к Markdown

Обычная страница оборачивает несколько абзацев в навигацию, скрипты и разметку футера. Spicrawl сохраняет содержимое и его структуру:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Заголовки, списки, ссылки, таблицы и блоки кода сохраняются при конвертации. Вёрстка, стили и интерактивные части — нет. В наши измерения шести реальных страниц Markdown от Spicrawl использовал на 53–97% меньше токенов, чем HTML тех же страниц.

Опции, сокращающие токены

ПолеЧто он делает
response_formatmarkdown сохраняет заголовки, ссылки и таблицы; text убирает весь синтаксис Markdown.
main_content_onlyПо умолчанию включено для Markdown: навигация, футеры и боковые блоки удаляются. Задайте false, чтобы сохранить всю страницу.
include_tagsCSS-селекторы для сохранения. Преобразуются только подходящие части страницы.
exclude_tagsCSS-селекторы для удаления, например баннеры cookie или списки похожих публикаций.
js_renderСначала загрузите страницу в браузере, для содержимого, созданного с помощью JavaScript.
linksТакже вернуть ссылки страницы отдельным списком в ответе JSON.

Фильтры по тегам выполняются до преобразования, поэтому всё, что вы удалите, никогда не дойдёт до вашей модели:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

JavaScript-страницы и PDF

Начните с обычного запроса (1 кредит). Если результат — пустая оболочка или сообщение о загрузке, отправьте его снова с js_render: true (3 кредита), чтобы страница выполнилась в браузере до конвертации. Задайте max_cost для нужного шага, чтобы запрос никогда не стоил больше, чем вы ожидаете.

Когда URL — это PDF, Spicrawl разбирает его в обычный текст по стандартной цене. Заголовки и таблицы не восстанавливаются, а сканированные или зашифрованные PDF не возвращают текст.

Преобразуйте много страниц

Пакетная задача принимает до 10,000 URL за вызов, выполняет их параллельно и может вернуть каждый в виде Markdown. Результаты хранятся 72 часа.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl преобразует отправленные вами URL. Он не обходит сайт и не находит страницы за вас, поэтому сначала соберите URL, например из карты сайта.

От ИИ-агента

Агенты могут вызывать то же преобразование через MCP-сервер Spicrawl: инструмент spicrawl_scrape по умолчанию возвращает Markdown. CLI spicrawl делает то же из терминала или скрипта.

API-конвертер или библиотека HTML-to-Markdown?

Если у вас уже есть HTML, библиотека с открытым исходным кодом, например Turndown, бесплатно преобразует его в вашем коде. Но вам всё равно придётся самим загружать страницу, выполнять её JavaScript, обходить страницы, отклоняющие простые запросы, и убирать навигацию. Spicrawl выполняет эти шаги одним запросом, что особенно важно при конвертации страниц со множества разных сайтов.

Полезно знать

  • Проверьте статус сайта. HTTP-статус принадлежит Spicrawl. Собственный статус страницы находится в заголовке X-Target-Status: сайт, ответивший 403, всё равно возвращается как HTTP 200 и стоит 0 кредитов.
  • Проверьте образец. Изоляция основного контента работает на большинстве страниц, но на необычных макетах часть навигации может остаться. Посмотрите по одной странице каждого типа, прежде чем индексировать тысячи.
  • Цены. Бесплатно во время беты, без банковской карты. Обычный запрос — 1 кредит, рендеринг JavaScript — 3, полный рендеринг в браузере — 8. Конвертация в Markdown ничего не добавляет, а неудачные или заблокированные запросы стоят 0.

Часто задаваемые вопросы

Как преобразовать сайт в Markdown?

Отправьте POST-запрос на https://api.spicrawl.com/v1/scrape с URL страницы и response_format, равным markdown. Тело ответа — сам Markdown. Также можно использовать CLI spicrawl (spicrawl scrape URL --format markdown) или инструмент MCP spicrawl_scrape из ИИ-агента.

Убирает ли он навигацию, рекламу и футеры?

Да. Для Markdown выделение основного содержимого включено по умолчанию, поэтому навигация, футеры и боковые блоки удаляются. Можно сузить выбор с помощью include_tags и exclude_tags или задать main_content_only в false, чтобы сохранить всю страницу. Часть навигации всё же может остаться на необычных макетах, поэтому проверьте образец каждого типа страниц.

Справляется ли он со страницами, насыщенными JavaScript?

Да. Задайте js_render равным true, и страница загрузится в браузере до конвертации. Начните с обычного запроса, который стоит 1 кредит, и используйте рендеринг только если обычный результат пуст или неполон; рендеринг стоит 3 кредита.

Умеет ли он преобразовывать PDF в Markdown?

PDF разбирается в обычный текст, когда вы запрашиваете markdown или text, по стандартной цене. Заголовки и таблицы не восстанавливаются, а сканированные или зашифрованные PDF не возвращают текст.

Сколько это стоит?

Spicrawl бесплатен в бета-версии, без банковской карты. Запросы расходуют кредиты: 1 за обычный запрос, 3 за рендеринг JavaScript и 8 за рендеринг в полноценном браузере. Преобразование в Markdown ничего не стоит сверху, а неудачные или заблокированные запросы стоят 0.

Можно ли преобразовать много страниц сразу?

Да. Пакетная задача принимает до 10,000 URL за вызов и может вернуть каждый как Markdown. Spicrawl не находит страницы за вас: отправляйте нужные URL, например из карты сайта.