Преобразуйте любой сайт в чистый Markdown для LLM
Отправьте URL, получите основное содержимое страницы как Markdown: заголовки, списки, ссылки, таблицы и код, без навигации, скриптов и футера, которые тратят токены LLM впустую.
Как это работает
- Отправьте URL на эндпоинт scrape с
response_format: "markdown". - Spicrawl загружает страницу, при необходимости рендерит JavaScript и оставляет основной контент.
- Вы получаете Markdown в теле ответа, готовый для промпта, RAG-индекса или файла.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownОдин раз задайте ключ в SPICRAWL_API_KEY и никогда не записывайте его в код, который коммитите. Формат API по умолчанию — HTML, поэтому всегда задавайте response_format.
От HTML к Markdown
Обычная страница оборачивает несколько абзацев в навигацию, скрипты и разметку футера. Spicrawl сохраняет содержимое и его структуру:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Заголовки, списки, ссылки, таблицы и блоки кода сохраняются при конвертации. Вёрстка, стили и интерактивные части — нет. В наши измерения шести реальных страниц Markdown от Spicrawl использовал на 53–97% меньше токенов, чем HTML тех же страниц.
Опции, сокращающие токены
| Поле | Что он делает |
|---|---|
response_format | markdown сохраняет заголовки, ссылки и таблицы; text убирает весь синтаксис Markdown. |
main_content_only | По умолчанию включено для Markdown: навигация, футеры и боковые блоки удаляются. Задайте false, чтобы сохранить всю страницу. |
include_tags | CSS-селекторы для сохранения. Преобразуются только подходящие части страницы. |
exclude_tags | CSS-селекторы для удаления, например баннеры cookie или списки похожих публикаций. |
js_render | Сначала загрузите страницу в браузере, для содержимого, созданного с помощью JavaScript. |
links | Также вернуть ссылки страницы отдельным списком в ответе JSON. |
Фильтры по тегам выполняются до преобразования, поэтому всё, что вы удалите, никогда не дойдёт до вашей модели:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript-страницы и PDF
Начните с обычного запроса (1 кредит). Если результат — пустая оболочка или сообщение о загрузке, отправьте его снова с js_render: true (3 кредита), чтобы страница выполнилась в браузере до конвертации. Задайте max_cost для нужного шага, чтобы запрос никогда не стоил больше, чем вы ожидаете.
Когда URL — это PDF, Spicrawl разбирает его в обычный текст по стандартной цене. Заголовки и таблицы не восстанавливаются, а сканированные или зашифрованные PDF не возвращают текст.
Преобразуйте много страниц
Пакетная задача принимает до 10,000 URL за вызов, выполняет их параллельно и может вернуть каждый в виде Markdown. Результаты хранятся 72 часа.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl преобразует отправленные вами URL. Он не обходит сайт и не находит страницы за вас, поэтому сначала соберите URL, например из карты сайта.
От ИИ-агента
Агенты могут вызывать то же преобразование через MCP-сервер Spicrawl: инструмент spicrawl_scrape по умолчанию возвращает Markdown. CLI spicrawl делает то же из терминала или скрипта.
API-конвертер или библиотека HTML-to-Markdown?
Если у вас уже есть HTML, библиотека с открытым исходным кодом, например Turndown, бесплатно преобразует его в вашем коде. Но вам всё равно придётся самим загружать страницу, выполнять её JavaScript, обходить страницы, отклоняющие простые запросы, и убирать навигацию. Spicrawl выполняет эти шаги одним запросом, что особенно важно при конвертации страниц со множества разных сайтов.
Полезно знать
- Проверьте статус сайта. HTTP-статус принадлежит Spicrawl. Собственный статус страницы находится в заголовке
X-Target-Status: сайт, ответивший 403, всё равно возвращается как HTTP 200 и стоит 0 кредитов. - Проверьте образец. Изоляция основного контента работает на большинстве страниц, но на необычных макетах часть навигации может остаться. Посмотрите по одной странице каждого типа, прежде чем индексировать тысячи.
- Цены. Бесплатно во время беты, без банковской карты. Обычный запрос — 1 кредит, рендеринг JavaScript — 3, полный рендеринг в браузере — 8. Конвертация в Markdown ничего не добавляет, а неудачные или заблокированные запросы стоят 0.
Часто задаваемые вопросы
Как преобразовать сайт в Markdown?
Отправьте POST-запрос на https://api.spicrawl.com/v1/scrape с URL страницы и response_format, равным markdown. Тело ответа — сам Markdown. Также можно использовать CLI spicrawl (spicrawl scrape URL --format markdown) или инструмент MCP spicrawl_scrape из ИИ-агента.
Убирает ли он навигацию, рекламу и футеры?
Да. Для Markdown выделение основного содержимого включено по умолчанию, поэтому навигация, футеры и боковые блоки удаляются. Можно сузить выбор с помощью include_tags и exclude_tags или задать main_content_only в false, чтобы сохранить всю страницу. Часть навигации всё же может остаться на необычных макетах, поэтому проверьте образец каждого типа страниц.
Справляется ли он со страницами, насыщенными JavaScript?
Да. Задайте js_render равным true, и страница загрузится в браузере до конвертации. Начните с обычного запроса, который стоит 1 кредит, и используйте рендеринг только если обычный результат пуст или неполон; рендеринг стоит 3 кредита.
Умеет ли он преобразовывать PDF в Markdown?
PDF разбирается в обычный текст, когда вы запрашиваете markdown или text, по стандартной цене. Заголовки и таблицы не восстанавливаются, а сканированные или зашифрованные PDF не возвращают текст.
Сколько это стоит?
Spicrawl бесплатен в бета-версии, без банковской карты. Запросы расходуют кредиты: 1 за обычный запрос, 3 за рендеринг JavaScript и 8 за рендеринг в полноценном браузере. Преобразование в Markdown ничего не стоит сверху, а неудачные или заблокированные запросы стоят 0.
Можно ли преобразовать много страниц сразу?
Да. Пакетная задача принимает до 10,000 URL за вызов и может вернуть каждый как Markdown. Spicrawl не находит страницы за вас: отправляйте нужные URL, например из карты сайта.