Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Скрейпинг JavaScript-сайтов

Отправьте URL, которому нужен JavaScript. Получите страницу как чистый Markdown или JSON.

Панель управления Spicrawl
Автоэскалация
Браузерных
Отпечаток
Прокси
Управляемые прокси: скоро
Сессия
Действия
Блокировать ресурсы
Перехват сети
Кэш
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Примеры заголовков ответа
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
3
Браузерных

Рендерите JavaScript в настоящем браузере до чтения страницы.

Только пример, не живой запрос. Бета-версия бесплатна.

Отрисованная страница в нужном вам формате

Посмотрите, как содержимое страницы становится Markdown, JSON или HTML. Эти примеры показывают вывод, а не живой запрос.

example.com/product/1
Знакомьтесь: Model X — точность в каждом клике
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00В наличии★ 4.6 (1,284)
Приёмник 2.4 GHz с низкой задержкой, 70 дней работы от батареи и бесшумные переключатели.
ХарактеристикиЗначение
Подключение2.4 GHz, BT5Батарея70 дней
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec      | Value        || --------- | ------------ || Связь     | 2.4 ГГц, BT5 || Батарея   | 70 дней     |
Чтение страницы
Сырой HTML12 480 токенов
Markdown0 токенов

Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.

Как это работает

  1. Отправьте URL страницы на POST /v1/scrape с js_render: true.
  2. Дождитесь содержимого. Задайте для wait_for CSS-селектор, например .price.
  3. Получите отрисованную страницу в выбранном вами формате. В примерах ниже возвращается Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Храните ключ в SPICRAWL_API_KEY. Никогда не помещайте его в браузерный код или файл, который коммитите.

Когда рендерить JavaScript

Обычный запрос скачивает HTML без выполнения скриптов. Если результат — пустая оболочка или сообщение «Loading…», странице может быть нужен JavaScript. Задайте js_render: true, чтобы выполнить его в браузере перед чтением.

Используйте обычный запрос для содержимого, которое уже есть в HTML. Рендеринг также нужен для действий в браузере, блокировки ресурсов и перехвата сети.

Дождитесь нужного содержимого

ОпцияЧто он делает
wait_forДождитесь появления CSS-селектора перед захватом.
wait_for_timeoutЗадайте предел ожидания от 0 до 120 000 мс. Требует wait_for; значение 0 — по умолчанию.
waitДобавьте фиксированную задержку от 0 до 30,000 мс после загрузки. По возможности лучше использовать селектор.
block_resourcesВыберите, какие ресурсы пропускать. Изображения и шрифты по умолчанию блокируются, с исключениями для действий и захватов.
response_formatВыберите Markdown, JSON или HTML для содержимого страницы.

Явный список ресурсов заменяет список по умолчанию. Используйте ["none"], чтобы ничего не блокировать. Не блокируйте скрипты, если странице они нужны для построения содержимого.

Проверьте результат

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine сообщает, какой уровень рендеринга сработал (fetch, js или browser). X-Target-Status — статус сайта, а X-Credits-Charged показывает списание.

Если wait_for так и не совпадает, страница может вернуться в том виде, в каком была, с X-Warning: RENDER_DEGRADED. Проверьте контент и предупреждение перед использованием.

Уровни рендеринга и стоимость

  • Бесплатно в бета-версии. Кредиты показывают стоимость каждого запроса.
  • Рендеринг JavaScript: js_render: true стоит 3 кредита за каждый успешный запрос.
  • Рендеринг в полноценном браузере: стоит 8 кредитов. Его используют скриншоты, PDF и действия, и Spicrawl направляет запрос туда сам. Если развёртывание не может обслужить обычный уровень, оно может использовать следующий и вернуть X-Warning: ENGINE_SUBSTITUTED; задайте max_cost, чтобы отказаться от более высокой цены.
  • Уровень выбираете не вы. Spicrawl выбирает его по потребностям запроса и берёт плату за тот уровень, который обработал запрос.
  • Сбои стоят 0. Ожидание и блокировка ресурсов не добавляют платы. Задайте max_cost, чтобы ограничить запрос.

Полезно знать

  • Выберите рендеринг или режим auto. mode: "auto" нельзя сочетать с js_render. Режим начинает с обычного запроса, затем переходит к рендерингу JavaScript и к полному рендерингу в браузере, только когда предыдущий шаг упирается в проверку.
  • Флаги браузера требуют браузера. Отправка wait_for, действий или блокировки ресурсов без js_render возвращает ошибку.
  • Без обхода. Отправляйте нужные URL; Spicrawl не находит страницы и не переходит по ссылкам.
  • Скоро: управляемые прокси, режим stealth, удалённый браузер и извлечение данных по запросу на обычном языке.
  • Ваша ответственность: загружайте только страницы, которые вы вправе использовать. Прочитайте наши условия.

Часто задаваемые вопросы

Как скрейпить сайт на JavaScript?

Отправьте URL страницы в POST https://api.spicrawl.com/v1/scrape с js_render, равным true. Браузер выполняет скрипты до того, как Spicrawl прочитает страницу. Выберите response_format для Markdown, JSON или HTML.

Как дождаться загрузки содержимого?

Задайте wait_for как CSS-селектор, например .price. Используйте wait_for_timeout, чтобы задать тайм-аут до 120000 миллисекунд. Если селектор никогда не совпадает, страница может вернуться в том виде, в каком была, с X-Warning: RENDER_DEGRADED. Проверьте предупреждение, прежде чем использовать результат.

Сколько стоит рендеринг JavaScript?

Spicrawl бесплатен во время беты. Успешный рендеринг JavaScript стоит 3 кредита; полный рендеринг в браузере — 8. Если развёртывание не может выполнить рендеринг JavaScript, js_render может быть обслужен полным рендерингом в браузере и оплачен по его цене. Неудачные запросы стоят 0 кредитов. Читайте X-Engine (fetch, js или browser) и X-Credits-Charged, чтобы проверить, что было выполнено.

Можно ли использовать режим auto с рендерингом JavaScript?

Нет. mode: auto нельзя сочетать с js_render. Режим auto начинает с обычного запроса и поднимается до рендеринга JavaScript, а затем до рендеринга в полноценном браузере, когда результат непригоден. Для страниц, которым, как вы знаете, нужен JavaScript, используйте js_render: true.

Может ли он обходить сайт на JavaScript?

Нет. Spicrawl не находит URL и не переходит по ссылкам. Отправляйте URL страниц, которые хотите прочитать. Загружайте только те страницы, которыми вправе пользоваться.