Скрейпинг JavaScript-сайтов
Отправьте URL, которому нужен JavaScript. Получите страницу как чистый Markdown или JSON.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 3
Начинает с обычного запроса и поднимается до браузера, только если сайт его блокирует. Заблокированные запросы ничего не стоят.
Рендерите JavaScript в настоящем браузере до чтения страницы.
Обычные запросы несут отпечаток TLS и HTTP/2 настоящего браузера.
Прямое подключение или ваш собственный прокси, без надбавки.
Сохраняйте cookie и хранилище между запросами, чтобы вход сохранялся.
Клик, ввод, прокрутка и выполнение JavaScript до чтения страницы.
Пропускайте изображения, шрифты и медиа для более быстрой загрузки.
Записывайте вызовы API, которые страница делает при загрузке.
Включено по умолчанию на 48 часов. Повторы быстрее, тарифицируются так же.
Отрисованная страница в нужном вам формате
Посмотрите, как содержимое страницы становится Markdown, JSON или HTML. Эти примеры показывают вывод, а не живой запрос.


# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec | Value || --------- | ------------ || Связь | 2.4 ГГц, BT5 || Батарея | 70 дней |Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.
Полный ответ: статус, URL, движок и данные. Пример страницы.
Информация о странице, правила CSS или JSON Schema с селекторами. Пример страницы.
Шаги, которые нужно выполнить на странице, в рендеринге полноценным браузером.
Как это работает
- Отправьте URL страницы на
POST /v1/scrapeсjs_render: true. - Дождитесь содержимого. Задайте для
wait_forCSS-селектор, например.price. - Получите отрисованную страницу в выбранном вами формате. В примерах ниже возвращается Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaХраните ключ в SPICRAWL_API_KEY. Никогда не помещайте его в браузерный код или файл, который коммитите.
Когда рендерить JavaScript
Обычный запрос скачивает HTML без выполнения скриптов. Если результат — пустая оболочка или сообщение «Loading…», странице может быть нужен JavaScript. Задайте js_render: true, чтобы выполнить его в браузере перед чтением.
Используйте обычный запрос для содержимого, которое уже есть в HTML. Рендеринг также нужен для действий в браузере, блокировки ресурсов и перехвата сети.
Дождитесь нужного содержимого
| Опция | Что он делает |
|---|---|
wait_for | Дождитесь появления CSS-селектора перед захватом. |
wait_for_timeout | Задайте предел ожидания от 0 до 120 000 мс. Требует wait_for; значение 0 — по умолчанию. |
wait | Добавьте фиксированную задержку от 0 до 30,000 мс после загрузки. По возможности лучше использовать селектор. |
block_resources | Выберите, какие ресурсы пропускать. Изображения и шрифты по умолчанию блокируются, с исключениями для действий и захватов. |
response_format | Выберите Markdown, JSON или HTML для содержимого страницы. |
Явный список ресурсов заменяет список по умолчанию. Используйте ["none"], чтобы ничего не блокировать. Не блокируйте скрипты, если странице они нужны для построения содержимого.
Проверьте результат
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine сообщает, какой уровень рендеринга сработал (fetch, js или browser). X-Target-Status — статус сайта, а X-Credits-Charged показывает списание.
Если wait_for так и не совпадает, страница может вернуться в том виде, в каком была, с X-Warning: RENDER_DEGRADED. Проверьте контент и предупреждение перед использованием.
Уровни рендеринга и стоимость
- Бесплатно в бета-версии. Кредиты показывают стоимость каждого запроса.
- Рендеринг JavaScript:
js_render: trueстоит 3 кредита за каждый успешный запрос. - Рендеринг в полноценном браузере: стоит 8 кредитов. Его используют скриншоты, PDF и действия, и Spicrawl направляет запрос туда сам. Если развёртывание не может обслужить обычный уровень, оно может использовать следующий и вернуть
X-Warning: ENGINE_SUBSTITUTED; задайтеmax_cost, чтобы отказаться от более высокой цены. - Уровень выбираете не вы. Spicrawl выбирает его по потребностям запроса и берёт плату за тот уровень, который обработал запрос.
- Сбои стоят 0. Ожидание и блокировка ресурсов не добавляют платы. Задайте
max_cost, чтобы ограничить запрос.
Полезно знать
- Выберите рендеринг или режим auto.
mode: "auto"нельзя сочетать сjs_render. Режим начинает с обычного запроса, затем переходит к рендерингу JavaScript и к полному рендерингу в браузере, только когда предыдущий шаг упирается в проверку. - Флаги браузера требуют браузера. Отправка
wait_for, действий или блокировки ресурсов безjs_renderвозвращает ошибку. - Без обхода. Отправляйте нужные URL; Spicrawl не находит страницы и не переходит по ссылкам.
- Скоро: управляемые прокси, режим stealth, удалённый браузер и извлечение данных по запросу на обычном языке.
- Ваша ответственность: загружайте только страницы, которые вы вправе использовать. Прочитайте наши условия.
Часто задаваемые вопросы
Как скрейпить сайт на JavaScript?
Отправьте URL страницы в POST https://api.spicrawl.com/v1/scrape с js_render, равным true. Браузер выполняет скрипты до того, как Spicrawl прочитает страницу. Выберите response_format для Markdown, JSON или HTML.
Как дождаться загрузки содержимого?
Задайте wait_for как CSS-селектор, например .price. Используйте wait_for_timeout, чтобы задать тайм-аут до 120000 миллисекунд. Если селектор никогда не совпадает, страница может вернуться в том виде, в каком была, с X-Warning: RENDER_DEGRADED. Проверьте предупреждение, прежде чем использовать результат.
Сколько стоит рендеринг JavaScript?
Spicrawl бесплатен во время беты. Успешный рендеринг JavaScript стоит 3 кредита; полный рендеринг в браузере — 8. Если развёртывание не может выполнить рендеринг JavaScript, js_render может быть обслужен полным рендерингом в браузере и оплачен по его цене. Неудачные запросы стоят 0 кредитов. Читайте X-Engine (fetch, js или browser) и X-Credits-Charged, чтобы проверить, что было выполнено.
Можно ли использовать режим auto с рендерингом JavaScript?
Нет. mode: auto нельзя сочетать с js_render. Режим auto начинает с обычного запроса и поднимается до рендеринга JavaScript, а затем до рендеринга в полноценном браузере, когда результат непригоден. Для страниц, которым, как вы знаете, нужен JavaScript, используйте js_render: true.
Может ли он обходить сайт на JavaScript?
Нет. Spicrawl не находит URL и не переходит по ссылкам. Отправляйте URL страниц, которые хотите прочитать. Загружайте только те страницы, которыми вправе пользоваться.