Клик, ввод и прокрутка перед скрейпом
Открывайте меню, заполняйте формы и подгружайте больше. Затем читайте страницу.
- 1КликОткройте меню или нажмите «Load more»
- 2ВводЗаполните форму или поле поиска
- 3ПрокруткаЗагрузите остаток ленты
- 4ЧтениеПолучите страницу как Markdown
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Как это работает
- Включите рендеринг с помощью
js_render: true. Для действий нужен браузер. - Перечислите шаги в
actions. Они выполняются по порядку после загрузки страницы. - Получите страницу в том виде, какой она имеет после последнего шага, в выбранном вами формате.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Доступные шаги
| Шаг | Что он делает |
|---|---|
wait_for | Ждёт элемент или заданное время |
click | Нажимает кнопку или ссылку |
fill | Вводит текст в поле. Добавьте secret: true, чтобы скрыть значение в логах |
select | Выбирает вариант в списке |
scroll | Прокручивает страницу, для лент, которые подгружаются по мере прокрутки |
evaluate | Выполняет ваш собственный JavaScript на странице |
screenshot | Сохраняет изображение страницы на этом шаге |
Полезно знать
- До 50 шагов за запрос. Весь список проверяется до того, как что-либо будет потрачено.
- Только браузер. Без
js_renderзапрос отклоняется с ошибкой 400. - Не для пакетов. Действия работают только при одиночном скрейпинге.
- Входы: входите только в аккаунты, которыми вы владеете или которыми вам разрешено пользоваться. Чтобы оставаться в системе, используйте session.
- Цены: бесплатно во время беты. Действия выполняются в режиме полного рендеринга в браузере, который стоит 8 кредитов.
Часто задаваемые вопросы
Что могут действия в браузере?
Дождитесь элемента, дождитесь навигации, кликните, заполните поле, выберите опцию, прокрутите, выполните JavaScript и сделайте скриншот. Шаги выполняются по порядку после загрузки страницы.
Сколько шагов может быть в одном запросе?
До 50. Весь список проверяется до выполнения запроса, поэтому ошибка проявляется рано и ничего не стоит.
Нужен ли для действий в браузере рендеринг JavaScript?
Да. Действия выполняются в браузере, поэтому задайте js_render в true. Без этого запрос отклоняется с ошибкой 400.
Можно ли безопасно ввести пароль?
Да. Пометьте шаг fill параметром secret, равным true, и значение будет скрыто из логов. Входите только в аккаунты, которыми вы владеете или которыми вам разрешено пользоваться.
Можно ли получить скриншот после шагов?
Да. Добавьте шаг screenshot. Тогда ответ становится конвертом JSON, а изображения лежат в screenshots.