Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому
Действия в браузереСначала клик, ввод и прокрутка

Клик, ввод и прокрутка перед скрейпом

Открывайте меню, заполняйте формы и подгружайте больше. Затем читайте страницу.

  1. 1КликОткройте меню или нажмите «Load more»
  2. 2ВводЗаполните форму или поле поиска
  3. 3ПрокруткаЗагрузите остаток ленты
  4. 4ЧтениеПолучите страницу как Markdown
Отправьте запрос
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com",    "js_render": true,    "response_format": "markdown",    "actions": [      { "click": "#accept" },      { "fill": { "selector": "#search", "value": "shoes" } },      { "scroll": { "y": 800 } }    ]  }'

Как это работает

  1. Включите рендеринг с помощью js_render: true. Для действий нужен браузер.
  2. Перечислите шаги в actions. Они выполняются по порядку после загрузки страницы.
  3. Получите страницу в том виде, какой она имеет после последнего шага, в выбранном вами формате.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products?category=lamps",
    "js_render": true,
    "response_format": "markdown",
    "actions": [
      {"click": "button.load-more"},
      {"wait_for": ".product-card:nth-child(40)"}
    ]
  }'

Доступные шаги

ШагЧто он делает
wait_forЖдёт элемент или заданное время
clickНажимает кнопку или ссылку
fillВводит текст в поле. Добавьте secret: true, чтобы скрыть значение в логах
selectВыбирает вариант в списке
scrollПрокручивает страницу, для лент, которые подгружаются по мере прокрутки
evaluateВыполняет ваш собственный JavaScript на странице
screenshotСохраняет изображение страницы на этом шаге

Полезно знать

  • До 50 шагов за запрос. Весь список проверяется до того, как что-либо будет потрачено.
  • Только браузер. Без js_render запрос отклоняется с ошибкой 400.
  • Не для пакетов. Действия работают только при одиночном скрейпинге.
  • Входы: входите только в аккаунты, которыми вы владеете или которыми вам разрешено пользоваться. Чтобы оставаться в системе, используйте session.
  • Цены: бесплатно во время беты. Действия выполняются в режиме полного рендеринга в браузере, который стоит 8 кредитов.

Часто задаваемые вопросы

Что могут действия в браузере?

Дождитесь элемента, дождитесь навигации, кликните, заполните поле, выберите опцию, прокрутите, выполните JavaScript и сделайте скриншот. Шаги выполняются по порядку после загрузки страницы.

Сколько шагов может быть в одном запросе?

До 50. Весь список проверяется до выполнения запроса, поэтому ошибка проявляется рано и ничего не стоит.

Нужен ли для действий в браузере рендеринг JavaScript?

Да. Действия выполняются в браузере, поэтому задайте js_render в true. Без этого запрос отклоняется с ошибкой 400.

Можно ли безопасно ввести пароль?

Да. Пометьте шаг fill параметром secret, равным true, и значение будет скрыто из логов. Входите только в аккаунты, которыми вы владеете или которыми вам разрешено пользоваться.

Можно ли получить скриншот после шагов?

Да. Добавьте шаг screenshot. Тогда ответ становится конвертом JSON, а изображения лежат в screenshots.