Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Скрейпинг сайтов за входом

Войдите один раз и оставайтесь в системе. Читайте страницы своего аккаунта через один API.

Панель управления Spicrawl
Автоэскалация
Браузерных
Отпечаток
Прокси
Управляемые прокси: скоро
Сессия
Действия
Блокировать ресурсы
Перехват сети
Кэш
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Примеры заголовков ответа
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
обход
X-Credits-Charged
3
Сессии

Сохраняйте cookie и хранилище между запросами, чтобы вход сохранялся.

Только пример, не живой запрос. Бета-версия бесплатна.

Сохраняйте вход между запросами

Сессия использует одно хранилище cookie для всех страниц, которые вы читаете. Этот пример показывает последовательность действий, а не живой запрос.

Создайте сессию
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Как это работает

  1. Создайте сессию. Сохраните ID из ответа.
  2. Войдите с помощью действий в браузере. Передайте ID сессии вместе с запросом на вход.
  3. Читайте страницы аккаунта. Используйте тот же ID, по одному запросу за раз.
  4. Освободите сессию когда закончите.

Вашему API-ключу нужна область доступа sessions, чтобы создавать сессии и управлять ими, и scrape, чтобы их использовать. Храните его в SPICRAWL_API_KEY.

1. Создайте сессию

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Ответ включает id, engine, expires_at и hard_expires_at. В нём никогда нет cookies. В примере ниже используется тестовый ID; замените его своим.

2. Войдите с помощью действий

Отправьте это тело на POST /v1/scrape со своим bearer-токеном. Измените URL и селекторы под нужный сайт. Используйте учётные данные аккаунта, которым вы владеете или которым вам разрешено пользоваться.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Безопасно подставьте вместо заполнителей email и пароля реальные значения во время выполнения. Действие с паролем использует secret: true. Оставьте js_render: true: один только ID сессии не разрешает поля, доступные только в браузере.

3. Читайте страницы с тем же входом

После успешного входа передавайте session_id в каждом скрейпе. Cookies и хранилище сохраняются. Python и TypeScript используют переменные из шага создания.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Запросы сессии всегда обходят кеш результатов. Проверьте Cache-State: bypass; страница загружается заново.

4. Освободите сессию

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Освобождение удаляет cookies и хранилище. Вход не сохраняется. Последующие запросы с этим ID возвращают 410 ERR::SESSION::RELEASED.

Опции сессии

ОпцияЧто нужно знать
engineФиксируется на время жизни сессии. Скрейп не может выбрать другой движок. Если вы это не указали, смотрите ответ на создание.
ttl_secondsПо умолчанию 1 800 секунд; минимум 30. Успешный скрейпинг продлевает время жизни, но не дальше hard_expires_at.
session_contextВосстановите cookie и хранилище, сохранённые из активной сессии. Сохранённый контекст ограничен 1 MiB.

Чтобы сохранить вход до освобождения, прочитайте GET /v1/sessions/{id}/context. Храните это состояние безопасно, затем передайте его как session_context при создании новой сессии.

Сколько это стоит

Бесплатно в бета-версии. Создание, чтение и освобождение сессий ничего не стоит. Каждый скрейп тарифицируется по уровню рендеринга сессии: fetch 1 кредит, js 3, browser 8. Сбои, включая занятую или истёкшую сессию, стоят 0.

Полезно знать

  • Один запрос на сессию за раз. Второй рендер возвращает 409 ERR::SESSION::BUSY с Retry-After. Для параллельной работы используйте по одной сессии на воркер.
  • Истёкшим сессиям нужен новый вход. Неизвестный, удалённый или неверный ID возвращает ошибку; запрос никогда не выполняется без своей сессии.
  • Собственный прокси: используйте фиксированный выход для сайтов, которые устраивают проверку при смене IP во время входа. Управляемые выходы для сессий скоро появятся.
  • Без обхода. URL предоставляете вы. Управляемые прокси, stealth, удалённый браузер и извлечение по запросу скоро появятся.
  • Ваша ответственность: используйте только аккаунты и страницы, к которым у вас есть право доступа. Прочитайте наши условия.

Часто задаваемые вопросы

Как скрейпить сайт за страницей входа?

Создайте сессию, войдите с помощью действий в браузере, затем отправляйте её ID как session_id в каждом скрейпе. Используйте js_render: true для действий и других полей, доступных только в браузере. Используйте только аккаунты и страницы, к которым у вас есть право доступа.

Что сохраняет сессия?

Сессия сохраняет cookies и хранилище браузера между запросами. Движок фиксируется на всё время её жизни. Обычный ответ сессии никогда не содержит cookies; эндпоинт context возвращает сохранённое состояние, пока сессия активна.

Можно ли отправлять много запросов в одной сессии одновременно?

Нет. Отправляйте по одному запросу за раз на сессию. Второй запрос во время рендеринга возвращает 409 ERR::SESSION::BUSY с Retry-After. Для параллельной работы создайте одну сессию на воркер.

Что происходит, когда я освобождаю сессию?

Освобождение удаляет его cookie и хранилище. Оно не сохраняет вход на потом. Скрейп с освобождённым ID возвращает 410 ERR::SESSION::RELEASED. Сохраните контекст до освобождения, если нужно восстановить его в новой сессии.

Сколько стоят сессии?

Создание, чтение и освобождение сессий ничего не стоит. Каждый скрейп тарифицируется по уровню рендеринга, который использует сессия: 1 кредит за fetch, 3 за js или 8 за browser. Неудачные запросы стоят 0. Spicrawl бесплатен в бета-версии.