Скрейпинг сайтов за входом
Войдите один раз и оставайтесь в системе. Читайте страницы своего аккаунта через один API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- обход
- X-Credits-Charged
- 3
Начинает с обычного запроса и поднимается до браузера, только если сайт его блокирует. Заблокированные запросы ничего не стоят.
Рендерите JavaScript в настоящем браузере до чтения страницы.
Обычные запросы несут отпечаток TLS и HTTP/2 настоящего браузера.
Прямое подключение или ваш собственный прокси, без надбавки.
Сохраняйте cookie и хранилище между запросами, чтобы вход сохранялся.
Клик, ввод, прокрутка и выполнение JavaScript до чтения страницы.
Пропускайте изображения, шрифты и медиа для более быстрой загрузки.
Записывайте вызовы API, которые страница делает при загрузке.
Включено по умолчанию на 48 часов. Повторы быстрее, тарифицируются так же.
Сохраняйте вход между запросами
Сессия использует одно хранилище cookie для всех страниц, которые вы читаете. Этот пример показывает последовательность действий, а не живой запрос.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Как это работает
- Создайте сессию. Сохраните ID из ответа.
- Войдите с помощью действий в браузере. Передайте ID сессии вместе с запросом на вход.
- Читайте страницы аккаунта. Используйте тот же ID, по одному запросу за раз.
- Освободите сессию когда закончите.
Вашему API-ключу нужна область доступа sessions, чтобы создавать сессии и управлять ими, и scrape, чтобы их использовать. Храните его в SPICRAWL_API_KEY.
1. Создайте сессию
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Ответ включает id, engine, expires_at и hard_expires_at. В нём никогда нет cookies. В примере ниже используется тестовый ID; замените его своим.
2. Войдите с помощью действий
Отправьте это тело на POST /v1/scrape со своим bearer-токеном. Измените URL и селекторы под нужный сайт. Используйте учётные данные аккаунта, которым вы владеете или которым вам разрешено пользоваться.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Безопасно подставьте вместо заполнителей email и пароля реальные значения во время выполнения. Действие с паролем использует secret: true. Оставьте js_render: true: один только ID сессии не разрешает поля, доступные только в браузере.
3. Читайте страницы с тем же входом
После успешного входа передавайте session_id в каждом скрейпе. Cookies и хранилище сохраняются. Python и TypeScript используют переменные из шага создания.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownЗапросы сессии всегда обходят кеш результатов. Проверьте Cache-State: bypass; страница загружается заново.
4. Освободите сессию
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Освобождение удаляет cookies и хранилище. Вход не сохраняется. Последующие запросы с этим ID возвращают 410 ERR::SESSION::RELEASED.
Опции сессии
| Опция | Что нужно знать |
|---|---|
engine | Фиксируется на время жизни сессии. Скрейп не может выбрать другой движок. Если вы это не указали, смотрите ответ на создание. |
ttl_seconds | По умолчанию 1 800 секунд; минимум 30. Успешный скрейпинг продлевает время жизни, но не дальше hard_expires_at. |
session_context | Восстановите cookie и хранилище, сохранённые из активной сессии. Сохранённый контекст ограничен 1 MiB. |
Чтобы сохранить вход до освобождения, прочитайте GET /v1/sessions/{id}/context. Храните это состояние безопасно, затем передайте его как session_context при создании новой сессии.
Сколько это стоит
Бесплатно в бета-версии. Создание, чтение и освобождение сессий ничего не стоит. Каждый скрейп тарифицируется по уровню рендеринга сессии: fetch 1 кредит, js 3, browser 8. Сбои, включая занятую или истёкшую сессию, стоят 0.
Полезно знать
- Один запрос на сессию за раз. Второй рендер возвращает
409 ERR::SESSION::BUSYсRetry-After. Для параллельной работы используйте по одной сессии на воркер. - Истёкшим сессиям нужен новый вход. Неизвестный, удалённый или неверный ID возвращает ошибку; запрос никогда не выполняется без своей сессии.
- Собственный прокси: используйте фиксированный выход для сайтов, которые устраивают проверку при смене IP во время входа. Управляемые выходы для сессий скоро появятся.
- Без обхода. URL предоставляете вы. Управляемые прокси, stealth, удалённый браузер и извлечение по запросу скоро появятся.
- Ваша ответственность: используйте только аккаунты и страницы, к которым у вас есть право доступа. Прочитайте наши условия.
Часто задаваемые вопросы
Как скрейпить сайт за страницей входа?
Создайте сессию, войдите с помощью действий в браузере, затем отправляйте её ID как session_id в каждом скрейпе. Используйте js_render: true для действий и других полей, доступных только в браузере. Используйте только аккаунты и страницы, к которым у вас есть право доступа.
Что сохраняет сессия?
Сессия сохраняет cookies и хранилище браузера между запросами. Движок фиксируется на всё время её жизни. Обычный ответ сессии никогда не содержит cookies; эндпоинт context возвращает сохранённое состояние, пока сессия активна.
Можно ли отправлять много запросов в одной сессии одновременно?
Нет. Отправляйте по одному запросу за раз на сессию. Второй запрос во время рендеринга возвращает 409 ERR::SESSION::BUSY с Retry-After. Для параллельной работы создайте одну сессию на воркер.
Что происходит, когда я освобождаю сессию?
Освобождение удаляет его cookie и хранилище. Оно не сохраняет вход на потом. Скрейп с освобождённым ID возвращает 410 ERR::SESSION::RELEASED. Сохраните контекст до освобождения, если нужно восстановить его в новой сессии.
Сколько стоят сессии?
Создание, чтение и освобождение сессий ничего не стоит. Каждый скрейп тарифицируется по уровню рендеринга, который использует сессия: 1 кредит за fetch, 3 за js или 8 за browser. Неудачные запросы стоят 0. Spicrawl бесплатен в бета-версии.