Перехватите API-вызовы, стоящие за веб-страницей
Многие страницы загружают данные из API. Перехватите эти вызовы и читайте JSON напрямую.
Как это работает
- Отрендерите страницу. Задайте
js_render: true, потому что захват работает только в браузере. - Выберите вызовы. Задайте для
network_captureсписокurlsшаблонов, например/api/search. - Прочитайте тела ответов. Каждый подходящий вызов приходит в массиве
networkсо статусом, типом и телом.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Храните ключ в SPICRAWL_API_KEY.
Что возвращается
Отрывок из документированного ответа. Содержимое страницы — пример.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Когда использовать
- Страница заполняется сама из API. JSON обычно чище и стабильнее, чем разметка, построенная из него.
- Поиск, размещения и ленты. Результаты часто загружаются одним JSON-вызовом, который можно прочитать целиком.
- Иначе, используйте структурированное извлечение с CSS-селекторами или JSON Schema.
Полезно знать
- Нужен
js_render. Она не добавляет кредитов к 3 за рендеринг JavaScript. Неудачные запросы стоят 0. - Будьте вежливы. Получайте только те данные, которые вам разрешено использовать, и соблюдайте условия сайта.
- Цены: бесплатно во время беты, 1 000 кредитов в месяц.
Часто задаваемые вопросы
Что делает перехват сети?
Он записывает сетевые вызовы, которые страница делает при загрузке, и возвращает те, что вы просите, включая тело ответа. Так можно читать JSON, который использует сама страница, вместо разбора HTML, который она из него рисует.
Как выбрать, какие вызовы перехватывать?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Нужен ли рендеринг JavaScript?
Да. Захват работает только когда страница отрисована в браузере, поэтому задайте js_render в true.
Стоит ли перехват сети дополнительно?
Нет. Он не добавляет кредитов сверх рендеринга JavaScript, за который вы уже платите, то есть 3 кредитов. Неудачные запросы стоят 0.
Стоит ли использовать его вместо скрейпинга HTML?
Когда страница заполняется из JSON API, чтение этого JSON обычно чище и стабильнее разбора разметки. Соблюдайте условия сайта и загружайте только те данные, которыми вам разрешено пользоваться.