Capture as chamadas de API por trás de uma página web
Muitas páginas carregam os dados a partir de uma API. Capture essas chamadas e leia o JSON diretamente.
Como funciona
- Renderize a página. Defina
js_render: true, porque a captura só roda em um navegador. - Escolha as chamadas. Defina
network_capturecomo uma listaurlsde padrões, como/api/search. - Leia os corpos. Cada chamada correspondente volta no array
networkcom seu status, tipo e corpo.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Guarde sua chave em SPICRAWL_API_KEY.
O que volta
Um trecho da resposta documentada. O conteúdo da página é um exemplo.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Quando usar
- A página se preenche a partir de uma API. O JSON costuma ser mais limpo e estável do que a marcação gerada a partir dele.
- Busca, listagens e feeds. Os resultados costumam carregar em uma única chamada JSON que você pode ler inteira.
- Caso contrário, use extração estruturada com seletores CSS ou um JSON Schema.
Bom saber
- Precisa de
js_render. Não soma créditos aos 3 da renderização JavaScript. Requisições que falham custam 0. - Seja respeitoso. Busque só dados que você pode usar e siga os termos do site.
- Preços: grátis durante o beta, com 1.000 créditos por mês.
Perguntas frequentes
O que a captura de rede faz?
Ele registra as chamadas de rede que uma página faz enquanto carrega e retorna as que você pedir, incluindo o corpo da resposta. Assim você lê o JSON que a própria página usa, em vez de analisar o HTML que ela desenha a partir dele.
Como escolho quais chamadas capturar?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Precisa de renderização JavaScript?
Sim. A captura só funciona quando a página é renderizada em um navegador, então defina js_render como true.
A captura de rede custa extra?
Não. Ele não adiciona créditos além da renderização JavaScript que você já paga, que é de 3 créditos. Requisições com falha custam 0.
Devo usar isso em vez de fazer scraping do HTML?
Quando uma página se preenche a partir de uma API JSON, ler esse JSON costuma ser mais limpo e mais estável do que analisar a marcação. Respeite os termos do site e busque apenas dados que você tem permissão para usar.