O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Capture as chamadas de API por trás de uma página web

Muitas páginas carregam os dados a partir de uma API. Capture essas chamadas e leia o JSON diretamente.

Como funciona

  1. Renderize a página. Defina js_render: true, porque a captura só roda em um navegador.
  2. Escolha as chamadas. Defina network_capture como uma lista urls de padrões, como /api/search.
  3. Leia os corpos. Cada chamada correspondente volta no array network com seu status, tipo e corpo.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Guarde sua chave em SPICRAWL_API_KEY.

O que volta

Um trecho da resposta documentada. O conteúdo da página é um exemplo.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Quando usar

  • A página se preenche a partir de uma API. O JSON costuma ser mais limpo e estável do que a marcação gerada a partir dele.
  • Busca, listagens e feeds. Os resultados costumam carregar em uma única chamada JSON que você pode ler inteira.
  • Caso contrário, use extração estruturada com seletores CSS ou um JSON Schema.

Bom saber

  • Precisa de js_render. Não soma créditos aos 3 da renderização JavaScript. Requisições que falham custam 0.
  • Seja respeitoso. Busque só dados que você pode usar e siga os termos do site.
  • Preços: grátis durante o beta, com 1.000 créditos por mês.

Perguntas frequentes

O que a captura de rede faz?

Ele registra as chamadas de rede que uma página faz enquanto carrega e retorna as que você pedir, incluindo o corpo da resposta. Assim você lê o JSON que a própria página usa, em vez de analisar o HTML que ela desenha a partir dele.

Como escolho quais chamadas capturar?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

Precisa de renderização JavaScript?

Sim. A captura só funciona quando a página é renderizada em um navegador, então defina js_render como true.

A captura de rede custa extra?

Não. Ele não adiciona créditos além da renderização JavaScript que você já paga, que é de 3 créditos. Requisições com falha custam 0.

Devo usar isso em vez de fazer scraping do HTML?

Quando uma página se preenche a partir de uma API JSON, ler esse JSON costuma ser mais limpo e mais estável do que analisar a marcação. Respeite os termos do site e busque apenas dados que você tem permissão para usar.