O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Faça scrape de sites JavaScript

Envie uma URL que precisa de JavaScript. Receba a página de volta como Markdown ou JSON limpo.

Painel de controle do Spicrawl
Escalonamento automático
Navegador
Fingerprint
Proxy
Proxies gerenciados: em breve
Sessão
Ações
Bloquear assets
Captura de rede
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Exemplo de cabeçalhos de resposta
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
acerto
X-Credits-Charged
3
Navegador

Renderize JavaScript em um navegador real antes de a página ser lida.

Apenas um exemplo, não é uma requisição real. O beta é grátis.

Uma página renderizada, no formato que você precisa

Veja como o conteúdo da página vira Markdown, JSON ou HTML. Estes exemplos mostram a saída, não uma requisição real.

example.com/product/1
Conheça o Modelo X — Precisão em cada clique
Mouse sem fio — Modelo X
Mouse sem fio — Modelo X
$49.00Em estoque★ 4.6 (1,284)
Receptor de 2.4 GHz de baixa latência, bateria de 70 dias e switches silenciosos.
EspecificaçõesValor
Conexão2.4 GHz, BT5Bateria70 dias
<script type="application/ld+json">
result.md
# Mouse sem fio — Modelo X**$49.00** · Em estoque · 4.6 (1,284 avaliações)Receptor de 2.4 GHz de baixa-latency, bateria de 70-daye switches silenciosos.| Spec      | Value        || --------- | ------------ || Conexão   | 2.4 GHz, BT5 || Bateria   | 70 dias      |
Lendo a página
HTML bruto12.480 tokens
Markdown0 tokens

Sem menus, rodapés e anúncios: de 3% a 24% dos tokens do HTML bruto. Página de exemplo.

Como funciona

  1. Envie a URL da página para POST /v1/scrape com js_render: true.
  2. Espere o conteúdo. Defina wait_for como um seletor CSS, como .price.
  3. Obtenha a página renderizada no formato que você escolher. Os exemplos abaixo retornam Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Guarde sua chave em SPICRAWL_API_KEY. Nunca a coloque em código de navegador nem em um arquivo que você commita.

Quando renderizar JavaScript

Uma requisição simples baixa o HTML sem executar scripts. Se o resultado for uma casca vazia ou uma mensagem “Carregando…”, a página pode precisar de JavaScript. Defina js_render: true para executá-la em um navegador antes de ler.

Use uma requisição simples para conteúdo que já está no HTML. A renderização também é necessária para ações de navegador, bloqueio de recursos e captura de rede.

Espere o conteúdo certo

OpçãoO que ele faz
wait_forEspere um seletor CSS aparecer antes da captura.
wait_for_timeoutDefina o limite de espera de 0 a 120.000 ms. Requer wait_for; 0 usa o padrão.
waitAdicione um atraso fixo de 0 a 30.000 ms após o carregamento. Prefira um seletor quando puder.
block_resourcesEscolha quais assets ignorar. Imagens e fontes são bloqueadas por padrão, com exceções para ações e capturas.
response_formatEscolha Markdown, JSON ou HTML para o conteúdo da página.

Uma lista explícita de recursos substitui a padrão. Use ["none"] para não bloquear nada. Não bloqueie scripts quando a página precisa deles para montar o conteúdo.

Verifique o resultado

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine informa qual nível de renderização rodou (fetch, js ou browser). X-Target-Status é o status do site, e X-Credits-Charged mostra a cobrança.

Se wait_for nunca corresponder, a página pode voltar como estava, com X-Warning: RENDER_DEGRADED. Confira o conteúdo e o aviso antes de usá-la.

Níveis de renderização e custo

  • Grátis durante o beta. Os créditos mostram o custo de cada requisição.
  • Renderização JavaScript: js_render: true custa 3 créditos por requisição bem-sucedida.
  • Renderização em navegador completo: custa 8 créditos. Screenshots, PDFs e ações usam essa renderização, e o Spicrawl encaminha a requisição para ela por você. Se uma implantação não consegue atender o nível usual, ela pode usar o próximo acima e retornar X-Warning: ENGINE_SUBSTITUTED; defina max_cost para recusar um preço maior.
  • Você não escolhe o nível. O Spicrawl escolhe conforme o que a requisição precisa e cobra o nível que a atendeu.
  • Falhas custam 0. Esperar e bloquear recursos não gera cobrança extra. Defina max_cost para limitar uma requisição.

Bom saber

  • Escolha a renderização ou o modo auto. mode: "auto" não pode ser combinado com js_render. Ele começa com fetch e sobe para a renderização JavaScript e depois para a renderização em navegador completo, só quando a etapa anterior esbarra em um desafio.
  • Flags de navegador precisam de um navegador. Enviar wait_for, ações ou bloqueio de recursos sem js_render retorna um erro.
  • Sem crawl. Envie as URLs que você quer; o Spicrawl não encontra páginas nem segue links.
  • Em breve: proxies gerenciados, modo stealth, um navegador remoto e extração a partir de um prompt em linguagem natural.
  • Sua responsabilidade: busque só páginas que você tem o direito de usar. Leia nossos termos.

Perguntas frequentes

Como faço scrape de um site JavaScript?

Envie a URL da página para POST https://api.spicrawl.com/v1/scrape com js_render definido como true. O navegador executa os scripts antes de o Spicrawl ler a página. Escolha response_format para Markdown, JSON ou HTML.

Como espero o conteúdo carregar?

Defina wait_for como um seletor CSS, como .price. Use wait_for_timeout para definir um timeout de até 120000 milissegundos. Se o seletor nunca corresponder, a página pode voltar como estava, com X-Warning: RENDER_DEGRADED. Confira o aviso antes de usar o resultado.

Quanto custa a renderização JavaScript?

O Spicrawl é grátis durante o beta. Renderizações JavaScript bem-sucedidas usam 3 créditos; a renderização em navegador completo usa 8. Se uma implantação não consegue atender a renderização JavaScript, js_render pode ser atendido pela renderização em navegador completo e cobrado por esse preço. Requisições que falham usam 0 crédito. Leia X-Engine (fetch, js ou browser) e X-Credits-Charged para conferir o que rodou.

Posso usar o modo auto com renderização JavaScript?

Não. mode: auto não pode ser combinado com js_render. O modo auto começa com uma requisição simples e sobe para renderização JavaScript e depois renderização em navegador completo, quando o resultado é inutilizável. Para páginas que você sabe que precisam de JavaScript, use js_render: true.

Ele faz crawl de um site JavaScript?

Não. O Spicrawl não encontra URLs nem segue links. Envie as URLs das páginas que você quer ler. Busque apenas páginas que você tem o direito de usar.