Faça scrape de sites JavaScript
Envie uma URL que precisa de JavaScript. Receba a página de volta como Markdown ou JSON limpo.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- acerto
- X-Credits-Charged
- 3
Começa com uma requisição simples e só sobe para um navegador se o site a bloquear. Requisições bloqueadas não custam nada.
Renderize JavaScript em um navegador real antes de a página ser lida.
As requisições simples carregam o fingerprint TLS e HTTP/2 de um navegador real.
Uma conexão direta ou o seu próprio proxy, sem taxa extra.
Mantenha cookies e armazenamento entre requisições, para que o login continue valendo.
Clique, digite, role a página e execute JavaScript antes de a página ser lida.
Ignore imagens, fontes e mídia para carregar mais rápido.
Registre as chamadas de API que a página faz enquanto carrega.
Ativado por padrão por 48 horas. As repetições são mais rápidas e cobradas igual.
Uma página renderizada, no formato que você precisa
Veja como o conteúdo da página vira Markdown, JSON ou HTML. Estes exemplos mostram a saída, não uma requisição real.


# Mouse sem fio — Modelo X**$49.00** · Em estoque · 4.6 (1,284 avaliações)Receptor de 2.4 GHz de baixa-latency, bateria de 70-daye switches silenciosos.| Spec | Value || --------- | ------------ || Conexão | 2.4 GHz, BT5 || Bateria | 70 dias |Sem menus, rodapés e anúncios: de 3% a 24% dos tokens do HTML bruto. Página de exemplo.
A resposta completa: status, URL, engine e dados. Página de exemplo.
Informações da página, regras CSS ou um JSON Schema com seletores. Página de exemplo.
Passos a executar na página, em renderização de navegador completo.
Como funciona
- Envie a URL da página para
POST /v1/scrapecomjs_render: true. - Espere o conteúdo. Defina
wait_forcomo um seletor CSS, como.price. - Obtenha a página renderizada no formato que você escolher. Os exemplos abaixo retornam Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaGuarde sua chave em SPICRAWL_API_KEY. Nunca a coloque em código de navegador nem em um arquivo que você commita.
Quando renderizar JavaScript
Uma requisição simples baixa o HTML sem executar scripts. Se o resultado for uma casca vazia ou uma mensagem “Carregando…”, a página pode precisar de JavaScript. Defina js_render: true para executá-la em um navegador antes de ler.
Use uma requisição simples para conteúdo que já está no HTML. A renderização também é necessária para ações de navegador, bloqueio de recursos e captura de rede.
Espere o conteúdo certo
| Opção | O que ele faz |
|---|---|
wait_for | Espere um seletor CSS aparecer antes da captura. |
wait_for_timeout | Defina o limite de espera de 0 a 120.000 ms. Requer wait_for; 0 usa o padrão. |
wait | Adicione um atraso fixo de 0 a 30.000 ms após o carregamento. Prefira um seletor quando puder. |
block_resources | Escolha quais assets ignorar. Imagens e fontes são bloqueadas por padrão, com exceções para ações e capturas. |
response_format | Escolha Markdown, JSON ou HTML para o conteúdo da página. |
Uma lista explícita de recursos substitui a padrão. Use ["none"] para não bloquear nada. Não bloqueie scripts quando a página precisa deles para montar o conteúdo.
Verifique o resultado
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine informa qual nível de renderização rodou (fetch, js ou browser). X-Target-Status é o status do site, e X-Credits-Charged mostra a cobrança.
Se wait_for nunca corresponder, a página pode voltar como estava, com X-Warning: RENDER_DEGRADED. Confira o conteúdo e o aviso antes de usá-la.
Níveis de renderização e custo
- Grátis durante o beta. Os créditos mostram o custo de cada requisição.
- Renderização JavaScript:
js_render: truecusta 3 créditos por requisição bem-sucedida. - Renderização em navegador completo: custa 8 créditos. Screenshots, PDFs e ações usam essa renderização, e o Spicrawl encaminha a requisição para ela por você. Se uma implantação não consegue atender o nível usual, ela pode usar o próximo acima e retornar
X-Warning: ENGINE_SUBSTITUTED; definamax_costpara recusar um preço maior. - Você não escolhe o nível. O Spicrawl escolhe conforme o que a requisição precisa e cobra o nível que a atendeu.
- Falhas custam 0. Esperar e bloquear recursos não gera cobrança extra. Defina
max_costpara limitar uma requisição.
Bom saber
- Escolha a renderização ou o modo auto.
mode: "auto"não pode ser combinado comjs_render. Ele começa com fetch e sobe para a renderização JavaScript e depois para a renderização em navegador completo, só quando a etapa anterior esbarra em um desafio. - Flags de navegador precisam de um navegador. Enviar
wait_for, ações ou bloqueio de recursos semjs_renderretorna um erro. - Sem crawl. Envie as URLs que você quer; o Spicrawl não encontra páginas nem segue links.
- Em breve: proxies gerenciados, modo stealth, um navegador remoto e extração a partir de um prompt em linguagem natural.
- Sua responsabilidade: busque só páginas que você tem o direito de usar. Leia nossos termos.
Perguntas frequentes
Como faço scrape de um site JavaScript?
Envie a URL da página para POST https://api.spicrawl.com/v1/scrape com js_render definido como true. O navegador executa os scripts antes de o Spicrawl ler a página. Escolha response_format para Markdown, JSON ou HTML.
Como espero o conteúdo carregar?
Defina wait_for como um seletor CSS, como .price. Use wait_for_timeout para definir um timeout de até 120000 milissegundos. Se o seletor nunca corresponder, a página pode voltar como estava, com X-Warning: RENDER_DEGRADED. Confira o aviso antes de usar o resultado.
Quanto custa a renderização JavaScript?
O Spicrawl é grátis durante o beta. Renderizações JavaScript bem-sucedidas usam 3 créditos; a renderização em navegador completo usa 8. Se uma implantação não consegue atender a renderização JavaScript, js_render pode ser atendido pela renderização em navegador completo e cobrado por esse preço. Requisições que falham usam 0 crédito. Leia X-Engine (fetch, js ou browser) e X-Credits-Charged para conferir o que rodou.
Posso usar o modo auto com renderização JavaScript?
Não. mode: auto não pode ser combinado com js_render. O modo auto começa com uma requisição simples e sobe para renderização JavaScript e depois renderização em navegador completo, quando o resultado é inutilizável. Para páginas que você sabe que precisam de JavaScript, use js_render: true.
Ele faz crawl de um site JavaScript?
Não. O Spicrawl não encontra URLs nem segue links. Envie as URLs das páginas que você quer ler. Busque apenas páginas que você tem o direito de usar.