Clique, digite e role a página antes do scrape
Abra menus, preencha formulários e carregue mais. Depois leia a página.
- 1ClicarAbra um menu ou clique em “Load more”
- 2DigitarPreencha um formulário ou uma caixa de busca
- 3RolarCarregue o resto do feed
- 4LerObtenha a página como Markdown
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Como funciona
- Ative a renderização com
js_render: true. As ações precisam de um navegador. - Liste os seus passos em
actions. Elas rodam em ordem depois que a página carrega. - Obtenha a página como ela fica depois da última etapa, no formato que você escolheu.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Passos que você pode usar
| Passo | O que ele faz |
|---|---|
wait_for | Espera um elemento ou um tempo definido |
click | Clica em um botão ou link |
fill | Digita em um campo. Adicione secret: true para ocultar o valor dos logs |
select | Escolhe uma opção em uma lista |
scroll | Rola a página, para feeds que carregam mais conforme você avança |
evaluate | Executa o seu próprio JavaScript na página |
screenshot | Salva uma imagem da página naquele passo |
Bom saber
- Até 50 passos por requisição. A lista inteira é verificada antes de qualquer gasto.
- Somente navegador. Sem
js_render, a requisição é recusada com um 400. - Não em batch. As ações rodam só em scrapes individuais.
- Logins: entre só em contas que são suas ou que você pode usar. Para continuar logado, use uma sessão.
- Preços: grátis durante o beta. As ações rodam em renderização de navegador completo, que custa 8 créditos.
Perguntas frequentes
O que as ações de navegador podem fazer?
Espere um elemento, espere a navegação, clique, preencha um campo, selecione uma opção, role a página, execute JavaScript e tire um screenshot. Os passos rodam em ordem depois que a página carrega.
Quantos passos uma requisição pode ter?
Até 50. A lista inteira é verificada antes de a requisição rodar, então um erro falha cedo e não custa nada.
As ações de navegador precisam de renderização JavaScript?
Sim. As ações rodam em um navegador, então defina js_render como true. Sem isso, a requisição é recusada com um 400.
Posso preencher uma senha com segurança?
Sim. Marque o passo fill com secret definido como true, e o valor fica oculto dos logs. Faça login apenas em contas que você possui ou tem permissão para usar.
Posso receber um screenshot depois dos passos?
Sim. Adicione um passo screenshot. A resposta então passa a ser o envelope JSON, com as imagens em screenshots.