Faça scrape de sites atrás de um login
Faça login uma vez e continue logado. Leia as páginas da sua conta com uma única API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- bypass
- X-Credits-Charged
- 3
Começa com uma requisição simples e só sobe para um navegador se o site a bloquear. Requisições bloqueadas não custam nada.
Renderize JavaScript em um navegador real antes de a página ser lida.
As requisições simples carregam o fingerprint TLS e HTTP/2 de um navegador real.
Uma conexão direta ou o seu próprio proxy, sem taxa extra.
Mantenha cookies e armazenamento entre requisições, para que o login continue valendo.
Clique, digite, role a página e execute JavaScript antes de a página ser lida.
Ignore imagens, fontes e mídia para carregar mais rápido.
Registre as chamadas de API que a página faz enquanto carrega.
Ativado por padrão por 48 horas. As repetições são mais rápidas e cobradas igual.
Mantenha o login entre requisições
Uma sessão compartilha um único cookie jar entre as páginas que você lê. Este exemplo mostra o fluxo, não uma requisição real.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Como funciona
- Crie uma sessão. Guarde o ID da resposta.
- Faça login com ações de navegador. Envie o ID da sessão junto com a requisição de login.
- Leia as páginas da conta. Reutilize o mesmo ID, uma requisição por vez.
- Libere a sessão quando terminar.
Sua chave de API precisa do escopo sessions para criar e gerenciar sessões, e de scrape para usar uma. Guarde-a em SPICRAWL_API_KEY.
1. Crie uma sessão
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200A resposta inclui id, engine, expires_at e hard_expires_at. Ela nunca inclui cookies. O exemplo abaixo usa um ID de exemplo; troque pelo seu.
2. Faça login com ações
Envie este corpo para POST /v1/scrape com o seu bearer token. Altere a URL e os seletores para combinar com o site. Use credenciais de uma conta que seja sua ou que você possa usar.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Substitua os marcadores de e-mail e senha com segurança em tempo de execução. A ação de senha usa secret: true. Mantenha js_render: true: um ID de sessão sozinho não permite campos exclusivos de navegador.
3. Leia páginas com o mesmo login
Depois que o login der certo, passe session_id em cada scrape. Cookies e armazenamento são mantidos. Python e TypeScript reaproveitam as variáveis da etapa de criação.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownAs requisições de sessão sempre ignoram o cache de resultados. Confira Cache-State: bypass; a página é buscada de novo.
4. Libere a sessão
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"A liberação apaga cookies e armazenamento. Ela não mantém o login. Requisições posteriores nesse ID retornam 410 ERR::SESSION::RELEASED.
Opções de sessão
| Opção | O que saber |
|---|---|
engine | Fixo durante a vida da sessão. Um scrape não pode escolher outro engine. Verifique a resposta de criação se você deixar isso de fora. |
ttl_seconds | Padrão de 1.800 segundos; mínimo de 30. Um scrape bem-sucedido estende o tempo de vida, nunca além de hard_expires_at. |
session_context | Restaure cookies e armazenamento salvos de uma sessão ativa. O contexto salvo é limitado a 1 MiB. |
Para salvar um login antes da liberação, leia GET /v1/sessions/{id}/context. Guarde esse estado com segurança e depois passe-o como session_context ao criar uma nova sessão.
Quanto custa
Grátis durante o beta. Criar, ler e liberar sessões não custa nada. Cada scrape é cobrado pelo nível de renderização da sessão: fetch 1 crédito, js 3, browser 8. Falhas, incluindo uma sessão ocupada ou expirada, custam 0.
Bom saber
- Uma requisição por vez por sessão. Uma segunda renderização retorna
409 ERR::SESSION::BUSYcomRetry-After. Use uma sessão por worker para trabalho em paralelo. - Sessões expiradas precisam de um novo login. Um ID desconhecido, apagado ou malformado retorna um erro; a requisição nunca roda sem a sessão dela.
- Seu próprio proxy: use uma saída fixa para sites que desafiam um login quando o IP muda. As saídas gerenciadas por sessão chegam em breve.
- Sem crawl. Você fornece as URLs. Proxies gerenciados, stealth, um navegador remoto e extração a partir de um prompt estão chegando em breve.
- Sua responsabilidade: use só contas e páginas que você tem o direito de acessar. Leia nossos termos.
Perguntas frequentes
Como faço scrape de um site atrás de um login?
Crie uma sessão, faça login com ações de navegador e depois envie o ID dela como session_id em cada scrape. Use js_render: true para ações e outros campos exclusivos de navegador. Use apenas contas e páginas que você tem o direito de acessar.
O que uma sessão mantém?
Uma sessão mantém cookies e o armazenamento do navegador entre requisições. O engine é fixo durante a vida dela. A resposta normal da sessão nunca contém cookies; o endpoint de contexto retorna o estado salvo enquanto a sessão está ativa.
Posso enviar muitas requisições em uma sessão ao mesmo tempo?
Não. Envie uma requisição por vez por sessão. Uma segunda requisição enquanto uma renderização está rodando retorna 409 ERR::SESSION::BUSY com Retry-After. Para trabalho em paralelo, crie uma sessão por worker.
O que acontece quando eu libero uma sessão?
O release apaga os cookies e o armazenamento dele. Ele não mantém o login para depois. Um scrape que usa o ID liberado retorna 410 ERR::SESSION::RELEASED. Salve o contexto antes do release se precisar restaurá-lo em uma nova sessão.
Quanto custam as sessões?
Criar, ler e liberar sessões não custa nada. Cada scrape é cobrado pelo nível de renderização que a sessão usa: 1 crédito para fetch, 3 para js ou 8 para browser. Requisições com falha custam 0. O Spicrawl é grátis durante o beta.