O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Faça scrape de sites atrás de um login

Faça login uma vez e continue logado. Leia as páginas da sua conta com uma única API.

Painel de controle do Spicrawl
Escalonamento automático
Navegador
Fingerprint
Proxy
Proxies gerenciados: em breve
Sessão
Ações
Bloquear assets
Captura de rede
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Exemplo de cabeçalhos de resposta
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
bypass
X-Credits-Charged
3
Sessões

Mantenha cookies e armazenamento entre requisições, para que o login continue valendo.

Apenas um exemplo, não é uma requisição real. O beta é grátis.

Mantenha o login entre requisições

Uma sessão compartilha um único cookie jar entre as páginas que você lê. Este exemplo mostra o fluxo, não uma requisição real.

Crie uma sessão
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Como funciona

  1. Crie uma sessão. Guarde o ID da resposta.
  2. Faça login com ações de navegador. Envie o ID da sessão junto com a requisição de login.
  3. Leia as páginas da conta. Reutilize o mesmo ID, uma requisição por vez.
  4. Libere a sessão quando terminar.

Sua chave de API precisa do escopo sessions para criar e gerenciar sessões, e de scrape para usar uma. Guarde-a em SPICRAWL_API_KEY.

1. Crie uma sessão

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

A resposta inclui id, engine, expires_at e hard_expires_at. Ela nunca inclui cookies. O exemplo abaixo usa um ID de exemplo; troque pelo seu.

2. Faça login com ações

Envie este corpo para POST /v1/scrape com o seu bearer token. Altere a URL e os seletores para combinar com o site. Use credenciais de uma conta que seja sua ou que você possa usar.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Substitua os marcadores de e-mail e senha com segurança em tempo de execução. A ação de senha usa secret: true. Mantenha js_render: true: um ID de sessão sozinho não permite campos exclusivos de navegador.

3. Leia páginas com o mesmo login

Depois que o login der certo, passe session_id em cada scrape. Cookies e armazenamento são mantidos. Python e TypeScript reaproveitam as variáveis da etapa de criação.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

As requisições de sessão sempre ignoram o cache de resultados. Confira Cache-State: bypass; a página é buscada de novo.

4. Libere a sessão

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

A liberação apaga cookies e armazenamento. Ela não mantém o login. Requisições posteriores nesse ID retornam 410 ERR::SESSION::RELEASED.

Opções de sessão

OpçãoO que saber
engineFixo durante a vida da sessão. Um scrape não pode escolher outro engine. Verifique a resposta de criação se você deixar isso de fora.
ttl_secondsPadrão de 1.800 segundos; mínimo de 30. Um scrape bem-sucedido estende o tempo de vida, nunca além de hard_expires_at.
session_contextRestaure cookies e armazenamento salvos de uma sessão ativa. O contexto salvo é limitado a 1 MiB.

Para salvar um login antes da liberação, leia GET /v1/sessions/{id}/context. Guarde esse estado com segurança e depois passe-o como session_context ao criar uma nova sessão.

Quanto custa

Grátis durante o beta. Criar, ler e liberar sessões não custa nada. Cada scrape é cobrado pelo nível de renderização da sessão: fetch 1 crédito, js 3, browser 8. Falhas, incluindo uma sessão ocupada ou expirada, custam 0.

Bom saber

  • Uma requisição por vez por sessão. Uma segunda renderização retorna 409 ERR::SESSION::BUSY com Retry-After. Use uma sessão por worker para trabalho em paralelo.
  • Sessões expiradas precisam de um novo login. Um ID desconhecido, apagado ou malformado retorna um erro; a requisição nunca roda sem a sessão dela.
  • Seu próprio proxy: use uma saída fixa para sites que desafiam um login quando o IP muda. As saídas gerenciadas por sessão chegam em breve.
  • Sem crawl. Você fornece as URLs. Proxies gerenciados, stealth, um navegador remoto e extração a partir de um prompt estão chegando em breve.
  • Sua responsabilidade: use só contas e páginas que você tem o direito de acessar. Leia nossos termos.

Perguntas frequentes

Como faço scrape de um site atrás de um login?

Crie uma sessão, faça login com ações de navegador e depois envie o ID dela como session_id em cada scrape. Use js_render: true para ações e outros campos exclusivos de navegador. Use apenas contas e páginas que você tem o direito de acessar.

O que uma sessão mantém?

Uma sessão mantém cookies e o armazenamento do navegador entre requisições. O engine é fixo durante a vida dela. A resposta normal da sessão nunca contém cookies; o endpoint de contexto retorna o estado salvo enquanto a sessão está ativa.

Posso enviar muitas requisições em uma sessão ao mesmo tempo?

Não. Envie uma requisição por vez por sessão. Uma segunda requisição enquanto uma renderização está rodando retorna 409 ERR::SESSION::BUSY com Retry-After. Para trabalho em paralelo, crie uma sessão por worker.

O que acontece quando eu libero uma sessão?

O release apaga os cookies e o armazenamento dele. Ele não mantém o login para depois. Um scrape que usa o ID liberado retorna 410 ERR::SESSION::RELEASED. Salve o contexto antes do release se precisar restaurá-lo em uma nova sessão.

Quanto custam as sessões?

Criar, ler e liberar sessões não custa nada. Cada scrape é cobrado pelo nível de renderização que a sessão usa: 1 crédito para fetch, 3 para js ou 8 para browser. Requisições com falha custam 0. O Spicrawl é grátis durante o beta.