O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Perguntas frequentes

Respostas rápidas sobre o Spicrawl, de preços a proxies.

Todas as perguntas

Geral

O que é o Spicrawl?

O Spicrawl é uma API de web scraping que transforma qualquer URL em Markdown limpo, HTML, PDF ou JSON estruturado para o seu código ou agente de IA, por meio de uma API, CLI ou servidor MCP.

O Spicrawl é grátis?

Sim. É grátis durante o beta, com 1.000 créditos por mês e sem cartão de crédito.

O que Spicrawl significa?

O nome junta "spider" (aranha) e "crawl" (rastejar), e é por isso que o nosso logo é uma aranha. Escreve-se S-P-I-C-R-A-W-L. O Spicrawl é uma API de web scraping: você envia as URLs que quer, e ele retorna dados limpos.

Por que não usar o web fetch embutido no meu assistente de IA?

As ferramentas de fetch embutidas servem para uma olhada rápida, mas muitas vezes retornam texto bruto ou cortado e podem não executar JavaScript. O Spicrawl retorna Markdown ou JSON limpo, renderiza JavaScript quando a página precisa, mantém sessões de login, executa cliques e preenchimento de formulários e processa até 10.000 URLs em um único job. Seu agente recebe o conteúdo da página, não os menus e scripts dela.

Web scraping é legal?

Depende do que você coleta, de onde você está e de como usa os dados. Fazer scraping de páginas públicas é comum, mas você é responsável por respeitar os termos de cada site, os direitos autorais e as leis de proteção de dados, como o GDPR, especialmente no caso de dados pessoais. Se você tiver dúvida, consulte um advogado sobre o seu caso específico.

Scraping e dados

Posso fazer scrape de sites com JavaScript?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

O Spicrawl consegue passar por proteção anti-bot como a da Cloudflare?

Muitas vezes, mas nem sempre. Use um fingerprint de navegador real, renderização em navegador ou o seu próprio proxy. Um desafio de bot retorna um erro claro e não custa nada. O modo stealth e os proxies gerenciados não estão no beta.

Como transformo um site em Markdown para um LLM?

Envie a URL com response_format definido como markdown. O Spicrawl retorna o conteúdo principal da página como Markdown, sem menus, rodapés e asides, o que costuma usar uma fração dos tokens do HTML bruto. Ele também faz parsing de PDFs, e a conversão para Markdown não custa nada extra.

Posso extrair dados estruturados como JSON?

Sim, de três formas: o autoparse lê os metadados da própria página, um mapa de seletores extrai campos exatos e um JSON Schema com seletores retorna uma saída tipada e validada. Os três são grátis além do preço do engine. A extração a partir de uma descrição em linguagem natural, usando um modelo, está em breve.

Posso fazer scrape de muitas URLs de uma vez?

Sim. Um job em batch aceita até 10.000 URLs por chamada e roda todas em paralelo. Você acompanha o progresso e depois baixa os resultados como JSON Lines. Os resultados são mantidos por 72 horas.

Posso manter uma sessão de login?

Sim. Crie uma sessão e passe o id dela em cada requisição para reutilizar os mesmos cookies, o armazenamento do navegador e o IP de saída, para que um login continue valendo entre páginas. Uma organização pode ter até 100 sessões ativas ao mesmo tempo.

Posso automatizar cliques e formulários?

Sim. As ações de navegador podem clicar, digitar, selecionar, rolar a página, esperar e executar JavaScript em uma página renderizada antes de ela ser capturada, com até 50 passos por requisição.

Posso usar proxies?

Sim. Traga o seu próprio proxy sem taxa extra de proxy. Proxies gerenciados e segmentação por país embutida estão em breve e não estão disponíveis durante o beta.

Agentes de IA e desenvolvedores

Posso usar o Spicrawl com agentes de IA?

Sim. O servidor MCP hospedado permite que o Claude Code, o Cursor e o Codex façam scrape de páginas, rodem batches, reutilizem sessões e executem ações de navegador. Rode spicrawl init para configurar.

Quais linguagens de programação posso usar?

Qualquer linguagem que consiga enviar uma requisição HTTP. A documentação inclui exemplos em cURL, Python e TypeScript, e há um SDK JavaScript e TypeScript no npm (@spicrawl/sdk) para Node.js 18 e posteriores. A CLI spicrawl funciona em qualquer shell ou script.

Existe uma CLI ou um painel?

Os dois. Uma CLI cobre scraping, batches, sessões, logs e uso, e o painel tem um playground, logs de atividade, uso e gerenciamento de chaves.

Créditos e limites

Requisições com falha custam créditos?

Não. Só requisições bem-sucedidas custam créditos: 1 para simples, 3 para renderização JavaScript e 8 para navegador completo. Erros, desafios de bot e timeouts são grátis.

Existem rate limits?

Sim. Cada chave de API tem uma taxa de requisições, cada organização tem um limite de requisições rodando ao mesmo tempo e há uma franquia mensal de créditos. Toda resposta informa os seus limites atuais nos cabeçalhos, e uma requisição recusada por um limite não custa nada.

Ainda travado? Leia a documentação ou escreva para support@spicrawl.com.