O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Web scraping para pipelines de RAG e LLM

Obtenha páginas web como Markdown limpo, pronto para chunking e embeddings, sem menus, anúncios e scripts.

Por que Markdown para RAG

  • A estrutura sobrevive. Títulos, listas, tabelas e código permanecem, então você pode dividir por seções reais em vez de contagens arbitrárias de caracteres.
  • Muito menos tokens. Sem menus, rodapés e anúncios, o conteúdo principal costuma ter de 3% a 24% dos tokens do HTML bruto.
  • Conteúdo principal por padrão. Refine ainda mais com include_tags e exclude_tags.

Como funciona

  1. Envie uma URL para POST /v1/scrape com response_format: "markdown".
  2. Dividir em chunks e gerar embeddings o Markdown no seu próprio pipeline. O Spicrawl não faz essa etapa.
  3. Atualize no seu cronograma enviando as mesmas URLs de novo. Para muitas páginas, use um único job em batch de até 10.000 URLs.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Guarde sua chave em SPICRAWL_API_KEY.

Fontes que precisam de mais

  • Páginas JavaScript: defina js_render: true. Veja scraping de sites JavaScript.
  • PDFs: convertidos em texto simples quando você pede markdown ou text. PDFs digitalizados ou criptografados não retornam texto.
  • Páginas atrás de um login: use uma sessão, para contas que são suas ou que você pode usar.

Bom saber

  • Sem crawl. O Spicrawl não encontra URLs nem segue links. Envie a lista, por exemplo a de um sitemap.
  • Cache: os resultados ficam em cache por 48 horas por padrão. Defina cache_ttl: 0 para uma busca nova. Um acerto de cache é cobrado como a busca que o guardou.
  • Preços: grátis durante o beta. Uma página simples custa 1 crédito, JavaScript 3, um navegador completo 8. Requisições que falham custam 0.

Perguntas frequentes

Por que usar Markdown para RAG?

O Markdown mantém títulos, listas, tabelas e código, para que o seu chunker divida pela estrutura real. Ele também é muito menor que o HTML bruto: sem menus, rodapés e anúncios, o conteúdo principal costuma ter de 3% a 24% dos tokens do HTML.

O Spicrawl divide o conteúdo em chunks ou gera embeddings?

Não. O Spicrawl retorna Markdown limpo. Dividi-lo em chunks, gerar embeddings e guardá-los em um banco de dados vetorial acontece no seu próprio pipeline ou framework.

Como faço scrape de muitas páginas para uma base de conhecimento?

Envie até 10.000 URLs em um job em batch e leia os resultados como JSON Lines. O Spicrawl não faz crawl: você envia a lista de URLs, por exemplo a partir de um sitemap.

Ele lê páginas JavaScript e PDFs?

Sim. Defina js_render como true para páginas que montam o conteúdo no navegador. Um PDF é convertido em texto simples quando você pede markdown ou texto; PDFs digitalizados ou criptografados não retornam texto.

Como mantenho a base de conhecimento atualizada?

Rode as mesmas URLs de novo em um cronograma que você controla. Os resultados ficam em cache por 48 horas por padrão, então defina cache_ttl como 0 quando precisar de um fetch novo. Um acerto de cache é cobrado como o fetch que o armazenou.

Quanto custa?

Grátis durante o beta: 1.000 créditos por mês e sem cartão de crédito. Uma página simples custa 1 crédito, a renderização JavaScript 3 e um navegador completo 8. Requisições com falha custam 0.