O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Converta qualquer site em Markdown limpo para LLMs

Envie uma URL e receba de volta o conteúdo principal da página como Markdown: títulos, listas, links, tabelas e código, sem a navegação, os scripts e o rodapé que desperdiçam os tokens de um LLM.

https://
Formato: Markdown Só o conteúdo principal

Como funciona

  1. Envie uma URL para o endpoint de scrape com response_format: "markdown".
  2. O Spicrawl busca a página, renderizando JavaScript se você pedir, e mantém o conteúdo principal.
  3. Você recebe Markdown de volta como corpo da resposta, pronto para um prompt, um índice RAG ou um arquivo.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Defina a chave uma vez com SPICRAWL_API_KEY e nunca a escreva em código que você commita. O formato padrão da API é HTML, então sempre defina response_format.

De HTML para Markdown

Uma página típica envolve alguns parágrafos em navegação, scripts e marcação de rodapé. O Spicrawl mantém o conteúdo e a estrutura dele:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Títulos, listas, links, tabelas e blocos de código sobrevivem à conversão. Layout, estilo e partes interativas não. Em nossas medições de seis páginas reais, o Markdown do Spicrawl usou de 53% a 97% menos tokens que o HTML das mesmas páginas.

Opções que reduzem tokens

CampoO que ele faz
response_formatmarkdown mantém títulos, links e tabelas; text remove toda a sintaxe Markdown.
main_content_onlyAtivado por padrão para Markdown: navegação, rodapés e barras laterais são removidos. Defina false para manter a página inteira.
include_tagsSeletores CSS a manter. Só as partes correspondentes da página são convertidas.
exclude_tagsSeletores CSS a remover, como banners de cookies ou listas de posts relacionados.
js_renderCarregue a página primeiro em um navegador, para conteúdo criado por JavaScript.
linksRetorne também os links da página como uma lista separada, em uma resposta JSON.

Os filtros de tags rodam antes da conversão, então tudo o que você remove nunca chega ao seu modelo:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

Páginas JavaScript e PDFs

Comece com uma requisição simples (1 crédito). Se o resultado for uma casca vazia ou uma mensagem de carregamento, envie de novo com js_render: true (3 créditos) para que a página rode em um navegador antes da conversão. Defina max_cost para a etapa que você pretende usar, para que uma requisição nunca custe mais do que você espera.

Quando a URL é um PDF, o Spicrawl converte em texto simples pelo preço normal. Títulos e tabelas não são reconstruídos, e PDFs digitalizados ou criptografados não retornam texto.

Converta várias páginas

Um job em batch aceita até 10.000 URLs por chamada, roda todas em paralelo e pode devolver cada uma como Markdown. Os resultados são mantidos por 72 horas.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

O Spicrawl converte as URLs que você envia. Ele não faz crawl de um site nem descobre páginas por você, então reúna as URLs antes, por exemplo a partir do sitemap do site.

De um agente de IA

Os agentes podem chamar a mesma conversão pelo Servidor MCP do Spicrawl: a ferramenta spicrawl_scrape retorna Markdown por padrão. A CLI spicrawl faz o mesmo a partir de um terminal ou de um script.

Uma API conversora ou uma biblioteca de HTML para Markdown?

Se você já tem o HTML, uma biblioteca de código aberto como o Turndown o converte no seu próprio código, de graça. Mas você ainda precisa buscar a página, executar o JavaScript dela, passar por páginas que recusam requisições simples e remover a navegação por conta própria. O Spicrawl faz essas etapas em uma única requisição, o que pesa mais quando você converte páginas de muitos sites diferentes.

Bom saber

  • Verifique o status do site. O status HTTP é o do Spicrawl. O status da própria página está no cabeçalho X-Target-Status: um site que responde 403 ainda volta como HTTP 200 e custa 0 crédito.
  • Confira uma amostra. O isolamento do conteúdo principal funciona na maioria das páginas, mas parte da navegação pode sobreviver em layouts incomuns. Olhe uma página de cada tipo antes de indexar milhares.
  • Preços. Grátis durante o beta, sem cartão de crédito. Uma requisição simples custa 1 crédito, a renderização JavaScript 3 e a renderização em navegador completo 8. A conversão para Markdown não custa nada, e requisições que falham ou são bloqueadas custam 0.

Perguntas frequentes

Como converto um site em Markdown?

Envie uma requisição POST para https://api.spicrawl.com/v1/scrape com a URL da página e response_format definido como markdown. O corpo da resposta é o próprio Markdown. Você também pode usar a CLI spicrawl (spicrawl scrape URL --format markdown) ou a ferramenta MCP spicrawl_scrape a partir de um agente de IA.

Ele remove navegação, anúncios e rodapés?

Sim. Para Markdown, o isolamento do conteúdo principal vem ativado por padrão, então navegação, rodapés e asides são removidos. Você pode restringir ainda mais com include_tags e exclude_tags, ou definir main_content_only como false para manter a página inteira. Alguma navegação ainda pode sobreviver em layouts incomuns, então confira uma amostra de cada tipo de página.

Ele converte páginas com muito JavaScript?

Sim. Defina js_render como true e a página é carregada em um navegador antes da conversão. Comece com uma requisição simples, que custa 1 crédito, e renderize só quando o resultado simples vier vazio ou incompleto; a renderização custa 3 créditos.

Ele converte PDFs em Markdown?

Um PDF é convertido em texto simples quando você pede markdown ou text, pelo preço normal. Títulos e tabelas não são reconstruídos, e PDFs digitalizados ou criptografados não retornam texto.

Quanto custa?

O Spicrawl é grátis durante o beta, sem cartão de crédito. As requisições usam créditos: 1 para uma requisição simples, 3 para renderização JavaScript e 8 para renderização em navegador completo. Converter para Markdown não custa nada extra, e requisições com falha ou bloqueadas custam 0.

Posso converter muitas páginas de uma vez?

Sim. Um job em batch aceita até 10.000 URLs por chamada e pode devolver cada uma como Markdown. O Spicrawl não descobre páginas por você: envie as URLs que quer, por exemplo a partir de um sitemap.