Converta qualquer site em Markdown limpo para LLMs
Envie uma URL e receba de volta o conteúdo principal da página como Markdown: títulos, listas, links, tabelas e código, sem a navegação, os scripts e o rodapé que desperdiçam os tokens de um LLM.
Como funciona
- Envie uma URL para o endpoint de scrape com
response_format: "markdown". - O Spicrawl busca a página, renderizando JavaScript se você pedir, e mantém o conteúdo principal.
- Você recebe Markdown de volta como corpo da resposta, pronto para um prompt, um índice RAG ou um arquivo.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownDefina a chave uma vez com SPICRAWL_API_KEY e nunca a escreva em código que você commita. O formato padrão da API é HTML, então sempre defina response_format.
De HTML para Markdown
Uma página típica envolve alguns parágrafos em navegação, scripts e marcação de rodapé. O Spicrawl mantém o conteúdo e a estrutura dele:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Títulos, listas, links, tabelas e blocos de código sobrevivem à conversão. Layout, estilo e partes interativas não. Em nossas medições de seis páginas reais, o Markdown do Spicrawl usou de 53% a 97% menos tokens que o HTML das mesmas páginas.
Opções que reduzem tokens
| Campo | O que ele faz |
|---|---|
response_format | markdown mantém títulos, links e tabelas; text remove toda a sintaxe Markdown. |
main_content_only | Ativado por padrão para Markdown: navegação, rodapés e barras laterais são removidos. Defina false para manter a página inteira. |
include_tags | Seletores CSS a manter. Só as partes correspondentes da página são convertidas. |
exclude_tags | Seletores CSS a remover, como banners de cookies ou listas de posts relacionados. |
js_render | Carregue a página primeiro em um navegador, para conteúdo criado por JavaScript. |
links | Retorne também os links da página como uma lista separada, em uma resposta JSON. |
Os filtros de tags rodam antes da conversão, então tudo o que você remove nunca chega ao seu modelo:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}Páginas JavaScript e PDFs
Comece com uma requisição simples (1 crédito). Se o resultado for uma casca vazia ou uma mensagem de carregamento, envie de novo com js_render: true (3 créditos) para que a página rode em um navegador antes da conversão. Defina max_cost para a etapa que você pretende usar, para que uma requisição nunca custe mais do que você espera.
Quando a URL é um PDF, o Spicrawl converte em texto simples pelo preço normal. Títulos e tabelas não são reconstruídos, e PDFs digitalizados ou criptografados não retornam texto.
Converta várias páginas
Um job em batch aceita até 10.000 URLs por chamada, roda todas em paralelo e pode devolver cada uma como Markdown. Os resultados são mantidos por 72 horas.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'O Spicrawl converte as URLs que você envia. Ele não faz crawl de um site nem descobre páginas por você, então reúna as URLs antes, por exemplo a partir do sitemap do site.
De um agente de IA
Os agentes podem chamar a mesma conversão pelo Servidor MCP do Spicrawl: a ferramenta spicrawl_scrape retorna Markdown por padrão. A CLI spicrawl faz o mesmo a partir de um terminal ou de um script.
Uma API conversora ou uma biblioteca de HTML para Markdown?
Se você já tem o HTML, uma biblioteca de código aberto como o Turndown o converte no seu próprio código, de graça. Mas você ainda precisa buscar a página, executar o JavaScript dela, passar por páginas que recusam requisições simples e remover a navegação por conta própria. O Spicrawl faz essas etapas em uma única requisição, o que pesa mais quando você converte páginas de muitos sites diferentes.
Bom saber
- Verifique o status do site. O status HTTP é o do Spicrawl. O status da própria página está no cabeçalho
X-Target-Status: um site que responde 403 ainda volta como HTTP 200 e custa 0 crédito. - Confira uma amostra. O isolamento do conteúdo principal funciona na maioria das páginas, mas parte da navegação pode sobreviver em layouts incomuns. Olhe uma página de cada tipo antes de indexar milhares.
- Preços. Grátis durante o beta, sem cartão de crédito. Uma requisição simples custa 1 crédito, a renderização JavaScript 3 e a renderização em navegador completo 8. A conversão para Markdown não custa nada, e requisições que falham ou são bloqueadas custam 0.
Perguntas frequentes
Como converto um site em Markdown?
Envie uma requisição POST para https://api.spicrawl.com/v1/scrape com a URL da página e response_format definido como markdown. O corpo da resposta é o próprio Markdown. Você também pode usar a CLI spicrawl (spicrawl scrape URL --format markdown) ou a ferramenta MCP spicrawl_scrape a partir de um agente de IA.
Ele remove navegação, anúncios e rodapés?
Sim. Para Markdown, o isolamento do conteúdo principal vem ativado por padrão, então navegação, rodapés e asides são removidos. Você pode restringir ainda mais com include_tags e exclude_tags, ou definir main_content_only como false para manter a página inteira. Alguma navegação ainda pode sobreviver em layouts incomuns, então confira uma amostra de cada tipo de página.
Ele converte páginas com muito JavaScript?
Sim. Defina js_render como true e a página é carregada em um navegador antes da conversão. Comece com uma requisição simples, que custa 1 crédito, e renderize só quando o resultado simples vier vazio ou incompleto; a renderização custa 3 créditos.
Ele converte PDFs em Markdown?
Um PDF é convertido em texto simples quando você pede markdown ou text, pelo preço normal. Títulos e tabelas não são reconstruídos, e PDFs digitalizados ou criptografados não retornam texto.
Quanto custa?
O Spicrawl é grátis durante o beta, sem cartão de crédito. As requisições usam créditos: 1 para uma requisição simples, 3 para renderização JavaScript e 8 para renderização em navegador completo. Converter para Markdown não custa nada extra, e requisições com falha ou bloqueadas custam 0.
Posso converter muitas páginas de uma vez?
Sim. Um job em batch aceita até 10.000 URLs por chamada e pode devolver cada uma como Markdown. O Spicrawl não descobre páginas por você: envie as URLs que quer, por exemplo a partir de um sitemap.