Convierte cualquier sitio web en Markdown limpio para LLM
Envía una URL y recibe el contenido principal de la página como Markdown: encabezados, listas, enlaces, tablas y código, sin la navegación, los scripts ni el pie de página que malgastan los tokens de un LLM.
Cómo funciona
- Envía una URL al endpoint de scrape con
response_format: "markdown". - Spicrawl obtiene la página, renderizando JavaScript si lo pides, y conserva el contenido principal.
- Recibes Markdown como cuerpo de la respuesta, listo para un prompt, un índice RAG o un archivo.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownConfigura la clave una vez con SPICRAWL_API_KEY y nunca la escribas en código que confirmes en el repositorio. El formato predeterminado de la API es HTML, así que configura siempre response_format.
De HTML a Markdown
Una página típica envuelve unos pocos párrafos en navegación, scripts y marcado de pie de página. Spicrawl conserva el contenido y su estructura:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Los encabezados, las listas, los enlaces, las tablas y los bloques de código sobreviven a la conversión. El diseño, los estilos y las partes interactivas no. En nuestras mediciones de seis páginas reales, el Markdown de Spicrawl usó entre un 53% y un 97% menos de tokens que el HTML de las mismas páginas.
Opciones que reducen tokens
| Campo | Qué hace |
|---|---|
response_format | markdown conserva los encabezados, los enlaces y las tablas; text elimina toda la sintaxis de Markdown. |
main_content_only | Activado por defecto para Markdown: se eliminan la navegación, los pies de página y los elementos laterales. Configura false para conservar la página completa. |
include_tags | Selectores CSS que conservar. Solo se convierten las partes de la página que coinciden. |
exclude_tags | Selectores CSS que eliminar, como banners de cookies o listas de entradas relacionadas. |
js_render | Carga primero la página en un navegador, para contenido generado con JavaScript. |
links | Devuelve también los enlaces de la página como una lista aparte, en una respuesta JSON. |
Los filtros de etiquetas se ejecutan antes de la conversión, así que lo que elimines nunca llega a tu modelo:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}Páginas con JavaScript y PDF
Empieza con una solicitud simple (1 crédito). Si el resultado es un cascarón vacío o un mensaje de carga, envíala de nuevo con js_render: true (3 créditos) para que la página se ejecute en un navegador antes de la conversión. Configura max_cost con el paso que pretendes, así una solicitud nunca cuesta más de lo que esperas.
Cuando la URL es un PDF, Spicrawl lo convierte a texto plano al precio normal. No se reconstruyen encabezados ni tablas, y los PDF escaneados o cifrados no devuelven texto.
Convierte muchas páginas
Un trabajo batch admite hasta 10.000 URL por llamada, las ejecuta en paralelo y puede devolver cada una como Markdown. Los resultados se conservan 72 horas.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl convierte las URL que envías. No rastrea un sitio ni descubre páginas por ti, así que reúne primero las URL, por ejemplo desde el sitemap del sitio.
Desde un agente de IA
Los agentes pueden llamar a la misma conversión a través del Servidor MCP de Spicrawl: la herramienta spicrawl_scrape devuelve Markdown por defecto. La CLI spicrawl hace lo mismo desde una terminal o un script.
¿Una API conversora o una biblioteca de HTML a Markdown?
Si ya tienes el HTML, una biblioteca de código abierto como Turndown lo convierte en tu propio código gratis. Aun así tienes que obtener la página, ejecutar su JavaScript, superar las páginas que rechazan solicitudes simples y quitar tú mismo la navegación. Spicrawl hace esos pasos en una sola solicitud, lo que importa más cuando conviertes páginas de muchos sitios distintos.
Conviene saber
- Revisa el estado del sitio. El estado HTTP es el de Spicrawl. El estado propio de la página está en el encabezado
X-Target-Status: un sitio que responde 403 sigue volviendo como HTTP 200, y cuesta 0 créditos. - Revisa una muestra. El aislamiento del contenido principal funciona en la mayoría de las páginas, pero en diseños poco habituales puede quedar algo de navegación. Revisa una página de cada tipo antes de indexar miles.
- Precios. Gratis durante la beta, sin tarjeta de crédito. Una solicitud simple cuesta 1 crédito, el renderizado de JavaScript 3 y el renderizado con navegador completo 8. La conversión a Markdown no añade nada, y las solicitudes fallidas o bloqueadas cuestan 0.
Preguntas frecuentes
¿Cómo convierto un sitio web a Markdown?
Envía una solicitud POST a https://api.spicrawl.com/v1/scrape con la URL de la página y response_format configurado en markdown. El cuerpo de la respuesta es el propio Markdown. También puedes usar la CLI spicrawl (spicrawl scrape URL --format markdown) o la herramienta MCP spicrawl_scrape desde un agente de IA.
¿Elimina la navegación, los anuncios y los pies de página?
Sí. Para Markdown, el aislamiento del contenido principal está activado por defecto, así que se eliminan la navegación, los pies de página y los asides. Puedes acotarlo más con include_tags y exclude_tags, o configurar main_content_only en false para conservar la página completa. Algo de navegación aún puede sobrevivir en diseños inusuales, así que revisa una muestra de cada tipo de página.
¿Puede convertir páginas con mucho JavaScript?
Sí. Configura js_render como true y la página se carga en un navegador antes de la conversión. Empieza con una solicitud simple, que cuesta 1 crédito, y renderiza solo cuando el resultado simple esté vacío o incompleto; el renderizado cuesta 3 créditos.
¿Puede convertir PDF a Markdown?
Un PDF se convierte a texto plano cuando pides markdown o text, al precio normal. No se reconstruyen encabezados ni tablas, y los PDF escaneados o cifrados no devuelven texto.
¿Cuánto cuesta?
Spicrawl es gratis durante su beta, sin tarjeta de crédito. Las solicitudes usan créditos: 1 por una solicitud simple, 3 por renderizado con JavaScript y 8 por renderizado con navegador completo. Convertir a Markdown no cuesta nada extra, y las solicitudes fallidas o bloqueadas cuestan 0.
¿Puedo convertir muchas páginas a la vez?
Sí. Un trabajo batch admite hasta 10.000 URL por llamada y puede devolver cada una como Markdown. Spicrawl no descubre páginas por ti: envía las URL que quieres, por ejemplo desde un sitemap.