Web scraping para pipelines de RAG y LLM
Obtén páginas web como Markdown limpio, listo para dividir en fragmentos e incrustar, sin los menús, los anuncios ni los scripts.
Por qué Markdown para RAG
- La estructura se conserva. Los encabezados, las listas, las tablas y el código se conservan, así puedes dividir por secciones reales en lugar de por recuentos arbitrarios de caracteres.
- Muchos menos tokens. Con los menús, los pies de página y los anuncios eliminados, el contenido principal suele ser del 3% al 24% de los tokens del HTML sin procesar.
- Contenido principal por defecto. Acótalo más con
include_tagsyexclude_tags.
Cómo funciona
- Envía una URL a
POST /v1/scrapeconresponse_format: "markdown". - Divide en fragmentos e incrusta el Markdown en tu propio pipeline. Spicrawl no hace este paso.
- Actualiza según tu calendario enviando las mismas URL otra vez. Para muchas páginas, usa un trabajo batch de hasta 10.000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Guarda tu clave en SPICRAWL_API_KEY.
Fuentes que necesitan más
- Páginas con JavaScript: configura
js_render: true. Consulta scraping de sitios con JavaScript. - PDF: se convierten a texto sin formato cuando pides
markdownotext. Los PDF escaneados o cifrados no devuelven texto. - Páginas con login: usa una session, para cuentas que sean tuyas o que puedas usar.
Conviene saber
- No rastrea. Spicrawl no encuentra URL ni sigue enlaces. Envía la lista, por ejemplo desde un sitemap.
- Caché: los resultados se guardan en caché durante 48 horas por defecto. Configura
cache_ttl: 0para una obtención nueva. Un acierto de caché se factura como la obtención que lo guardó. - Precios: gratis durante la beta. Una página simple cuesta 1 crédito, con JavaScript 3, con un navegador completo 8. Las solicitudes fallidas cuestan 0.
Preguntas frecuentes
¿Por qué usar Markdown para RAG?
Markdown conserva los encabezados, las listas, las tablas y el código, así tu chunker puede dividir según la estructura real. También es mucho más pequeño que el HTML en bruto: sin menús, pies de página ni anuncios, el contenido principal suele ser del 3% al 24% de los tokens del HTML.
¿Spicrawl divide o incrusta el contenido?
No. Spicrawl devuelve Markdown limpio. Dividirlo en fragmentos, incrustarlo y guardarlo en una base de datos vectorial ocurre en tu propio pipeline o framework.
¿Cómo hago scraping de muchas páginas para una base de conocimiento?
Envía hasta 10.000 URL en un trabajo batch y lee los resultados como JSON Lines. Spicrawl no rastrea: tú envías la lista de URL, por ejemplo desde un sitemap.
¿Puede leer páginas con JavaScript y PDF?
Sí. Configura js_render como true para las páginas que construyen su contenido en el navegador. Un PDF se convierte a texto sin formato cuando pides markdown o text; los PDF escaneados o cifrados no devuelven texto.
¿Cómo mantengo actualizada la base de conocimiento?
Vuelve a ejecutar las mismas URL con un calendario que controlas. Los resultados se guardan en caché 48 horas por defecto, así que configura cache_ttl en 0 cuando necesites una obtención nueva. Un acierto de caché se factura como la solicitud que lo guardó.
¿Cuánto cuesta?
Gratis durante la beta: 1.000 créditos al mes y sin tarjeta de crédito. Una página simple cuesta 1 crédito, el renderizado con JavaScript 3 y un navegador completo 8. Las solicitudes fallidas cuestan 0.