Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Web scraping para pipelines de RAG y LLM

Obtén páginas web como Markdown limpio, listo para dividir en fragmentos e incrustar, sin los menús, los anuncios ni los scripts.

Por qué Markdown para RAG

  • La estructura se conserva. Los encabezados, las listas, las tablas y el código se conservan, así puedes dividir por secciones reales en lugar de por recuentos arbitrarios de caracteres.
  • Muchos menos tokens. Con los menús, los pies de página y los anuncios eliminados, el contenido principal suele ser del 3% al 24% de los tokens del HTML sin procesar.
  • Contenido principal por defecto. Acótalo más con include_tags y exclude_tags.

Cómo funciona

  1. Envía una URL a POST /v1/scrape con response_format: "markdown".
  2. Divide en fragmentos e incrusta el Markdown en tu propio pipeline. Spicrawl no hace este paso.
  3. Actualiza según tu calendario enviando las mismas URL otra vez. Para muchas páginas, usa un trabajo batch de hasta 10.000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Guarda tu clave en SPICRAWL_API_KEY.

Fuentes que necesitan más

  • Páginas con JavaScript: configura js_render: true. Consulta scraping de sitios con JavaScript.
  • PDF: se convierten a texto sin formato cuando pides markdown o text. Los PDF escaneados o cifrados no devuelven texto.
  • Páginas con login: usa una session, para cuentas que sean tuyas o que puedas usar.

Conviene saber

  • No rastrea. Spicrawl no encuentra URL ni sigue enlaces. Envía la lista, por ejemplo desde un sitemap.
  • Caché: los resultados se guardan en caché durante 48 horas por defecto. Configura cache_ttl: 0 para una obtención nueva. Un acierto de caché se factura como la obtención que lo guardó.
  • Precios: gratis durante la beta. Una página simple cuesta 1 crédito, con JavaScript 3, con un navegador completo 8. Las solicitudes fallidas cuestan 0.

Preguntas frecuentes

¿Por qué usar Markdown para RAG?

Markdown conserva los encabezados, las listas, las tablas y el código, así tu chunker puede dividir según la estructura real. También es mucho más pequeño que el HTML en bruto: sin menús, pies de página ni anuncios, el contenido principal suele ser del 3% al 24% de los tokens del HTML.

¿Spicrawl divide o incrusta el contenido?

No. Spicrawl devuelve Markdown limpio. Dividirlo en fragmentos, incrustarlo y guardarlo en una base de datos vectorial ocurre en tu propio pipeline o framework.

¿Cómo hago scraping de muchas páginas para una base de conocimiento?

Envía hasta 10.000 URL en un trabajo batch y lee los resultados como JSON Lines. Spicrawl no rastrea: tú envías la lista de URL, por ejemplo desde un sitemap.

¿Puede leer páginas con JavaScript y PDF?

Sí. Configura js_render como true para las páginas que construyen su contenido en el navegador. Un PDF se convierte a texto sin formato cuando pides markdown o text; los PDF escaneados o cifrados no devuelven texto.

¿Cómo mantengo actualizada la base de conocimiento?

Vuelve a ejecutar las mismas URL con un calendario que controlas. Los resultados se guardan en caché 48 horas por defecto, así que configura cache_ttl en 0 cuando necesites una obtención nueva. Un acierto de caché se factura como la solicitud que lo guardó.

¿Cuánto cuesta?

Gratis durante la beta: 1.000 créditos al mes y sin tarjeta de crédito. Una página simple cuesta 1 crédito, el renderizado con JavaScript 3 y un navegador completo 8. Las solicitudes fallidas cuestan 0.