Web scraping pour le RAG et les pipelines LLM
Obtenez des pages web en Markdown propre, prêtes à découper et à vectoriser, sans les menus, les publicités ni les scripts.
Pourquoi le Markdown pour le RAG
- La structure survit. Les titres, listes, tableaux et blocs de code sont conservés ; vous pouvez ainsi découper selon de vraies sections plutôt que selon un nombre de caractères arbitraire.
- Beaucoup moins de jetons. Sans les menus, les pieds de page et les publicités, le contenu principal représente généralement de 3 % à 24 % des jetons du HTML brut.
- Contenu principal par défaut. Affinez-le avec
include_tagsetexclude_tags.
Comment ça marche
- Envoyer une URL à
POST /v1/scrapeavecresponse_format: "markdown". - Découper et vectoriser le Markdown dans votre propre pipeline. Spicrawl ne fait pas cette étape.
- Actualisez selon votre calendrier en renvoyant les mêmes URL. Pour de nombreuses pages, utilisez un seul job batch de 10 000 URL maximum.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Gardez votre clé dans SPICRAWL_API_KEY.
Sources qui demandent plus
- Pages JavaScript : définissez
js_render: true. Voir scraping de sites JavaScript. - PDF : le texte est extrait lorsque vous demandez
markdownoutext. Les PDF numérisés ou chiffrés ne renvoient aucun texte. - Pages derrière une connexion : utilisez une session, pour des comptes qui vous appartiennent ou que vous avez le droit d’utiliser.
Bon à savoir
- Pas de crawl. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Envoyez la liste, par exemple issue d’un sitemap.
- Mise en cache : les résultats sont mis en cache pendant 48 heures par défaut. Définissez
cache_ttl: 0pour une récupération à jour. Un résultat en cache est facturé comme la récupération qui l’a stocké. - Tarifs : gratuit pendant la bêta. Une page simple coûte 1 crédit, JavaScript 3, un navigateur complet 8. Les requêtes échouées coûtent 0.
Questions fréquentes
Pourquoi utiliser le Markdown pour le RAG ?
Le Markdown conserve les titres, les listes, les tableaux et le code, donc votre chunker peut découper selon la vraie structure. Il est aussi bien plus petit que le HTML brut : sans menus, pieds de page ni publicités, le contenu principal représente en général de 3 % à 24 % des jetons du HTML.
Spicrawl découpe-t-il ou vectorise-t-il le contenu ?
Non. Spicrawl renvoie du Markdown propre. Le découper en chunks, créer des embeddings et le stocker dans une base vectorielle se fait dans votre propre pipeline ou framework.
Comment scraper de nombreuses pages pour une base de connaissances ?
Envoyez jusqu’à 10 000 URL dans un job batch et lisez les résultats en JSON Lines. Spicrawl ne crawle pas : vous envoyez la liste d’URL, par exemple depuis un sitemap.
Peut-il lire des pages JavaScript et des PDF ?
Oui. Définissez js_render sur true pour les pages qui construisent leur contenu dans le navigateur. Un PDF est analysé en texte brut lorsque vous demandez markdown ou text ; les PDF numérisés ou chiffrés ne renvoient aucun texte.
Comment garder la base de connaissances à jour ?
Relancez les mêmes URL selon un calendrier que vous contrôlez. Les résultats sont mis en cache pendant 48 heures par défaut, donc définissez cache_ttl à 0 quand vous avez besoin d’une récupération à jour. Un résultat en cache est facturé comme la récupération qui l’a stocké.
Combien ça coûte ?
Gratuit pendant la bêta : 1 000 crédits par mois et sans carte bancaire. Une page simple coûte 1 crédit, le rendu JavaScript 3 et un navigateur complet 8. Les requêtes échouées coûtent 0.