Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Web scraping pour le RAG et les pipelines LLM

Obtenez des pages web en Markdown propre, prêtes à découper et à vectoriser, sans les menus, les publicités ni les scripts.

Pourquoi le Markdown pour le RAG

  • La structure survit. Les titres, listes, tableaux et blocs de code sont conservés ; vous pouvez ainsi découper selon de vraies sections plutôt que selon un nombre de caractères arbitraire.
  • Beaucoup moins de jetons. Sans les menus, les pieds de page et les publicités, le contenu principal représente généralement de 3 % à 24 % des jetons du HTML brut.
  • Contenu principal par défaut. Affinez-le avec include_tags et exclude_tags.

Comment ça marche

  1. Envoyer une URL à POST /v1/scrape avec response_format: "markdown".
  2. Découper et vectoriser le Markdown dans votre propre pipeline. Spicrawl ne fait pas cette étape.
  3. Actualisez selon votre calendrier en renvoyant les mêmes URL. Pour de nombreuses pages, utilisez un seul job batch de 10 000 URL maximum.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Gardez votre clé dans SPICRAWL_API_KEY.

Sources qui demandent plus

  • Pages JavaScript : définissez js_render: true. Voir scraping de sites JavaScript.
  • PDF : le texte est extrait lorsque vous demandez markdown ou text. Les PDF numérisés ou chiffrés ne renvoient aucun texte.
  • Pages derrière une connexion : utilisez une session, pour des comptes qui vous appartiennent ou que vous avez le droit d’utiliser.

Bon à savoir

  • Pas de crawl. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Envoyez la liste, par exemple issue d’un sitemap.
  • Mise en cache : les résultats sont mis en cache pendant 48 heures par défaut. Définissez cache_ttl: 0 pour une récupération à jour. Un résultat en cache est facturé comme la récupération qui l’a stocké.
  • Tarifs : gratuit pendant la bêta. Une page simple coûte 1 crédit, JavaScript 3, un navigateur complet 8. Les requêtes échouées coûtent 0.

Questions fréquentes

Pourquoi utiliser le Markdown pour le RAG ?

Le Markdown conserve les titres, les listes, les tableaux et le code, donc votre chunker peut découper selon la vraie structure. Il est aussi bien plus petit que le HTML brut : sans menus, pieds de page ni publicités, le contenu principal représente en général de 3 % à 24 % des jetons du HTML.

Spicrawl découpe-t-il ou vectorise-t-il le contenu ?

Non. Spicrawl renvoie du Markdown propre. Le découper en chunks, créer des embeddings et le stocker dans une base vectorielle se fait dans votre propre pipeline ou framework.

Comment scraper de nombreuses pages pour une base de connaissances ?

Envoyez jusqu’à 10 000 URL dans un job batch et lisez les résultats en JSON Lines. Spicrawl ne crawle pas : vous envoyez la liste d’URL, par exemple depuis un sitemap.

Peut-il lire des pages JavaScript et des PDF ?

Oui. Définissez js_render sur true pour les pages qui construisent leur contenu dans le navigateur. Un PDF est analysé en texte brut lorsque vous demandez markdown ou text ; les PDF numérisés ou chiffrés ne renvoient aucun texte.

Comment garder la base de connaissances à jour ?

Relancez les mêmes URL selon un calendrier que vous contrôlez. Les résultats sont mis en cache pendant 48 heures par défaut, donc définissez cache_ttl à 0 quand vous avez besoin d’une récupération à jour. Un résultat en cache est facturé comme la récupération qui l’a stocké.

Combien ça coûte ?

Gratuit pendant la bêta : 1 000 crédits par mois et sans carte bancaire. Une page simple coûte 1 crédit, le rendu JavaScript 3 et un navigateur complet 8. Les requêtes échouées coûtent 0.