Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Convertir n’importe quel site web en Markdown propre pour LLM

Envoyez une URL, récupérez le contenu principal de la page en Markdown : titres, listes, liens, tableaux et code, sans la navigation, les scripts et le pied de page qui gaspillent les jetons d’un LLM.

https://
Format : Markdown Contenu principal uniquement

Comment ça marche

  1. Envoyer une URL au point de terminaison scrape avec response_format: "markdown".
  2. Spicrawl récupère la page, exécute le JavaScript si vous le demandez et conserve le contenu principal.
  3. Vous récupérez du Markdown dans le corps de la réponse, prêt pour un prompt, un index RAG ou un fichier.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Définissez la clé une fois avec SPICRAWL_API_KEY et ne l’écrivez jamais dans du code que vous commitez. Le format par défaut de l’API est le HTML, donc définissez toujours response_format.

Du HTML au Markdown

Une page typique enveloppe quelques paragraphes dans de la navigation, des scripts et un pied de page. Spicrawl garde le contenu et sa structure :

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Les titres, listes, liens, tableaux et blocs de code survivent à la conversion. La mise en page, le style et les parties interactives, non. Dans nos mesures sur six pages réelles, le Markdown de Spicrawl a utilisé de 53 % à 97 % de jetons en moins que le HTML des mêmes pages.

Options qui réduisent les jetons

ChampCe qu’il fait
response_formatmarkdown conserve les titres, les liens et les tableaux ; text supprime toute la syntaxe Markdown.
main_content_onlyActivé par défaut pour le Markdown : la navigation, les pieds de page et les encarts sont supprimés. Définissez false pour conserver toute la page.
include_tagsSélecteurs CSS à conserver. Seules les parties correspondantes de la page sont converties.
exclude_tagsSélecteurs CSS à supprimer, comme les bannières de cookies ou les listes d’articles associés.
js_renderChargez d’abord la page dans un navigateur, pour le contenu construit par JavaScript.
linksRenvoie aussi les liens de la page sous forme de liste distincte, dans une réponse JSON.

Les filtres de balises s’exécutent avant la conversion, donc tout ce que vous retirez n’atteint jamais votre modèle :

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

Pages JavaScript et PDF

Commencez par une requête simple (1 crédit). Si le résultat est une coquille vide ou un message de chargement, renvoyez-la avec js_render: true (3 crédits) pour que la page s’exécute dans un navigateur avant la conversion. Définissez max_cost sur l’étape visée, pour qu’une requête ne coûte jamais plus que prévu.

Quand l’URL est un PDF, Spicrawl l’analyse en texte brut au tarif normal. Les titres et les tableaux ne sont pas reconstruits, et les PDF scannés ou chiffrés ne renvoient aucun texte.

Convertir de nombreuses pages

Un job batch accepte jusqu’à 10 000 URL par appel, les exécute en parallèle et peut renvoyer chacune en Markdown. Les résultats sont conservés 72 heures.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl convertit les URL que vous envoyez. Il ne crawle pas un site et ne découvre pas de pages pour vous, donc collectez d’abord les URL, par exemple depuis le sitemap du site.

Depuis un agent IA

Les agents peuvent appeler la même conversion via le Serveur MCP Spicrawl : l’outil spicrawl_scrape renvoie du Markdown par défaut. La CLI spicrawl fait la même chose depuis un terminal ou un script.

Une API de conversion ou une bibliothèque HTML vers Markdown ?

Si vous avez déjà le HTML, une bibliothèque open source comme Turndown le convertit gratuitement dans votre propre code. Vous devez toujours récupérer la page, exécuter son JavaScript, franchir les pages qui refusent les requêtes simples et retirer vous-même la navigation. Spicrawl fait ces étapes en une seule requête, ce qui compte surtout lorsque vous convertissez des pages de nombreux sites différents.

Bon à savoir

  • Consultez l’état du site. Le statut HTTP est celui de Spicrawl. Le statut propre à la page se trouve dans l’en-tête X-Target-Status : un site qui répond 403 revient quand même avec un HTTP 200, et coûte 0 crédit.
  • Vérifiez un échantillon. L’isolation du contenu principal fonctionne sur la plupart des pages, mais une partie de la navigation peut subsister sur des mises en page inhabituelles. Regardez une page de chaque type avant d’en indexer des milliers.
  • Tarifs. Gratuit pendant la bêta, sans carte bancaire. Une requête simple coûte 1 crédit, le rendu JavaScript 3, le rendu navigateur complet 8. La conversion en Markdown n’ajoute rien, et les requêtes échouées ou bloquées coûtent 0.

Questions fréquentes

Comment convertir un site web en Markdown ?

Envoyez une requête POST à https://api.spicrawl.com/v1/scrape avec l’URL de la page et response_format défini sur markdown. Le corps de la réponse est le Markdown lui-même. Vous pouvez aussi utiliser la CLI spicrawl (spicrawl scrape URL --format markdown) ou l’outil MCP spicrawl_scrape depuis un agent IA.

Supprime-t-il la navigation, les publicités et les pieds de page ?

Oui. Pour le Markdown, l’isolation du contenu principal est activée par défaut, donc la navigation, les pieds de page et les encadrés sont retirés. Vous pouvez l’affiner avec include_tags et exclude_tags, ou définir main_content_only sur false pour garder toute la page. Une partie de la navigation peut encore subsister sur des mises en page inhabituelles, donc vérifiez un échantillon de chaque type de page.

Peut-il convertir des pages riches en JavaScript ?

Oui. Définissez js_render sur true et la page est chargée dans un navigateur avant la conversion. Commencez par une requête simple, qui coûte 1 crédit, et ne rendez que lorsque le résultat simple est vide ou incomplet ; le rendu coûte 3 crédits.

Peut-il convertir des PDF en Markdown ?

Un PDF est converti en texte brut quand vous demandez markdown ou text, au tarif normal. Les titres et les tableaux ne sont pas reconstruits, et les PDF scannés ou chiffrés ne renvoient aucun texte.

Combien ça coûte ?

Spicrawl est gratuit pendant sa bêta, sans carte bancaire. Les requêtes utilisent des crédits : 1 pour une requête simple, 3 pour le rendu JavaScript et 8 pour le rendu navigateur complet. La conversion en Markdown ne coûte rien de plus, et les requêtes échouées ou bloquées coûtent 0.

Puis-je convertir de nombreuses pages à la fois ?

Oui. Un job batch accepte jusqu’à 10 000 URL par appel et peut renvoyer chacune en Markdown. Spicrawl ne découvre pas de pages pour vous : envoyez les URL voulues, par exemple depuis un sitemap.