Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Zet elke website om naar schone Markdown voor LLM's

Stuur een URL, krijg de hoofdinhoud van de pagina terug als Markdown: koppen, lijsten, links, tabellen en code, zonder de navigatie, scripts en footer die tokens van een LLM verspillen.

https://
Formaat: Markdown Alleen hoofdinhoud

Hoe het werkt

  1. Stuur een URL naar het scrape-endpoint met response_format: "markdown".
  2. Spicrawl haalt de pagina op, JavaScript te renderen als je erom vraagt, en houdt de hoofdinhoud over.
  3. Je krijgt Markdown terug als response body, klaar voor een prompt, een RAG-index of een bestand.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Stel de sleutel één keer in met SPICRAWL_API_KEY en schrijf hem nooit in code die je commit. Het standaardformaat van de API is HTML, dus stel altijd response_format in.

Van HTML naar Markdown

Een typische pagina verpakt een paar alinea's in navigatie, scripts en footer-markup. Spicrawl bewaart de inhoud en de structuur:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Koppen, lijsten, links, tabellen en codeblokken blijven behouden bij de conversie. Layout, opmaak en interactieve onderdelen niet. In onze metingen van zes echte pagina's gebruikte de Markdown van Spicrawl 53% tot 97% minder tokens dan de HTML van dezelfde pagina's.

Opties die tokens besparen

VeldWat het doet
response_formatmarkdown behoudt koppen, links en tabellen; text laat alle Markdown-syntaxis weg.
main_content_onlyStandaard aan voor Markdown: navigatie, footers en zijbalken worden verwijderd. Stel false in om de hele pagina te houden.
include_tagsCSS-selectors om te behouden. Alleen overeenkomende delen van de pagina worden geconverteerd.
exclude_tagsCSS-selectors om te verwijderen, zoals cookiebanners of lijsten met gerelateerde berichten.
js_renderLaad de pagina eerst in een browser, voor inhoud die met JavaScript is opgebouwd.
linksGeef de links van de pagina ook terug als aparte lijst, in een JSON-respons.

De tagfilters draaien vóór de conversie, dus alles wat je verwijdert bereikt je model nooit:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

JavaScript-pagina's en PDF's

Begin met een gewoon verzoek (1 credit). Als het resultaat een lege schil of een laadbericht is, stuur het dan opnieuw met js_render: true (3 credits) zodat de pagina vóór de conversie in een browser draait. Stel max_cost in op de stap die je bedoelt, zodat een verzoek nooit meer kost dan je verwacht.

Als de URL een PDF is, parset Spicrawl die naar platte tekst tegen de normale prijs. Koppen en tabellen worden niet opnieuw opgebouwd, en gescande of versleutelde PDF's geven geen tekst terug.

Converteer veel pagina's

Een batchjob accepteert tot 10.000 URL's per aanroep, draait ze parallel en kan elke URL als Markdown teruggeven. Resultaten blijven 72 uur bewaard.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl converteert de URL's die je stuurt. Het crawlt geen site en ontdekt geen pagina's voor je, dus verzamel eerst de URL's, bijvoorbeeld uit de sitemap van de site.

Vanuit een AI-agent

Agents kunnen dezelfde conversie aanroepen via de Spicrawl MCP-server: de tool spicrawl_scrape geeft standaard Markdown terug. De CLI spicrawl doet hetzelfde vanuit een terminal of een script.

Een converter-API of een HTML-naar-Markdown-bibliotheek?

Als je de HTML al hebt, zet een open-sourcebibliotheek zoals Turndown die gratis om in je eigen code. Je moet nog steeds de pagina ophalen, de JavaScript uitvoeren, langs pagina's komen die simpele verzoeken weigeren en de navigatie zelf weghalen. Spicrawl doet die stappen in één verzoek, wat het meest uitmaakt als je pagina's van veel verschillende sites omzet.

Goed om te weten

  • Controleer de status van de site. De HTTP-status is die van Spicrawl. De eigen status van de pagina staat in de header X-Target-Status: een site die met 403 antwoordt komt nog steeds terug als HTTP 200 en kost 0 credits.
  • Controleer een steekproef. Het isoleren van de hoofdinhoud werkt op de meeste pagina's, maar op ongebruikelijke layouts kan wat navigatie overblijven. Bekijk één pagina van elk type voordat je duizenden indexeert.
  • Prijzen. Gratis tijdens de beta, zonder creditcard. Een gewoon verzoek is 1 credit, JavaScript-rendering 3, full-browser-rendering 8. Markdown-conversie kost niets extra, en mislukte of geblokkeerde verzoeken kosten 0.

Veelgestelde vragen

Hoe zet ik een website om naar Markdown?

Stuur een POST-verzoek naar https://api.spicrawl.com/v1/scrape met de pagina-URL en response_format ingesteld op markdown. De responsebody is de Markdown zelf. Je kunt ook de spicrawl CLI gebruiken (spicrawl scrape URL --format markdown) of de MCP-tool spicrawl_scrape vanuit een AI-agent.

Verwijdert het navigatie, advertenties en footers?

Ja. Voor Markdown staat het isoleren van de hoofdinhoud standaard aan, dus navigatie, footers en zijbalken worden verwijderd. Je kunt het verder verfijnen met include_tags en exclude_tags, of main_content_only op false zetten om de hele pagina te bewaren. Op ongebruikelijke lay-outs kan nog wat navigatie blijven staan, dus controleer een steekproef van elk paginatype.

Kan het pagina's met veel JavaScript converteren?

Ja. Stel js_render in op true en de pagina wordt vóór de conversie in een browser geladen. Begin met een gewoon verzoek, dat 1 credit kost, en render alleen als het gewone resultaat leeg of onvolledig is; renderen kost 3 credits.

Kan het PDF's naar Markdown converteren?

Een PDF wordt omgezet naar platte tekst als je markdown of text vraagt, tegen de normale prijs. Koppen en tabellen worden niet opnieuw opgebouwd, en gescande of versleutelde PDF's geven geen tekst terug.

Wat kost het?

Spicrawl is gratis tijdens de beta, zonder creditcard. Verzoeken gebruiken credits: 1 voor een gewoon verzoek, 3 voor JavaScript-rendering en 8 voor volledige browserrendering. Converteren naar Markdown kost niets extra, en mislukte of geblokkeerde verzoeken kosten 0.

Kan ik veel pagina's tegelijk converteren?

Ja. Een batchjob accepteert tot 10.000 URL's per aanroep en kan elke URL als Markdown teruggeven. Spicrawl ontdekt geen pagina's voor je: stuur de URL's die je wilt, bijvoorbeeld uit een sitemap.