Web scraping voor RAG- en LLM-pipelines
Krijg webpagina's als schone Markdown, klaar om te chunken en te embedden, zonder de menu's, advertenties en scripts.
Waarom Markdown voor RAG
- De structuur blijft behouden. Koppen, lijsten, tabellen en code blijven behouden, zodat je op echte secties kunt splitsen in plaats van op willekeurige tekenaantallen.
- Veel minder tokens. Met menu's, footers en advertenties verwijderd is de hoofdinhoud meestal 3% tot 24% van de tokens van de ruwe HTML.
- Standaard de hoofdinhoud. Verfijn het verder met
include_tagsenexclude_tags.
Hoe het werkt
- Stuur een URL naar
POST /v1/scrapemetresponse_format: "markdown". - Chunken en embedden de Markdown in je eigen pipeline. Spicrawl doet deze stap niet.
- Ververs volgens je eigen schema door dezelfde URL's opnieuw te sturen. Gebruik voor veel pagina's één batchjob van maximaal 10.000 URL's.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Bewaar je sleutel in SPICRAWL_API_KEY.
Bronnen die meer nodig hebben
- JavaScript-pagina's: stel
js_render: truein. Zie JavaScript-websites scrapen. - PDF's: worden omgezet naar platte tekst wanneer je
markdownoftextvraagt. Gescande of versleutelde PDF's geven geen tekst terug. - Pagina's achter een login: gebruik een sessie, voor accounts die van jou zijn of die je mag gebruiken.
Goed om te weten
- Geen crawling. Spicrawl zoekt geen URL's en volgt geen links. Stuur de lijst, bijvoorbeeld uit een sitemap.
- Caching: resultaten worden standaard 48 uur gecachet. Stel
cache_ttl: 0in voor een verse fetch. Een cache hit wordt gerekend zoals de fetch die hem opsloeg. - Prijzen: gratis tijdens de beta. Een gewone pagina kost 1 credit, JavaScript 3, een volledige browser 8. Mislukte verzoeken kosten 0.
Veelgestelde vragen
Waarom Markdown gebruiken voor RAG?
Markdown behoudt koppen, lijsten, tabellen en code, zodat je chunker op echte structuur kan splitsen. Het is ook veel kleiner dan ruwe HTML: zonder menu's, footers en advertenties is de hoofdinhoud meestal 3% tot 24% van de tokens van de HTML.
Chunkt of embedt Spicrawl de inhoud?
Nee. Spicrawl geeft schone Markdown terug. Het opdelen in chunks, embedden en opslaan in een vectordatabase gebeurt in je eigen pipeline of framework.
Hoe scrape ik veel pagina's voor een kennisbank?
Stuur tot 10.000 URL's in één batchjob en lees de resultaten als JSON Lines. Spicrawl crawlt niet: je stuurt de lijst met URL's, bijvoorbeeld uit een sitemap.
Kan het JavaScript-pagina's en PDF's lezen?
Ja. Stel js_render in op true voor pagina's die hun inhoud in de browser opbouwen. Een PDF wordt omgezet naar platte tekst wanneer je markdown of text vraagt; gescande of versleutelde PDF's geven geen tekst terug.
Hoe houd ik de kennisbank actueel?
Draai dezelfde URL's opnieuw volgens een schema dat je zelf bepaalt. Resultaten worden standaard 48 uur gecachet, dus stel cache_ttl in op 0 als je een verse fetch nodig hebt. Een cachehit wordt gerekend als de fetch die hem heeft opgeslagen.
Wat kost het?
Gratis tijdens de beta: 1.000 credits per maand en geen creditcard. Een gewone pagina kost 1 credit, JavaScript-rendering 3 en een volledige browser 8. Mislukte verzoeken kosten 0.