Web scraping per pipeline RAG e LLM
Ottieni pagine web come Markdown pulito, pronto per essere suddiviso e incorporato, senza menu, annunci e script.
Perché Markdown per RAG
- La struttura sopravvive. Titoli, elenchi, tabelle e codice restano, così puoi dividere in sezioni reali invece che in conteggi arbitrari di caratteri.
- Molti meno token. Senza menu, footer e pubblicità, il contenuto principale è in genere dal 3% al 24% dei token dell’HTML grezzo.
- Contenuto principale per impostazione predefinita. Restringilo ancora con
include_tagseexclude_tags.
Come funziona
- Invia un URL a
POST /v1/scrapeconresponse_format: "markdown". - Suddividi e fai l’embedding il Markdown nella tua pipeline. Spicrawl non esegue questo passaggio.
- Aggiorna secondo la tua pianificazione inviando di nuovo gli stessi URL. Per molte pagine, usa un solo batch job fino a 10.000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Tieni la chiave in SPICRAWL_API_KEY.
Fonti che richiedono di più
- Pagine JavaScript: imposta
js_render: true. Vedi scraping di siti JavaScript. - PDF: convertiti in testo semplice quando chiedi
markdownotext. I PDF scansionati o cifrati non restituiscono testo. - Pagine dietro un login: usa una sessione, per account di tua proprietà o che sei autorizzato a usare.
Da sapere
- Nessun crawling. Spicrawl non trova URL né segue link. Invia l’elenco, ad esempio da una sitemap.
- Cache: i risultati vengono messi in cache per 48 ore per impostazione predefinita. Imposta
cache_ttl: 0per un recupero nuovo. Un cache hit viene fatturato come il fetch che l’ha salvato. - Prezzi: gratis durante la beta. Una pagina semplice costa 1 credito, JavaScript 3, un browser completo 8. Le richieste fallite costano 0.
Domande frequenti
Perché usare Markdown per RAG?
Il Markdown mantiene titoli, elenchi, tabelle e codice, così il tuo chunker può dividere in base alla struttura reale. È anche molto più piccolo dell’HTML grezzo: senza menu, footer e annunci, il contenuto principale è in genere dal 3% al 24% dei token dell’HTML.
Spicrawl suddivide o fa l’embedding del contenuto?
No. Spicrawl restituisce Markdown pulito. Suddividerlo in chunk, fare l’embedding e salvarlo in un database vettoriale avviene nella tua pipeline o nel tuo framework.
Come faccio scraping di molte pagine per una knowledge base?
Invia fino a 10.000 URL in un solo batch job e leggi i risultati come JSON Lines. Spicrawl non fa crawling: invii tu l’elenco di URL, ad esempio da una sitemap.
Può leggere pagine JavaScript e PDF?
Sì. Imposta js_render su true per le pagine che costruiscono il contenuto nel browser. Un PDF viene convertito in testo semplice quando chiedi markdown o text; i PDF scansionati o cifrati non restituiscono testo.
Come mantengo aggiornata la knowledge base?
Esegui di nuovo gli stessi URL con una pianificazione che controlli tu. I risultati vengono messi in cache per 48 ore per impostazione predefinita, quindi imposta cache_ttl a 0 quando ti serve un fetch nuovo. Un cache hit viene fatturato come il fetch che l’ha salvato.
Quanto costa?
Gratis durante la beta: 1.000 crediti al mese e senza carta di credito. Una pagina semplice costa 1 credito, il rendering JavaScript 3 e un browser completo 8. Le richieste fallite costano 0.