Spicrawl ora funziona con OpenAI Agents SDK, LangChain, Codex, Claude Code e altri.Vedi le integrazioni
Vai al contenuto

Web scraping per pipeline RAG e LLM

Ottieni pagine web come Markdown pulito, pronto per essere suddiviso e incorporato, senza menu, annunci e script.

Perché Markdown per RAG

  • La struttura sopravvive. Titoli, elenchi, tabelle e codice restano, così puoi dividere in sezioni reali invece che in conteggi arbitrari di caratteri.
  • Molti meno token. Senza menu, footer e pubblicità, il contenuto principale è in genere dal 3% al 24% dei token dell’HTML grezzo.
  • Contenuto principale per impostazione predefinita. Restringilo ancora con include_tags e exclude_tags.

Come funziona

  1. Invia un URL a POST /v1/scrape con response_format: "markdown".
  2. Suddividi e fai l’embedding il Markdown nella tua pipeline. Spicrawl non esegue questo passaggio.
  3. Aggiorna secondo la tua pianificazione inviando di nuovo gli stessi URL. Per molte pagine, usa un solo batch job fino a 10.000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Tieni la chiave in SPICRAWL_API_KEY.

Fonti che richiedono di più

  • Pagine JavaScript: imposta js_render: true. Vedi scraping di siti JavaScript.
  • PDF: convertiti in testo semplice quando chiedi markdown o text. I PDF scansionati o cifrati non restituiscono testo.
  • Pagine dietro un login: usa una sessione, per account di tua proprietà o che sei autorizzato a usare.

Da sapere

  • Nessun crawling. Spicrawl non trova URL né segue link. Invia l’elenco, ad esempio da una sitemap.
  • Cache: i risultati vengono messi in cache per 48 ore per impostazione predefinita. Imposta cache_ttl: 0 per un recupero nuovo. Un cache hit viene fatturato come il fetch che l’ha salvato.
  • Prezzi: gratis durante la beta. Una pagina semplice costa 1 credito, JavaScript 3, un browser completo 8. Le richieste fallite costano 0.

Domande frequenti

Perché usare Markdown per RAG?

Il Markdown mantiene titoli, elenchi, tabelle e codice, così il tuo chunker può dividere in base alla struttura reale. È anche molto più piccolo dell’HTML grezzo: senza menu, footer e annunci, il contenuto principale è in genere dal 3% al 24% dei token dell’HTML.

Spicrawl suddivide o fa l’embedding del contenuto?

No. Spicrawl restituisce Markdown pulito. Suddividerlo in chunk, fare l’embedding e salvarlo in un database vettoriale avviene nella tua pipeline o nel tuo framework.

Come faccio scraping di molte pagine per una knowledge base?

Invia fino a 10.000 URL in un solo batch job e leggi i risultati come JSON Lines. Spicrawl non fa crawling: invii tu l’elenco di URL, ad esempio da una sitemap.

Può leggere pagine JavaScript e PDF?

Sì. Imposta js_render su true per le pagine che costruiscono il contenuto nel browser. Un PDF viene convertito in testo semplice quando chiedi markdown o text; i PDF scansionati o cifrati non restituiscono testo.

Come mantengo aggiornata la knowledge base?

Esegui di nuovo gli stessi URL con una pianificazione che controlli tu. I risultati vengono messi in cache per 48 ore per impostazione predefinita, quindi imposta cache_ttl a 0 quando ti serve un fetch nuovo. Un cache hit viene fatturato come il fetch che l’ha salvato.

Quanto costa?

Gratis durante la beta: 1.000 crediti al mese e senza carta di credito. Una pagina semplice costa 1 credito, il rendering JavaScript 3 e un browser completo 8. Le richieste fallite costano 0.