Web scraping untuk pipeline RAG dan LLM
Dapatkan halaman web sebagai Markdown bersih, siap di-chunk dan di-embed, tanpa menu, iklan, dan skrip.
Mengapa Markdown untuk RAG
- Struktur tetap terjaga. Heading, daftar, tabel, dan kode tetap utuh, sehingga Anda dapat memecah berdasarkan bagian yang sesungguhnya, bukan jumlah karakter sembarang.
- Jauh lebih sedikit token. Dengan menu, footer, dan iklan dihapus, konten utama biasanya hanya 3% hingga 24% dari token HTML mentah.
- Konten utama secara default. Persempit lagi dengan
include_tagsdanexclude_tags.
Cara kerjanya
- Kirim URL ke
POST /v1/scrapedenganresponse_format: "markdown". - Chunk dan embed Markdown di pipeline Anda sendiri. Spicrawl tidak melakukan langkah ini.
- Segarkan sesuai jadwal Anda dengan mengirim URL yang sama lagi. Untuk banyak halaman, gunakan satu batch job hingga 10,000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Simpan key Anda di SPICRAWL_API_KEY.
Sumber yang membutuhkan lebih
- Halaman JavaScript: atur
js_render: true. Lihat scraping situs web JavaScript. - PDF: diurai menjadi teks biasa saat Anda meminta
markdownatautext. PDF hasil pindaian atau terenkripsi tidak mengembalikan teks. - Halaman di balik login: gunakan session, untuk akun yang Anda miliki atau berhak Anda gunakan.
Perlu diketahui
- Tidak ada crawl. Spicrawl tidak menemukan URL atau mengikuti tautan. Kirim daftarnya, misalnya dari sitemap.
- Caching: hasil di-cache selama 48 jam secara default. Atur
cache_ttl: 0untuk fetch baru. Cache hit ditagih seperti fetch yang menyimpannya. - Harga: gratis selama beta. Halaman biasa berbiaya 1 kredit, JavaScript 3, browser penuh 8. Permintaan gagal berbiaya 0.
Pertanyaan yang sering diajukan
Mengapa memakai Markdown untuk RAG?
Markdown mempertahankan heading, daftar, tabel, dan kode, sehingga chunker Anda dapat memecah menurut struktur nyata. Ukurannya juga jauh lebih kecil dari HTML mentah: menu, footer, dan iklan dihapus, konten utama biasanya 3% hingga 24% dari token HTML.
Apakah Spicrawl melakukan chunk atau embed pada konten?
Tidak. Spicrawl mengembalikan Markdown bersih. Memecahnya menjadi chunk, meng-embed, dan menyimpannya di database vektor terjadi di pipeline atau framework Anda sendiri.
Bagaimana cara melakukan scrape banyak halaman untuk knowledge base?
Kirim hingga 10,000 URL dalam satu job batch dan baca hasilnya sebagai JSON Lines. Spicrawl tidak melakukan crawl: Anda mengirim daftar URL, misalnya dari sitemap.
Bisakah ia membaca halaman JavaScript dan PDF?
Ya. Atur js_render ke true untuk halaman yang membangun kontennya di browser. PDF diurai menjadi teks biasa saat Anda meminta markdown atau teks; PDF hasil pindaian atau terenkripsi tidak mengembalikan teks.
Bagaimana cara menjaga knowledge base tetap segar?
Jalankan URL yang sama lagi sesuai jadwal yang Anda kendalikan. Hasil di-cache selama 48 jam secara default, jadi atur cache_ttl ke 0 saat Anda membutuhkan fetch baru. Cache hit ditagih seperti fetch yang menyimpannya.
Berapa biayanya?
Gratis selama beta: 1,000 kredit per bulan dan tanpa kartu kredit. Halaman biasa berbiaya 1 kredit, rendering JavaScript 3, dan browser penuh 8. Permintaan gagal berbiaya 0.