API web scraping untuk data bersih
Kirim URL apa pun. Dapatkan Markdown atau JSON bersih kembali, siap untuk aplikasi atau agen AI Anda.
Seret di atas halaman untuk melihat teks bersih yang disimpan Spicrawl.

Receiver 2.4 GHz latensi rendah, baterai tahan 70 hari, dan switch senyap. Dibuat untuk hari-hari panjang.
| Koneksi | 2.4 GHz, BT5 |
| Baterai | 70 hari |
| Bobot | 62 g |
Pertahankan hanya konten utama
Spicrawl membuang banner cookie, menu, iklan, dan footer, dan mempertahankan konten utama.
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/product/1", "response_format": "markdown", "main_content_only": true }'Cara kerjanya
- Kirim URL ke
POST /v1/scrapedan pilihresponse_format. - Spicrawl mengambil halaman. Ia memakai permintaan biasa dulu, atau browser jika Anda memintanya.
- Anda mendapat hasilnya di body respons, dengan status asli situs di sebuah header.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "response_format": "markdown"},
timeout=120,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --format markdown --metaSimpan key Anda di SPICRAWL_API_KEY dan jangan pernah menuliskannya ke kode yang Anda commit.
Format output
| Format | Terbaik untuk |
|---|---|
markdown | Prompt AI, RAG, dan membaca. Hanya konten utama secara default. |
json | Aplikasi: konten beserta metadata, tautan, atau field hasil ekstraksi dalam satu objek. |
html | Ketika Anda membutuhkan markup halaman. Ini default. |
text | Output terkecil, tanpa format. |
pdf | PDF dari halaman yang dirender. |
Lihat situs web ke Markdown untuk info lebih lanjut tentang output Markdown.
Periksa hasilnya
Status HTTP milik Spicrawl. Jawaban situs ada di X-Target-Status. Panggilan yang berhasil terlihat seperti ini:
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss403 atau 503 di X-Target-Status menandakan Anda mendapat halaman blokir, dan itu berbiaya 0 kredit.
Halaman yang membutuhkan lebih
- Halaman JavaScript. Atur
js_render: trueuntuk memuat halaman di browser lebih dulu. Lihat Rendering JavaScript. - Halaman yang memerlukan login. Gunakan session untuk menyimpan cookie antar permintaan, untuk akun yang Anda miliki atau berhak Anda gunakan. Lihat session dan login.
- Klik dan scroll. Aksi browser dapat mengklik, mengetik, dan menggulir sebelum halaman dibaca. Lihat aksi browser.
- Banyak URL. Satu batch job menerima hingga 10,000 URL dalam satu panggilan. Lihat batch.
Berapa biayanya
- Gratis selama beta, tanpa kartu kredit.
- Kredit per permintaan yang berhasil: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, 8 untuk rendering browser penuh.
- Kegagalan gratis: error, tantangan bot, dan halaman yang menjawab dengan error berbiaya 0.
- Batasi setiap permintaan dengan
max_cost, sehingga satu panggilan tidak pernah memakan biaya lebih dari yang Anda duga.
Perlu diketahui
- Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Anda mengirim URL-nya.
- Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri tanpa biaya tambahan.
- Tanggung jawab Anda: hanya ambil halaman yang berhak Anda gunakan. Lihat ketentuan kami.
Pertanyaan yang sering diajukan
Apa itu API web scraping?
Ini adalah layanan yang mengambil halaman web untuk Anda dan mengembalikan kontennya dalam bentuk yang dapat dipakai kode Anda. Anda mengirim URL; layanan menangani permintaan, JavaScript, dan pembersihan, lalu mengembalikan Markdown, JSON, atau HTML.
Berapa biaya API scraping Spicrawl?
Gratis selama beta, tanpa kartu kredit. Permintaan memakai kredit: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, dan 8 untuk rendering browser penuh. Error, tantangan bot, dan halaman yang menjawab dengan error berbiaya 0.
Bisakah ia melakukan scrape halaman yang membutuhkan JavaScript?
Ya. Atur js_render ke true dan halaman dimuat di browser lebih dulu. Mulai dengan permintaan biasa dan render hanya saat hasil biasa kosong.
Bagaimana saya tahu apakah situs memblokir saya?
Baca header X-Target-Status. Status HTTP milik Spicrawl; X-Target-Status adalah jawaban situs. Status 403 atau 503 di sana berarti Anda mendapat halaman blokir, dan itu berbiaya 0 kredit.
Bisakah ia melakukan crawl seluruh situs web?
Tidak. Spicrawl tidak mengikuti tautan atau menemukan halaman. Kirim URL yang Anda inginkan, satu per satu atau hingga 10,000 dalam satu panggilan batch.