Scrape situs web JavaScript
Kirim URL yang membutuhkan JavaScript. Dapatkan halamannya kembali sebagai Markdown atau JSON bersih.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 3
Dimulai dengan permintaan biasa dan naik ke browser hanya jika situs memblokirnya. Permintaan yang diblokir tidak berbiaya.
Render JavaScript di browser sungguhan sebelum halaman dibaca.
Permintaan biasa membawa fingerprint TLS dan HTTP/2 browser sungguhan.
Koneksi langsung atau proxy Anda sendiri, tanpa biaya tambahan.
Pertahankan cookie dan storage di antara permintaan, sehingga login terbawa.
Klik, ketik, scroll, dan jalankan JavaScript sebelum halaman dibaca.
Lewati gambar, font, dan media agar pemuatan lebih cepat.
Rekam panggilan API yang dibuat halaman saat dimuat.
Aktif secara default selama 48 jam. Pengulangan lebih cepat, ditagih sama.
Halaman yang dirender, dalam format yang Anda butuhkan
Lihat bagaimana konten halaman menjadi Markdown, JSON, atau HTML. Contoh ini menunjukkan output, bukan permintaan langsung.


# Wireless Mouse — Model X**$49.00** · Tersedia · 4.6 (1,284 ulasan)Low-latency 2.4 GHz receiver, 70-day battery lifedan switch senyap.| Spec | Value || --------- | ------------ || Koneksi | 2.4 GHz, BT5 || Baterai | 70 hari |Menu, footer, dan iklan dihapus: 3% hingga 24% dari token HTML mentah. Halaman contoh.
Balasan lengkap: status, URL, engine, dan data. Halaman contoh.
Info halaman, aturan CSS, atau JSON Schema dengan selector. Halaman contoh.
Langkah yang dijalankan di halaman, dalam rendering browser penuh.
Cara kerjanya
- Kirim URL halaman ke
POST /v1/scrapedenganjs_render: true. - Tunggu kontennya. Atur
wait_forke selector CSS, seperti.price. - Ambil halaman yang dirender dalam format pilihan Anda. Contoh di bawah mengembalikan Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaSimpan key Anda di SPICRAWL_API_KEY. Jangan letakkan di kode browser atau file yang Anda commit.
Kapan merender JavaScript
Permintaan biasa mengunduh HTML tanpa menjalankan script. Jika hasilnya cangkang kosong atau pesan “Loading…”, halaman mungkin membutuhkan JavaScript. Atur js_render: true untuk menjalankannya di browser sebelum dibaca.
Gunakan permintaan biasa untuk konten yang sudah ada di HTML. Rendering juga diperlukan untuk aksi browser, pemblokiran resource, dan capture jaringan.
Tunggu konten yang tepat
| Opsi | Apa yang dilakukannya |
|---|---|
wait_for | Tunggu CSS selector muncul sebelum capture. |
wait_for_timeout | Atur batas tunggu dari 0 sampai 120,000 ms. Memerlukan wait_for; 0 memakai nilai default. |
wait | Tambahkan jeda tetap 0 hingga 30,000 ms setelah load. Utamakan selector bila memungkinkan. |
block_resources | Pilih aset yang dilewati. Gambar dan font diblokir secara default, dengan pengecualian untuk aksi dan capture. |
response_format | Pilih Markdown, JSON, atau HTML untuk konten halaman. |
Daftar resource eksplisit menggantikan default. Gunakan ["none"] agar tidak memblokir apa pun. Jangan blokir script jika halaman membutuhkannya untuk membangun kontennya.
Periksa hasilnya
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine memberi tahu tier rendering mana yang berjalan (fetch, js, atau browser). X-Target-Status adalah status situs, sedangkan X-Credits-Charged menunjukkan biayanya.
Jika wait_for tidak pernah cocok, halaman bisa kembali apa adanya dengan X-Warning: RENDER_DEGRADED. Periksa konten dan peringatannya sebelum memakainya.
Tingkat rendering dan biaya
- Gratis selama beta. Kredit menunjukkan biaya setiap permintaan.
- Rendering JavaScript:
js_render: trueberbiaya 3 kredit per permintaan yang berhasil. - Rendering browser penuh: berbiaya 8 kredit. Screenshot, PDF, dan aksi memakainya, dan Spicrawl mengarahkan permintaan ke sana untuk Anda. Jika sebuah deployment tidak dapat melayani tier yang biasa, ia dapat memakai tier berikutnya dan mengembalikan
X-Warning: ENGINE_SUBSTITUTED; aturmax_costuntuk menolak harga yang lebih tinggi. - Anda tidak memilih tingkatannya. Spicrawl memilihnya dari kebutuhan permintaan dan menagih tier yang melayaninya.
- Kegagalan berbiaya 0. Menunggu dan pemblokiran resource tidak menambah biaya. Atur
max_costuntuk membatasi permintaan.
Perlu diketahui
- Pilih rendering atau mode auto.
mode: "auto"tidak dapat dikombinasikan denganjs_render. Dimulai dari fetch lalu naik ke rendering JavaScript, kemudian rendering browser penuh, hanya jika langkah sebelumnya terhalang tantangan. - Flag browser membutuhkan browser. Mengirim
wait_for, aksi, atau pemblokiran resource tanpajs_rendermengembalikan error. - Tidak ada crawl. Kirim URL yang Anda inginkan; Spicrawl tidak menemukan halaman atau mengikuti tautan.
- Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi dari prompt bahasa biasa.
- Tanggung jawab Anda: hanya ambil halaman yang berhak Anda gunakan. Baca ketentuan kami.
Pertanyaan yang sering diajukan
Bagaimana cara melakukan scrape situs JavaScript?
Kirim URL halaman ke POST https://api.spicrawl.com/v1/scrape dengan js_render diatur ke true. Browser menjalankan skrip sebelum Spicrawl membaca halaman. Pilih response_format untuk Markdown, JSON, atau HTML.
Bagaimana cara menunggu konten selesai dimuat?
Atur wait_for ke CSS selector, seperti .price. Gunakan wait_for_timeout untuk mengatur timeout hingga 120000 milidetik. Jika selector tidak pernah cocok, halaman mungkin dikembalikan apa adanya dengan X-Warning: RENDER_DEGRADED. Periksa peringatan sebelum memakai hasilnya.
Berapa biaya rendering JavaScript?
Spicrawl gratis selama beta. Render JavaScript yang berhasil memakai 3 kredit; rendering browser penuh memakai 8. Jika sebuah deployment tidak dapat melayani rendering JavaScript, js_render dapat dilayani oleh rendering browser penuh dan ditagih sesuai harga itu. Permintaan gagal memakai 0 kredit. Baca X-Engine (fetch, js, atau browser) dan X-Credits-Charged untuk memeriksa apa yang berjalan.
Bisakah saya memakai mode auto dengan rendering JavaScript?
Tidak. mode: auto tidak dapat digabungkan dengan js_render. Mode auto dimulai dengan permintaan biasa dan naik ke rendering JavaScript, lalu rendering browser penuh, ketika hasilnya tidak dapat dipakai. Untuk halaman yang Anda tahu memerlukan JavaScript, gunakan js_render: true.
Bisakah ia melakukan crawl situs JavaScript?
Tidak. Spicrawl tidak menemukan URL atau mengikuti tautan. Kirim URL halaman yang ingin Anda baca. Hanya ambil halaman yang berhak Anda gunakan.