Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Scrape situs web JavaScript

Kirim URL yang membutuhkan JavaScript. Dapatkan halamannya kembali sebagai Markdown atau JSON bersih.

Panel kontrol Spicrawl
Eskalasi otomatis
Browser
Fingerprint
Proxy
Proxy terkelola: segera hadir
Session
Aksi
Blokir aset
Capture jaringan
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Contoh header respons
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
3
Browser

Render JavaScript di browser sungguhan sebelum halaman dibaca.

Hanya contoh, bukan permintaan langsung. Beta ini gratis.

Halaman yang dirender, dalam format yang Anda butuhkan

Lihat bagaimana konten halaman menjadi Markdown, JSON, atau HTML. Contoh ini menunjukkan output, bukan permintaan langsung.

example.com/product/1
Kenali Model X — Presisi di setiap klik
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Tersedia★ 4.6 (1,284)
Receiver 2.4 GHz latensi rendah, baterai tahan 70 hari, dan switch senyap.
SpesifikasiNilai
Koneksi2.4 GHz, BT5Baterai70 hari
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Tersedia · 4.6 (1,284 ulasan)Low-latency 2.4 GHz receiver, 70-day battery lifedan switch senyap.| Spec      | Value        || --------- | ------------ || Koneksi   | 2.4 GHz, BT5 || Baterai   | 70 hari      |
Membaca halaman
HTML mentah12,480 token
Markdown0 token

Menu, footer, dan iklan dihapus: 3% hingga 24% dari token HTML mentah. Halaman contoh.

Cara kerjanya

  1. Kirim URL halaman ke POST /v1/scrape dengan js_render: true.
  2. Tunggu kontennya. Atur wait_for ke selector CSS, seperti .price.
  3. Ambil halaman yang dirender dalam format pilihan Anda. Contoh di bawah mengembalikan Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Simpan key Anda di SPICRAWL_API_KEY. Jangan letakkan di kode browser atau file yang Anda commit.

Kapan merender JavaScript

Permintaan biasa mengunduh HTML tanpa menjalankan script. Jika hasilnya cangkang kosong atau pesan “Loading…”, halaman mungkin membutuhkan JavaScript. Atur js_render: true untuk menjalankannya di browser sebelum dibaca.

Gunakan permintaan biasa untuk konten yang sudah ada di HTML. Rendering juga diperlukan untuk aksi browser, pemblokiran resource, dan capture jaringan.

Tunggu konten yang tepat

OpsiApa yang dilakukannya
wait_forTunggu CSS selector muncul sebelum capture.
wait_for_timeoutAtur batas tunggu dari 0 sampai 120,000 ms. Memerlukan wait_for; 0 memakai nilai default.
waitTambahkan jeda tetap 0 hingga 30,000 ms setelah load. Utamakan selector bila memungkinkan.
block_resourcesPilih aset yang dilewati. Gambar dan font diblokir secara default, dengan pengecualian untuk aksi dan capture.
response_formatPilih Markdown, JSON, atau HTML untuk konten halaman.

Daftar resource eksplisit menggantikan default. Gunakan ["none"] agar tidak memblokir apa pun. Jangan blokir script jika halaman membutuhkannya untuk membangun kontennya.

Periksa hasilnya

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine memberi tahu tier rendering mana yang berjalan (fetch, js, atau browser). X-Target-Status adalah status situs, sedangkan X-Credits-Charged menunjukkan biayanya.

Jika wait_for tidak pernah cocok, halaman bisa kembali apa adanya dengan X-Warning: RENDER_DEGRADED. Periksa konten dan peringatannya sebelum memakainya.

Tingkat rendering dan biaya

  • Gratis selama beta. Kredit menunjukkan biaya setiap permintaan.
  • Rendering JavaScript: js_render: true berbiaya 3 kredit per permintaan yang berhasil.
  • Rendering browser penuh: berbiaya 8 kredit. Screenshot, PDF, dan aksi memakainya, dan Spicrawl mengarahkan permintaan ke sana untuk Anda. Jika sebuah deployment tidak dapat melayani tier yang biasa, ia dapat memakai tier berikutnya dan mengembalikan X-Warning: ENGINE_SUBSTITUTED; atur max_cost untuk menolak harga yang lebih tinggi.
  • Anda tidak memilih tingkatannya. Spicrawl memilihnya dari kebutuhan permintaan dan menagih tier yang melayaninya.
  • Kegagalan berbiaya 0. Menunggu dan pemblokiran resource tidak menambah biaya. Atur max_cost untuk membatasi permintaan.

Perlu diketahui

  • Pilih rendering atau mode auto. mode: "auto" tidak dapat dikombinasikan dengan js_render. Dimulai dari fetch lalu naik ke rendering JavaScript, kemudian rendering browser penuh, hanya jika langkah sebelumnya terhalang tantangan.
  • Flag browser membutuhkan browser. Mengirim wait_for, aksi, atau pemblokiran resource tanpa js_render mengembalikan error.
  • Tidak ada crawl. Kirim URL yang Anda inginkan; Spicrawl tidak menemukan halaman atau mengikuti tautan.
  • Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi dari prompt bahasa biasa.
  • Tanggung jawab Anda: hanya ambil halaman yang berhak Anda gunakan. Baca ketentuan kami.

Pertanyaan yang sering diajukan

Bagaimana cara melakukan scrape situs JavaScript?

Kirim URL halaman ke POST https://api.spicrawl.com/v1/scrape dengan js_render diatur ke true. Browser menjalankan skrip sebelum Spicrawl membaca halaman. Pilih response_format untuk Markdown, JSON, atau HTML.

Bagaimana cara menunggu konten selesai dimuat?

Atur wait_for ke CSS selector, seperti .price. Gunakan wait_for_timeout untuk mengatur timeout hingga 120000 milidetik. Jika selector tidak pernah cocok, halaman mungkin dikembalikan apa adanya dengan X-Warning: RENDER_DEGRADED. Periksa peringatan sebelum memakai hasilnya.

Berapa biaya rendering JavaScript?

Spicrawl gratis selama beta. Render JavaScript yang berhasil memakai 3 kredit; rendering browser penuh memakai 8. Jika sebuah deployment tidak dapat melayani rendering JavaScript, js_render dapat dilayani oleh rendering browser penuh dan ditagih sesuai harga itu. Permintaan gagal memakai 0 kredit. Baca X-Engine (fetch, js, atau browser) dan X-Credits-Charged untuk memeriksa apa yang berjalan.

Bisakah saya memakai mode auto dengan rendering JavaScript?

Tidak. mode: auto tidak dapat digabungkan dengan js_render. Mode auto dimulai dengan permintaan biasa dan naik ke rendering JavaScript, lalu rendering browser penuh, ketika hasilnya tidak dapat dipakai. Untuk halaman yang Anda tahu memerlukan JavaScript, gunakan js_render: true.

Bisakah ia melakukan crawl situs JavaScript?

Tidak. Spicrawl tidak menemukan URL atau mengikuti tautan. Kirim URL halaman yang ingin Anda baca. Hanya ambil halaman yang berhak Anda gunakan.