Aksi browserKlik, ketik, dan scroll terlebih dahulu
Klik, ketik, dan scroll sebelum Anda melakukan scrape
Buka menu, isi form, dan muat lebih banyak. Lalu baca halamannya.
- 1KlikBuka menu atau tekan “Load more”
- 2KetikIsi form atau kotak pencarian
- 3GulirMuat sisa feed
- 4BacaAmbil halaman sebagai Markdown
Kirim permintaan
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Cara kerjanya
- Aktifkan rendering dengan
js_render: true. Aksi membutuhkan browser. - Daftarkan langkah Anda di
actions. Aksi berjalan berurutan setelah halaman dimuat. - Ambil halaman sesuai tampilannya setelah langkah terakhir, dalam format yang Anda pilih.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Langkah yang dapat Anda pakai
| Langkah | Apa yang dilakukannya |
|---|---|
wait_for | Menunggu elemen, atau selama waktu tertentu |
click | Mengklik tombol atau tautan |
fill | Mengetik ke sebuah input. Tambahkan secret: true untuk menyembunyikan nilainya dari log |
select | Memilih opsi dalam daftar |
scroll | Men-scroll halaman, untuk feed yang memuat lebih banyak seiring berjalan |
evaluate | Menjalankan JavaScript Anda sendiri di halaman |
screenshot | Menyimpan gambar halaman pada langkah itu |
Perlu diketahui
- Hingga 50 langkah per permintaan. Seluruh daftar diperiksa sebelum ada yang dipakai.
- Hanya browser. Tanpa
js_render, permintaan ditolak dengan 400. - Tidak pada batch. Aksi hanya berjalan pada scrape tunggal.
- Login: hanya login ke akun yang Anda miliki atau berhak Anda gunakan. Agar tetap login, gunakan session.
- Harga: gratis selama beta. Aksi berjalan dalam rendering browser penuh, yang berbiaya 8 kredit.
Pertanyaan yang sering diajukan
Apa yang dapat dilakukan aksi browser?
Tunggu elemen, tunggu navigasi, klik, isi input, pilih opsi, scroll, jalankan JavaScript, dan ambil screenshot. Langkah berjalan berurutan setelah halaman dimuat.
Berapa langkah yang boleh ada dalam satu permintaan?
Hingga 50. Seluruh daftar diperiksa sebelum permintaan berjalan, sehingga kesalahan gagal lebih awal dan tidak berbiaya.
Apakah aksi browser memerlukan rendering JavaScript?
Ya. Aksi berjalan di browser, jadi atur js_render ke true. Tanpa itu, permintaan ditolak dengan 400.
Bisakah saya mengisi password dengan aman?
Ya. Tandai langkah fill dengan secret diatur ke true, dan nilainya disembunyikan dari log. Hanya login ke akun yang Anda miliki atau berhak Anda gunakan.
Bisakah saya mendapatkan screenshot setelah langkah-langkahnya?
Ya. Tambahkan langkah screenshot. Respons kemudian menjadi envelope JSON, dengan gambar di bawah screenshots.