Ekstrak data terstruktur dari situs web apa pun
Pilih field yang Anda butuhkan. Dapatkan kembali sebagai JSON bersih.


# Wireless Mouse — Model X**$49.00** · Tersedia · 4.6 (1,284 ulasan)Low-latency 2.4 GHz receiver, 70-day battery lifedan switch senyap.| Spec | Value || --------- | ------------ || Koneksi | 2.4 GHz, BT5 || Baterai | 70 hari |Menu, footer, dan iklan dihapus: 3% hingga 24% dari token HTML mentah. Halaman contoh.
Balasan lengkap: status, URL, engine, dan data. Halaman contoh.
Info halaman, aturan CSS, atau JSON Schema dengan selector. Halaman contoh.
Langkah yang dijalankan di halaman, dalam rendering browser penuh.
Cara kerjanya
- Beri nama field Anda dan beri setiap field sebuah selector CSS.
- Kirimkan di
extractdengan URL halaman. - Baca JSON-nya. Field Anda ada di bawah
data.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields mencantumkan field yang tidak cocok dengan apa pun. Ini sering menjadi tanda pertama bahwa sebuah situs mengubah tata letaknya.
Tiga cara mendapatkan data
| Cara | Apa yang Anda kirim | Apa yang Anda dapatkan |
|---|---|---|
autoparse | "autoparse": true | JSON-LD, OpenGraph, microdata, metadata, dan state aplikasi milik halaman itu sendiri |
| Peta selector | Nama field dan CSS selector | Persis field tersebut, sebagai teks |
| JSON Schema | Skema yang field-nya memiliki selector | Nilai bertipe dan tervalidasi, sehingga "$1,234.56" menjadi 1234.56 |
Perlu diketahui
- Tanpa kredit tambahan untuk ekstraksi. Anda hanya membayar permintaannya: 1 kredit biasa, 3 dengan JavaScript.
- Segera hadir: ekstraksi dari prompt bahasa biasa. Saat ini, gunakan selector, schema, atau autoparse.
- Tidak pada batch. Ekstraksi hanya berjalan pada scrape tunggal.
- Tanggung jawab Anda: hanya ekstrak data yang berhak Anda gunakan. Lihat ketentuan kami.
Pertanyaan yang sering diajukan
Bagaimana cara mengekstrak data dari situs web sebagai JSON?
Kirim extract dengan peta nama field ke CSS selector, seperti "title": "h1" dan "price": ".price". Nilainya dikembalikan di bawah data pada respons JSON.
Apa fungsi autoparse?
Ia mengembalikan apa yang sudah dikatakan halaman tentang dirinya sendiri, tanpa selector: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, metadata head, dan state aplikasi yang tertanam.
Bisakah ia mengembalikan angka, bukan teks?
Ya. Gunakan JSON Schema yang properti-nya memiliki selector. Nilai dikonversi ke tipe yang dideklarasikan, sehingga "$1,234.56" menjadi 1234.56, dan hasilnya diperiksa terhadap skema.
Bagaimana saya tahu ketika situs mengubah tata letaknya?
Periksa empty_fields pada respons. Isinya field yang selector-nya tidak cocok dengan apa pun, yang sering menjadi tanda pertama bahwa markup berubah.
Bisakah saya mendeskripsikan field dengan kata-kata biasa, bukan selector?
Belum. Ekstraksi dengan prompt model segera hadir. Saat ini, gunakan selector, JSON Schema, atau autoparse.