Her web sitesinden yapılandırılmış veri çıkarın
İhtiyacınız olan alanları seçin. Temiz JSON olarak geri alın.


# Kablosuz Fare — Model X**$49.00** · Stokta · 4.6 (1,284 yorum)Low-latency 2.4 GHz receiver, 70-day battery lifeve sessiz anahtarlar.| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Pil | 70 gün |Menüler, alt bilgiler ve reklamlar çıkarıldı: ham HTML token’larının %3 ila %24’ü. Örnek sayfa.
Yanıtın tamamı: durum, URL, motor ve veri. Örnek sayfa.
Sayfa bilgisi, CSS kuralları veya seçicili bir JSON Schema. Örnek sayfa.
Sayfada, tam tarayıcı işlemede çalıştırılacak adımlar.
Nasıl çalışır
- Alanlarınızı adlandırın ve her birine bir CSS seçici verin.
- Gönderin
extractile, sayfa URL’siyle birlikte. - JSON’u okuyun. Alanlarınız
dataaltındadır.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields hiçbir şeyle eşleşmeyen alanları listeler. Bir sitenin yerleşimini değiştirdiğinin çoğu zaman ilk işaretidir.
Veri almanın üç yolu
| Yol | Gönderdikleriniz | Ne elde edersiniz |
|---|---|---|
autoparse | "autoparse": true | Sayfanın kendi JSON-LD, OpenGraph, microdata, meta verileri ve uygulama durumu |
| Seçici eşlemesi | Alan adları ve CSS seçicileri | Tam olarak bu alanlar, metin olarak |
| JSON Schema | Alanlarının seçicileri olan bir şema | Tipli, kontrol edilmiş değerler: "$1,234.56" değeri 1234.56 olur |
Bilmekte fayda var
- Ek kredi yok çıkarma için. Yalnızca istek için ödersiniz: düz istekte 1 kredi, JavaScript ile 3.
- Yakında: Düz dilde bir prompt’tan çıkarma. Bugün seçicileri, bir şemayı veya autoparse’ı kullanın.
- Toplu işte yok. Çıkarma yalnızca tekli scrape’lerde çalışır.
- Sorumluluğunuz: yalnızca kullanma hakkınız olan verileri çıkarın. şartlar sayfamıza bakın.
Sık sorulan sorular
Bir web sitesinden veriyi JSON olarak nasıl çıkarırım?
Alan adlarından CSS seçicilerine bir eşleme ile extract gönderin, örneğin "title": "h1" ve "price": ".price". Değerler JSON yanıtında data altında döner.
autoparse ne yapar?
Sayfanın kendisi hakkında zaten söylediklerini seçici olmadan döndürür: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, head meta verileri ve gömülü uygulama durumu.
Metin yerine sayı döndürebilir mi?
Evet. Özelliklerinin seçicisi olan bir JSON Schema kullanın. Değerler bildirilen türe dönüştürülür, böylece "$1,234.56" 1234.56 olur ve sonuç şemaya karşı kontrol edilir.
Bir site yerleşimini değiştirdiğinde nasıl anlarım?
Yanıttaki empty_fields alanını kontrol edin. Seçicisi hiçbir şeyle eşleşmeyen alanları listeler; bu, işaretlemenin değiştiğinin çoğu zaman ilk işaretidir.
Alanları seçiciler yerine düz sözcüklerle tarif edebilir miyim?
Henüz değil. Model istemiyle veri çıkarma yakında geliyor. Bugün seçicileri, bir JSON Schema’yı veya autoparse’ı kullanın.