Bir web sayfasının arkasındaki API çağrılarını yakalayın
Birçok sayfa verisini bir API’den yükler. Bu çağrıları yakalayın ve JSON’u doğrudan okuyun.
Nasıl çalışır
- Sayfayı işleyin. Yakalama yalnızca tarayıcıda çalıştığı için
js_render: trueayarlayın. - Çağrıları seçin.
network_capturedeğeriniurlsdesen listesine ayarlayın, örneğin/api/search. - Gövdeleri okuyun. Eşleşen her çağrı, durumu, türü ve gövdesiyle
networkdizisinde gelir.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Anahtarınızı SPICRAWL_API_KEY içinde tutun.
Geri dönenler
Belgelenmiş yanıttan bir alıntı. Sayfa içerikleri bir örnektir.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Ne zaman kullanılır
- Sayfa kendini bir API’den doldurur. JSON genellikle ondan çizilen işaretlemeden daha temiz ve daha kararlıdır.
- Arama, listelemeler ve akışlar. Sonuçlar çoğu zaman bütünüyle okuyabileceğiniz tek bir JSON çağrısı olarak yüklenir.
- Aksi halde, CSS seçicileri veya bir JSON Schema ile yapılandırılmış veri çıkarma kullanın.
Bilmekte fayda var
js_rendergerekir. JavaScript işleme için olan 3 kredinin üstüne kredi eklemez. Başarısız istekler 0 tutar.- Saygılı olun. Yalnızca kullanma izniniz olan verileri çekin ve sitenin şartlarına uyun.
- Fiyatlandırma: beta süresince ücretsiz, ayda 1.000 kredi ile.
Sık sorulan sorular
Ağ yakalama ne yapar?
Bir sayfanın yüklenirken yaptığı ağ çağrılarını kaydeder ve istediklerinizi, yanıt gövdesi dahil, döndürür. Böylece sayfanın çizdiği HTML’i ayrıştırmak yerine sayfanın kendi kullandığı JSON’u okuyabilirsiniz.
Hangi çağrıların yakalanacağını nasıl seçerim?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
JavaScript işleme gerekir mi?
Evet. Yakalama yalnızca sayfa bir tarayıcıda işlendiğinde çalışır, bu yüzden js_render değerini true yapın.
Ağ yakalama ek ücrete mi tabi?
Hayır. Zaten ödediğiniz JavaScript işlemenin, yani 3 kredinin üzerine kredi eklemez. Başarısız istekler 0 tutar.
HTML’i scrape etmek yerine bunu kullanmalı mıyım?
Bir sayfa kendini bir JSON API’sinden doldurduğunda, o JSON’u okumak genellikle işaretlemeyi ayrıştırmaktan daha temiz ve daha kararlıdır. Sitenin şartlarına uyun ve yalnızca kullanmanıza izin verilen veriyi çekin.