JavaScript web sitelerini scrape edin
JavaScript gerektiren bir URL gönderin. Sayfayı temiz Markdown veya JSON olarak geri alın.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- doğrudan
- Cache-State
- isabet
- X-Credits-Charged
- 3
Düz bir istekle başlar ve yalnızca site engellerse tarayıcıya yükselir. Engellenen istekler ücretsizdir.
Sayfa okunmadan önce JavaScript’i gerçek bir tarayıcıda işleyin.
Düz istekler gerçek bir tarayıcının TLS ve HTTP/2 parmak izini taşır.
Doğrudan bağlantı veya kendi proxy’niz, ek ücret yok.
İstekler arasında çerezleri ve depolamayı koruyun, böylece giriş devam eder.
Sayfa okunmadan önce tıklayın, yazın, kaydırın ve JavaScript çalıştırın.
Daha hızlı yüklemeler için görselleri, yazı tiplerini ve medyayı atlayın.
Sayfanın yüklenirken yaptığı API çağrılarını kaydedin.
Varsayılan olarak 48 saat açık. Tekrarlar daha hızlıdır, aynı şekilde faturalanır.
İşlenmiş bir sayfa, ihtiyacınız olan formatta
Sayfa içeriğinin Markdown, JSON veya HTML’e nasıl dönüştüğünü görün. Bu örnekler çıktıyı gösterir, canlı bir istek değil.


# Kablosuz Fare — Model X**$49.00** · Stokta · 4.6 (1,284 yorum)Low-latency 2.4 GHz receiver, 70-day battery lifeve sessiz anahtarlar.| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Pil | 70 gün |Menüler, alt bilgiler ve reklamlar çıkarıldı: ham HTML token’larının %3 ila %24’ü. Örnek sayfa.
Yanıtın tamamı: durum, URL, motor ve veri. Örnek sayfa.
Sayfa bilgisi, CSS kuralları veya seçicili bir JSON Schema. Örnek sayfa.
Sayfada, tam tarayıcı işlemede çalıştırılacak adımlar.
Nasıl çalışır
- Sayfa URL’sini gönderin
POST /v1/scrapeadresinejs_render: trueile. - İçeriği bekleyin.
wait_fordeğerini bir CSS seçiciye ayarlayın, örneğin.price. - İşlenmiş sayfayı alın seçtiğiniz biçimde. Aşağıdaki örnekler Markdown döndürür.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaAnahtarınızı SPICRAWL_API_KEY içinde tutun. Tarayıcı koduna veya commit ettiğiniz bir dosyaya asla koymayın.
JavaScript ne zaman işlenmeli
Düz bir istek HTML’i betik çalıştırmadan indirir. Sonuç boş bir kabuk ya da “Yükleniyor…” mesajıysa sayfa JavaScript gerektiriyor olabilir. Okumadan önce bir tarayıcıda çalıştırmak için js_render: true ayarlayın.
İçeriği zaten HTML’de olan sayfalar için düz istek kullanın. İşleme ayrıca tarayıcı eylemleri, kaynak engelleme ve ağ yakalama için gereklidir.
Doğru içeriği bekleyin
| Seçenek | Ne yapar |
|---|---|
wait_for | Yakalamadan önce bir CSS seçicisinin görünmesini bekleyin. |
wait_for_timeout | Bekleme limitini 0 ile 120.000 ms arasında ayarlayın. wait_for gerekir; 0 varsayılanı kullanır. |
wait | Yüklemeden sonra 0 ila 30.000 ms arası sabit bir gecikme ekleyin. Mümkünse seçici tercih edin. |
block_resources | Hangi varlıkların atlanacağını seçin. Görseller ve yazı tipleri varsayılan olarak engellenir; eylemler ve yakalamalar için istisnalar vardır. |
response_format | Sayfa içeriği için Markdown, JSON veya HTML seçin. |
Açık bir kaynak listesi varsayılanı değiştirir. Hiçbir şeyi engellememek için ["none"] kullanın. Sayfa içeriğini oluşturmak için betiklere ihtiyaç duyuyorsa betikleri engellemeyin.
Sonucu kontrol edin
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine hangi işleme katmanının çalıştığını söyler (fetch, js veya browser). X-Target-Status sitenin durumudur, X-Credits-Charged ise ücreti gösterir.
wait_for hiç eşleşmezse sayfa X-Warning: RENDER_DEGRADED ile bulunduğu haliyle dönebilir. Kullanmadan önce içeriği ve uyarıyı kontrol edin.
İşleme katmanları ve maliyet
- Beta süresince ücretsiz. Kredi, her isteğin maliyetini gösterir.
- JavaScript işleme:
js_render: truebaşarılı istek başına 3 kredi tutar. - Tam tarayıcı işleme: 8 kredi tutar. Ekran görüntüleri, PDF’ler ve eylemler bunu kullanır ve Spicrawl isteği sizin için oraya yönlendirir. Bir dağıtım olağan katmanı sunamazsa bir üst katmanı kullanabilir ve
X-Warning: ENGINE_SUBSTITUTEDdöndürebilir; daha yüksek bir fiyatı reddetmek içinmax_costayarlayın. - Katmanı siz seçmezsiniz. Spicrawl bunu isteğin gereksinimlerine göre seçer ve sayfayı sunan katmanı faturalar.
- Hatalar 0 tutar. Bekleme ve kaynak engelleme ek ücret getirmez. Bir isteği sınırlamak için
max_costayarlayın.
Bilmekte fayda var
- İşleme veya auto modunu seçin.
mode: "auto",js_renderile birlikte kullanılamaz. Önce fetch ile başlar, yalnızca önceki adım bir doğrulamayla karşılaşırsa JavaScript işlemeye, ardından tam tarayıcı işlemeye geçer. - Tarayıcı bayrakları için tarayıcı gerekir.
js_renderolmadanwait_for, eylemler veya kaynak engelleme göndermek hata döndürür. - Crawl yok. İstediğiniz URL’leri gönderin; Spicrawl sayfa bulmaz veya bağlantıları izlemez.
- Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan çıkarma.
- Sorumluluğunuz: yalnızca kullanma hakkınız olan sayfaları çekin. şartlar sayfamızı okuyun.
Sık sorulan sorular
Bir JavaScript web sitesini nasıl scrape ederim?
Sayfa URL’sini js_render true olarak ayarlı şekilde POST https://api.spicrawl.com/v1/scrape adresine gönderin. Spicrawl sayfayı okumadan önce tarayıcı betikleri çalıştırır. Markdown, JSON veya HTML için response_format seçin.
İçeriğin yüklenmesini nasıl beklerim?
wait_for değerini .price gibi bir CSS seçicisine ayarlayın. 120000 milisaniyeye kadar zaman aşımı için wait_for_timeout kullanın. Seçici hiç eşleşmezse sayfa X-Warning: RENDER_DEGRADED ile durduğu haliyle dönebilir. Sonucu kullanmadan önce uyarıyı kontrol edin.
JavaScript işleme ne kadara mal olur?
Spicrawl beta süresince ücretsizdir. Başarılı JavaScript işlemeleri 3 kredi, tam tarayıcı işleme 8 kredi kullanır. Bir dağıtım JavaScript işlemeyi sunamazsa js_render tam tarayıcı işlemeyle sunulabilir ve o fiyattan faturalanabilir. Başarısız istekler 0 kredi kullanır. Neyin çalıştığını kontrol etmek için X-Engine (fetch, js veya browser) ve X-Credits-Charged değerlerini okuyun.
Auto modunu JavaScript işleme ile kullanabilir miyim?
Hayır. mode: auto, js_render ile birleştirilemez. Auto modu düz istekle başlar ve sonuç kullanılamazsa JavaScript işlemeye, sonra tam tarayıcı işlemeye yükselir. JavaScript gerektirdiğini bildiğiniz sayfalar için bunun yerine js_render: true kullanın.
JavaScript tabanlı bir web sitesini crawl edebilir mi?
Hayır. Spicrawl URL bulmaz veya bağlantıları izlemez. Okumak istediğiniz sayfaların URL’lerini gönderin. Yalnızca kullanma hakkınız olan sayfaları çekin.