Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

JavaScript web sitelerini scrape edin

JavaScript gerektiren bir URL gönderin. Sayfayı temiz Markdown veya JSON olarak geri alın.

Spicrawl kontrol paneli
Otomatik yükseltme
Tarayıcı
Parmak izi
Proxy
Yönetilen proxy’ler: yakında
Oturum
Eylemler
Varlıkları engelle
Ağ yakalama
Önbellek
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Örnek yanıt başlıkları
X-Target-Status
200
X-Engine
js
X-Proxy-Source
doğrudan
Cache-State
isabet
X-Credits-Charged
3
Tarayıcı

Sayfa okunmadan önce JavaScript’i gerçek bir tarayıcıda işleyin.

Yalnızca örnek, canlı istek değil. Beta ücretsizdir.

İşlenmiş bir sayfa, ihtiyacınız olan formatta

Sayfa içeriğinin Markdown, JSON veya HTML’e nasıl dönüştüğünü görün. Bu örnekler çıktıyı gösterir, canlı bir istek değil.

example.com/product/1
Model X ile tanışın — Her tıklamada hassasiyet
Kablosuz Fare — Model X
Kablosuz Fare — Model X
$49.00Stokta★ 4.6 (1,284)
Düşük gecikmeli 2.4 GHz alıcı, 70 günlük pil ömrü ve sessiz anahtarlar.
ÖzellikDeğer
Bağlantı2.4 GHz, BT5Pil70 gün
<script type="application/ld+json">
result.md
# Kablosuz Fare — Model X**$49.00** · Stokta · 4.6 (1,284 yorum)Low-latency 2.4 GHz receiver, 70-day battery lifeve sessiz anahtarlar.| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Pil       | 70 gün       |
Sayfayı okuma
Ham HTML12.480 token
Markdown0 token

Menüler, alt bilgiler ve reklamlar çıkarıldı: ham HTML token’larının %3 ila %24’ü. Örnek sayfa.

Nasıl çalışır

  1. Sayfa URL’sini gönderin POST /v1/scrape adresine js_render: true ile.
  2. İçeriği bekleyin. wait_for değerini bir CSS seçiciye ayarlayın, örneğin .price.
  3. İşlenmiş sayfayı alın seçtiğiniz biçimde. Aşağıdaki örnekler Markdown döndürür.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Anahtarınızı SPICRAWL_API_KEY içinde tutun. Tarayıcı koduna veya commit ettiğiniz bir dosyaya asla koymayın.

JavaScript ne zaman işlenmeli

Düz bir istek HTML’i betik çalıştırmadan indirir. Sonuç boş bir kabuk ya da “Yükleniyor…” mesajıysa sayfa JavaScript gerektiriyor olabilir. Okumadan önce bir tarayıcıda çalıştırmak için js_render: true ayarlayın.

İçeriği zaten HTML’de olan sayfalar için düz istek kullanın. İşleme ayrıca tarayıcı eylemleri, kaynak engelleme ve ağ yakalama için gereklidir.

Doğru içeriği bekleyin

SeçenekNe yapar
wait_forYakalamadan önce bir CSS seçicisinin görünmesini bekleyin.
wait_for_timeoutBekleme limitini 0 ile 120.000 ms arasında ayarlayın. wait_for gerekir; 0 varsayılanı kullanır.
waitYüklemeden sonra 0 ila 30.000 ms arası sabit bir gecikme ekleyin. Mümkünse seçici tercih edin.
block_resourcesHangi varlıkların atlanacağını seçin. Görseller ve yazı tipleri varsayılan olarak engellenir; eylemler ve yakalamalar için istisnalar vardır.
response_formatSayfa içeriği için Markdown, JSON veya HTML seçin.

Açık bir kaynak listesi varsayılanı değiştirir. Hiçbir şeyi engellememek için ["none"] kullanın. Sayfa içeriğini oluşturmak için betiklere ihtiyaç duyuyorsa betikleri engellemeyin.

Sonucu kontrol edin

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine hangi işleme katmanının çalıştığını söyler (fetch, js veya browser). X-Target-Status sitenin durumudur, X-Credits-Charged ise ücreti gösterir.

wait_for hiç eşleşmezse sayfa X-Warning: RENDER_DEGRADED ile bulunduğu haliyle dönebilir. Kullanmadan önce içeriği ve uyarıyı kontrol edin.

İşleme katmanları ve maliyet

  • Beta süresince ücretsiz. Kredi, her isteğin maliyetini gösterir.
  • JavaScript işleme: js_render: true başarılı istek başına 3 kredi tutar.
  • Tam tarayıcı işleme: 8 kredi tutar. Ekran görüntüleri, PDF’ler ve eylemler bunu kullanır ve Spicrawl isteği sizin için oraya yönlendirir. Bir dağıtım olağan katmanı sunamazsa bir üst katmanı kullanabilir ve X-Warning: ENGINE_SUBSTITUTED döndürebilir; daha yüksek bir fiyatı reddetmek için max_cost ayarlayın.
  • Katmanı siz seçmezsiniz. Spicrawl bunu isteğin gereksinimlerine göre seçer ve sayfayı sunan katmanı faturalar.
  • Hatalar 0 tutar. Bekleme ve kaynak engelleme ek ücret getirmez. Bir isteği sınırlamak için max_cost ayarlayın.

Bilmekte fayda var

  • İşleme veya auto modunu seçin. mode: "auto", js_render ile birlikte kullanılamaz. Önce fetch ile başlar, yalnızca önceki adım bir doğrulamayla karşılaşırsa JavaScript işlemeye, ardından tam tarayıcı işlemeye geçer.
  • Tarayıcı bayrakları için tarayıcı gerekir. js_render olmadan wait_for, eylemler veya kaynak engelleme göndermek hata döndürür.
  • Crawl yok. İstediğiniz URL’leri gönderin; Spicrawl sayfa bulmaz veya bağlantıları izlemez.
  • Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan çıkarma.
  • Sorumluluğunuz: yalnızca kullanma hakkınız olan sayfaları çekin. şartlar sayfamızı okuyun.

Sık sorulan sorular

Bir JavaScript web sitesini nasıl scrape ederim?

Sayfa URL’sini js_render true olarak ayarlı şekilde POST https://api.spicrawl.com/v1/scrape adresine gönderin. Spicrawl sayfayı okumadan önce tarayıcı betikleri çalıştırır. Markdown, JSON veya HTML için response_format seçin.

İçeriğin yüklenmesini nasıl beklerim?

wait_for değerini .price gibi bir CSS seçicisine ayarlayın. 120000 milisaniyeye kadar zaman aşımı için wait_for_timeout kullanın. Seçici hiç eşleşmezse sayfa X-Warning: RENDER_DEGRADED ile durduğu haliyle dönebilir. Sonucu kullanmadan önce uyarıyı kontrol edin.

JavaScript işleme ne kadara mal olur?

Spicrawl beta süresince ücretsizdir. Başarılı JavaScript işlemeleri 3 kredi, tam tarayıcı işleme 8 kredi kullanır. Bir dağıtım JavaScript işlemeyi sunamazsa js_render tam tarayıcı işlemeyle sunulabilir ve o fiyattan faturalanabilir. Başarısız istekler 0 kredi kullanır. Neyin çalıştığını kontrol etmek için X-Engine (fetch, js veya browser) ve X-Credits-Charged değerlerini okuyun.

Auto modunu JavaScript işleme ile kullanabilir miyim?

Hayır. mode: auto, js_render ile birleştirilemez. Auto modu düz istekle başlar ve sonuç kullanılamazsa JavaScript işlemeye, sonra tam tarayıcı işlemeye yükselir. JavaScript gerektirdiğini bildiğiniz sayfalar için bunun yerine js_render: true kullanın.

JavaScript tabanlı bir web sitesini crawl edebilir mi?

Hayır. Spicrawl URL bulmaz veya bağlantıları izlemez. Okumak istediğiniz sayfaların URL’lerini gönderin. Yalnızca kullanma hakkınız olan sayfaları çekin.