Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Bir web sayfasının arkasındaki API çağrılarını yakalayın

Birçok sayfa verisini bir API’den yükler. Bu çağrıları yakalayın ve JSON’u doğrudan okuyun.

Nasıl çalışır

  1. Sayfayı işleyin. Yakalama yalnızca tarayıcıda çalıştığı için js_render: true ayarlayın.
  2. Çağrıları seçin. network_capture değerini urls desen listesine ayarlayın, örneğin /api/search.
  3. Gövdeleri okuyun. Eşleşen her çağrı, durumu, türü ve gövdesiyle network dizisinde gelir.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Anahtarınızı SPICRAWL_API_KEY içinde tutun.

Geri dönenler

Belgelenmiş yanıttan bir alıntı. Sayfa içerikleri bir örnektir.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Ne zaman kullanılır

  • Sayfa kendini bir API’den doldurur. JSON genellikle ondan çizilen işaretlemeden daha temiz ve daha kararlıdır.
  • Arama, listelemeler ve akışlar. Sonuçlar çoğu zaman bütünüyle okuyabileceğiniz tek bir JSON çağrısı olarak yüklenir.
  • Aksi halde, CSS seçicileri veya bir JSON Schema ile yapılandırılmış veri çıkarma kullanın.

Bilmekte fayda var

  • js_render gerekir. JavaScript işleme için olan 3 kredinin üstüne kredi eklemez. Başarısız istekler 0 tutar.
  • Saygılı olun. Yalnızca kullanma izniniz olan verileri çekin ve sitenin şartlarına uyun.
  • Fiyatlandırma: beta süresince ücretsiz, ayda 1.000 kredi ile.

Sık sorulan sorular

Ağ yakalama ne yapar?

Bir sayfanın yüklenirken yaptığı ağ çağrılarını kaydeder ve istediklerinizi, yanıt gövdesi dahil, döndürür. Böylece sayfanın çizdiği HTML’i ayrıştırmak yerine sayfanın kendi kullandığı JSON’u okuyabilirsiniz.

Hangi çağrıların yakalanacağını nasıl seçerim?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

JavaScript işleme gerekir mi?

Evet. Yakalama yalnızca sayfa bir tarayıcıda işlendiğinde çalışır, bu yüzden js_render değerini true yapın.

Ağ yakalama ek ücrete mi tabi?

Hayır. Zaten ödediğiniz JavaScript işlemenin, yani 3 kredinin üzerine kredi eklemez. Başarısız istekler 0 tutar.

HTML’i scrape etmek yerine bunu kullanmalı mıyım?

Bir sayfa kendini bir JSON API’sinden doldurduğunda, o JSON’u okumak genellikle işaretlemeyi ayrıştırmaktan daha temiz ve daha kararlıdır. Sitenin şartlarına uyun ve yalnızca kullanmanıza izin verilen veriyi çekin.