Scrape etmeden önce tıklayın, yazın ve kaydırın
Menüleri açın, formları doldurun, daha fazlasını yükleyin. Sonra sayfayı okuyun.
- 1TıklaBir menü açın veya “Load more”a basın
- 2YazBir formu veya arama kutusunu doldurun
- 3KaydırAkışın geri kalanını yükleyin
- 4OkuSayfayı Markdown olarak alın
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Nasıl çalışır
- İşlemeyi açın
js_render: trueile. Eylemler bir tarayıcı gerektirir. - Adımlarınızı listeleyin
actionsiçinde. Sayfa yüklendikten sonra sırayla çalışırlar. - Sayfayı alın son adımdan sonra göründüğü haliyle, seçtiğiniz biçimde.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Kullanabileceğiniz adımlar
| Adım | Ne yapar |
|---|---|
wait_for | Bir öğeyi veya belirli bir süreyi bekler |
click | Bir düğmeye veya bağlantıya tıklar |
fill | Bir girdiye yazar. Değeri günlüklerden gizlemek için secret: true ekleyin |
select | Bir listeden seçenek seçer |
scroll | Sayfayı kaydırır; ilerledikçe daha fazlasını yükleyen akışlar için |
evaluate | Sayfada kendi JavaScript’inizi çalıştırır |
screenshot | O adımda sayfanın bir görüntüsünü kaydeder |
Bilmekte fayda var
- En fazla 50 adım istek başına. Hiçbir şey harcanmadan önce listenin tamamı kontrol edilir.
- Yalnızca tarayıcı.
js_renderolmadan istek 400 ile reddedilir. - Toplu işte yok. Eylemler yalnızca tekli scrape’lerde çalışır.
- Girişler: yalnızca sahibi olduğunuz veya kullanma izniniz olan hesaplarda oturum açın. Oturumun açık kalması için bir oturum kullanın.
- Fiyatlandırma: beta süresince ücretsiz. Eylemler 8 kredi tutan tam tarayıcı işlemede çalışır.
Sık sorulan sorular
Tarayıcı eylemleri neler yapabilir?
Bir öğeyi bekleyin, gezinmeyi bekleyin, tıklayın, bir girişi doldurun, bir seçenek seçin, kaydırın, JavaScript çalıştırın ve ekran görüntüsü alın. Adımlar sayfa yüklendikten sonra sırayla çalışır.
Tek bir istekte kaç adım olabilir?
En fazla 50. Tüm liste istek çalışmadan önce kontrol edilir, böylece bir hata erken başarısız olur ve ücretsizdir.
Tarayıcı eylemleri JavaScript işleme gerektirir mi?
Evet. Eylemler bir tarayıcıda çalışır, bu yüzden js_render değerini true yapın. Bu olmadan istek 400 ile reddedilir.
Parolayı güvenle girebilir miyim?
Evet. fill adımını secret true olarak işaretleyin, değer günlüklerden gizlenir. Yalnızca sahibi olduğunuz veya kullanma yetkiniz olan hesaplarda oturum açın.
Adımlardan sonra ekran görüntüsü alabilir miyim?
Evet. Bir screenshot adımı ekleyin. Yanıt sonra JSON zarfına dönüşür, görseller screenshots altında olur.