Toplu web scraping API’si
Tek çağrıda 10.000 URL’ye kadar gönderin. Her sayfayı temiz veri olarak geri alın.
import istekjob = istek.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"yazdır(job["id"], job["total_items"])Nasıl çalışır
- URL’lerinizi gönderin
POST /v1/batchadresine. Hemen bir iş kimliği alırsınız. - İşi kontrol edin durumu
completed,failedveyacancelledolana kadar. - Sonuçları okuyun JSON Lines olarak, her seferinde bir sayfa,
X-Next-Cursorile.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlAnahtarınızı SPICRAWL_API_KEY içinde tutun. Anahtarınızın batch kapsamına ihtiyacı var.
Her öğenin yapabilecekleri
- Biçimler:
html(varsayılan),markdown,textveyajson. - Temizlik:
main_content_only,include_tagsveexclude_tagsMarkdown ile metin üzerinde çalışır. - JavaScript: tarayıcı gerektiren sayfalar için
js_render: trueayarlayın. - URL başına ayarlar: her URL’ye kendi ayarlarını ve bir
external_idvermek içinurlsyerineitemsgönderin.
Bilmekte fayda var
- Toplu işte yok: çıkarma, ekran görüntüleri, tarayıcı eylemlerı ve oturumlar. Bunları isteyen bir iş, herhangi bir ücret alınmadan önce 400 ile reddedilir. Bu sayfalar için tekil scrape’ler kullanın.
- Sonuçların süresi dolar İş bittikten 72 saat sonra.
- Crawl yok. Spicrawl URL bulmaz veya bağlantıları izlemez. Listeyi siz gönderirsiniz.
- Fiyatlandırma: beta süresince ücretsiz. Başarılı her öğe, tekli bir scrape ile aynı krediyi kullanır.
Sık sorulan sorular
Bir toplu iş kaç URL içerebilir?
Çağrı başına 10.000 URL’ye kadar. Bunları urls içinde liste olarak veya her URL kendi ayarlarına ya da eşleştirebileceğiniz bir external_id değerine ihtiyaç duyuyorsa items olarak gönderin.
Bir toplu iş hangi formatları döndürür?
Her öğe html (varsayılan), markdown, text veya json olarak döner. Markdown ve text, tekil bir scrape ile aynı dönüştürmeyi kullanır.
Toplu iş sonuçları ne kadar süre saklanır?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Bir toplu iş alanları çıkarabilir veya düğmelere tıklayabilir mi?
Hayır. Veri çıkarma, ekran görüntüleri, tarayıcı eylemleri ve oturumlar toplu işte çalışmaz. Bunları isteyen bir iş, herhangi bir ücret alınmadan önce 400 ile reddedilir. Bu sayfalar için tekil scrape’leri kullanın.
Batch bir web sitesini crawl eder mi?
Hayır. Spicrawl URL bulmaz veya bağlantıları izlemez. İstediğiniz URL listesini siz gönderirsiniz.