Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Toplu web scraping API’si

Tek çağrıda 10.000 URL’ye kadar gönderin. Her sayfayı temiz veri olarak geri alın.

URL’leri gönderin
batch.py
import istekjob = istek.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"yazdır(job["id"], job["total_items"])

Nasıl çalışır

  1. URL’lerinizi gönderin POST /v1/batch adresine. Hemen bir iş kimliği alırsınız.
  2. İşi kontrol edin durumu completed, failed veya cancelled olana kadar.
  3. Sonuçları okuyun JSON Lines olarak, her seferinde bir sayfa, X-Next-Cursor ile.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Anahtarınızı SPICRAWL_API_KEY içinde tutun. Anahtarınızın batch kapsamına ihtiyacı var.

Her öğenin yapabilecekleri

  • Biçimler: html (varsayılan), markdown, text veya json.
  • Temizlik: main_content_only, include_tags ve exclude_tags Markdown ile metin üzerinde çalışır.
  • JavaScript: tarayıcı gerektiren sayfalar için js_render: true ayarlayın.
  • URL başına ayarlar: her URL’ye kendi ayarlarını ve bir external_id vermek için urls yerine items gönderin.

Bilmekte fayda var

  • Toplu işte yok: çıkarma, ekran görüntüleri, tarayıcı eylemlerı ve oturumlar. Bunları isteyen bir iş, herhangi bir ücret alınmadan önce 400 ile reddedilir. Bu sayfalar için tekil scrape’ler kullanın.
  • Sonuçların süresi dolar İş bittikten 72 saat sonra.
  • Crawl yok. Spicrawl URL bulmaz veya bağlantıları izlemez. Listeyi siz gönderirsiniz.
  • Fiyatlandırma: beta süresince ücretsiz. Başarılı her öğe, tekli bir scrape ile aynı krediyi kullanır.

Sık sorulan sorular

Bir toplu iş kaç URL içerebilir?

Çağrı başına 10.000 URL’ye kadar. Bunları urls içinde liste olarak veya her URL kendi ayarlarına ya da eşleştirebileceğiniz bir external_id değerine ihtiyaç duyuyorsa items olarak gönderin.

Bir toplu iş hangi formatları döndürür?

Her öğe html (varsayılan), markdown, text veya json olarak döner. Markdown ve text, tekil bir scrape ile aynı dönüştürmeyi kullanır.

Toplu iş sonuçları ne kadar süre saklanır?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Bir toplu iş alanları çıkarabilir veya düğmelere tıklayabilir mi?

Hayır. Veri çıkarma, ekran görüntüleri, tarayıcı eylemleri ve oturumlar toplu işte çalışmaz. Bunları isteyen bir iş, herhangi bir ücret alınmadan önce 400 ile reddedilir. Bu sayfalar için tekil scrape’leri kullanın.

Batch bir web sitesini crawl eder mi?

Hayır. Spicrawl URL bulmaz veya bağlantıları izlemez. İstediğiniz URL listesini siz gönderirsiniz.