Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

API web scraping batch

Kirim hingga 10,000 URL dalam satu panggilan. Dapatkan setiap halaman kembali sebagai data bersih.

Kirim URL
batch.py
import permintaanjob = permintaan.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Cara kerjanya

  1. Kirim URL Anda ke POST /v1/batch. Anda langsung mendapat job ID.
  2. Periksa job sampai statusnya completed, failed, atau cancelled.
  3. Baca hasilnya sebagai JSON Lines, satu halaman sekali ambil, dengan X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Simpan key Anda di SPICRAWL_API_KEY. Key Anda memerlukan scope batch.

Apa yang dapat dilakukan setiap item

  • Format: html (default), markdown, text, atau json.
  • Pembersihan: main_content_only, include_tags, dan exclude_tags bekerja pada Markdown dan teks.
  • JavaScript: atur js_render: true untuk halaman yang membutuhkan browser.
  • Pengaturan per URL: kirim items alih-alih urls untuk memberi tiap URL pengaturan sendiri dan external_id.

Perlu diketahui

  • Tidak pada batch: ekstraksi, screenshot, aksi browser, dan session. Job yang memintanya ditolak dengan 400 sebelum ada biaya yang dikenakan. Gunakan scrape tunggal untuk halaman tersebut.
  • Hasil kedaluwarsa 72 jam setelah job selesai.
  • Tidak ada crawl. Spicrawl tidak menemukan URL atau mengikuti tautan. Anda yang mengirim daftarnya.
  • Harga: gratis selama beta. Setiap item yang berhasil memakai kredit yang sama dengan satu scrape.

Pertanyaan yang sering diajukan

Berapa URL yang dapat ada dalam satu job batch?

Hingga 10,000 URL per panggilan. Kirim sebagai daftar di urls, atau sebagai items ketika setiap URL membutuhkan pengaturannya sendiri atau external_id yang dapat Anda cocokkan.

Format apa yang dikembalikan job batch?

Setiap item dikembalikan sebagai html (default), markdown, text, atau json. Markdown dan text memakai konversi yang sama seperti scrape tunggal.

Berapa lama hasil batch disimpan?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Bisakah job batch mengekstrak field atau mengklik tombol?

Tidak. Ekstraksi, screenshot, aksi browser, dan session tidak berjalan pada batch. Job yang meminta hal tersebut ditolak dengan 400 sebelum ada yang ditagih. Gunakan scrape tunggal untuk halaman tersebut.

Apakah batch melakukan crawl situs web?

Tidak. Spicrawl tidak menemukan URL atau mengikuti tautan. Anda mengirim daftar URL yang diinginkan.