Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Tangkap panggilan API di balik halaman web

Banyak halaman memuat datanya dari API. Capture panggilan tersebut dan baca JSON-nya langsung.

Cara kerjanya

  1. Render halaman. Atur js_render: true, karena pengambilan hanya berjalan di browser.
  2. Pilih panggilan. Atur network_capture ke daftar urls berisi pola, seperti /api/search.
  3. Baca body-nya. Setiap panggilan yang cocok kembali di array network beserta status, tipe, dan body-nya.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Simpan key Anda di SPICRAWL_API_KEY.

Apa yang dikembalikan

Kutipan dari respons yang didokumentasikan. Isi halaman hanyalah contoh.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Kapan memakainya

  • Halaman mengisi dirinya sendiri dari sebuah API. JSON biasanya lebih bersih dan stabil daripada markup yang dibuat darinya.
  • Pencarian, listing, dan feed. Hasil sering dimuat sebagai satu panggilan JSON yang bisa Anda baca utuh.
  • Jika tidak, gunakan ekstraksi terstruktur dengan selector CSS atau JSON Schema.

Perlu diketahui

  • Memerlukan js_render. Tidak menambah kredit di atas 3 untuk rendering JavaScript. Permintaan gagal berbiaya 0.
  • Bersikaplah sopan. Hanya ambil data yang boleh Anda gunakan, dan ikuti ketentuan situs.
  • Harga: gratis selama beta, dengan 1,000 kredit per bulan.

Pertanyaan yang sering diajukan

Apa fungsi capture jaringan?

Ia merekam panggilan jaringan yang dibuat halaman saat dimuat dan mengembalikan yang Anda minta, termasuk body respons. Itu memungkinkan Anda membaca JSON yang dipakai halaman itu sendiri, alih-alih mengurai HTML yang digambar darinya.

Bagaimana cara memilih panggilan yang akan di-capture?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

Apakah memerlukan rendering JavaScript?

Ya. Capture hanya bekerja saat halaman dirender di browser, jadi atur js_render ke true.

Apakah capture jaringan berbiaya tambahan?

Tidak. Tidak menambah kredit di atas rendering JavaScript yang sudah Anda bayar, yaitu 3 kredit. Permintaan gagal berbiaya 0.

Haruskah saya memakainya sebagai ganti scraping HTML?

Ketika halaman mengisi dirinya dari API JSON, membaca JSON itu biasanya lebih bersih dan lebih stabil daripada mengurai markup. Hormati ketentuan situs dan hanya ambil data yang boleh Anda gunakan.