Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

API web scraping untuk data bersih

Kirim URL apa pun. Dapatkan Markdown atau JSON bersih kembali, siap untuk aplikasi atau agen AI Anda.

Seret di atas halaman untuk melihat teks bersih yang disimpan Spicrawl.

shop.exampleKeranjang · 2
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Tersedia★★★★★ 4.6 (1,284)

Receiver 2.4 GHz latensi rendah, baterai tahan 70 hari, dan switch senyap. Dibuat untuk hari-hari panjang.

Tambah ke keranjangSimpan
Koneksi2.4 GHz, BT5
Baterai70 hari
Bobot62 g
Obral musim panas · diskon 30% keyboardIklan
© shop.examplePengirimanMengembalikan
Apa yang Anda lihatApa yang disimpan crawler
25.6 KB
Halaman mentah 48 KB berisi HTML, script, dan styleDipertahankan 3.1 KB teks yang dikembalikan Spicrawl · halaman contoh

Pertahankan hanya konten utama

Spicrawl membuang banner cookie, menu, iklan, dan footer, dan mempertahankan konten utama.

Ambil halaman
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

Cara kerjanya

  1. Kirim URL ke POST /v1/scrape dan pilih response_format.
  2. Spicrawl mengambil halaman. Ia memakai permintaan biasa dulu, atau browser jika Anda memintanya.
  3. Anda mendapat hasilnya di body respons, dengan status asli situs di sebuah header.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

Simpan key Anda di SPICRAWL_API_KEY dan jangan pernah menuliskannya ke kode yang Anda commit.

Format output

FormatTerbaik untuk
markdownPrompt AI, RAG, dan membaca. Hanya konten utama secara default.
jsonAplikasi: konten beserta metadata, tautan, atau field hasil ekstraksi dalam satu objek.
htmlKetika Anda membutuhkan markup halaman. Ini default.
textOutput terkecil, tanpa format.
pdfPDF dari halaman yang dirender.

Lihat situs web ke Markdown untuk info lebih lanjut tentang output Markdown.

Periksa hasilnya

Status HTTP milik Spicrawl. Jawaban situs ada di X-Target-Status. Panggilan yang berhasil terlihat seperti ini:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

403 atau 503 di X-Target-Status menandakan Anda mendapat halaman blokir, dan itu berbiaya 0 kredit.

Halaman yang membutuhkan lebih

  • Halaman JavaScript. Atur js_render: true untuk memuat halaman di browser lebih dulu. Lihat Rendering JavaScript.
  • Halaman yang memerlukan login. Gunakan session untuk menyimpan cookie antar permintaan, untuk akun yang Anda miliki atau berhak Anda gunakan. Lihat session dan login.
  • Klik dan scroll. Aksi browser dapat mengklik, mengetik, dan menggulir sebelum halaman dibaca. Lihat aksi browser.
  • Banyak URL. Satu batch job menerima hingga 10,000 URL dalam satu panggilan. Lihat batch.

Berapa biayanya

  • Gratis selama beta, tanpa kartu kredit.
  • Kredit per permintaan yang berhasil: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, 8 untuk rendering browser penuh.
  • Kegagalan gratis: error, tantangan bot, dan halaman yang menjawab dengan error berbiaya 0.
  • Batasi setiap permintaan dengan max_cost, sehingga satu panggilan tidak pernah memakan biaya lebih dari yang Anda duga.

Perlu diketahui

  • Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Anda mengirim URL-nya.
  • Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri tanpa biaya tambahan.
  • Tanggung jawab Anda: hanya ambil halaman yang berhak Anda gunakan. Lihat ketentuan kami.

Pertanyaan yang sering diajukan

Apa itu API web scraping?

Ini adalah layanan yang mengambil halaman web untuk Anda dan mengembalikan kontennya dalam bentuk yang dapat dipakai kode Anda. Anda mengirim URL; layanan menangani permintaan, JavaScript, dan pembersihan, lalu mengembalikan Markdown, JSON, atau HTML.

Berapa biaya API scraping Spicrawl?

Gratis selama beta, tanpa kartu kredit. Permintaan memakai kredit: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, dan 8 untuk rendering browser penuh. Error, tantangan bot, dan halaman yang menjawab dengan error berbiaya 0.

Bisakah ia melakukan scrape halaman yang membutuhkan JavaScript?

Ya. Atur js_render ke true dan halaman dimuat di browser lebih dulu. Mulai dengan permintaan biasa dan render hanya saat hasil biasa kosong.

Bagaimana saya tahu apakah situs memblokir saya?

Baca header X-Target-Status. Status HTTP milik Spicrawl; X-Target-Status adalah jawaban situs. Status 403 atau 503 di sana berarti Anda mendapat halaman blokir, dan itu berbiaya 0 kredit.

Bisakah ia melakukan crawl seluruh situs web?

Tidak. Spicrawl tidak mengikuti tautan atau menemukan halaman. Kirim URL yang Anda inginkan, satu per satu atau hingga 10,000 dalam satu panggilan batch.