Pertanyaan yang sering diajukan
Jawaban cepat tentang Spicrawl, dari harga hingga proxy.
Semua pertanyaan
Umum
Apa itu Spicrawl?
Spicrawl adalah API web scraping yang mengubah URL apa pun menjadi Markdown bersih, HTML, PDF, atau JSON terstruktur untuk kode atau agen AI Anda, lewat API, CLI, atau server MCP.
Apakah Spicrawl gratis?
Ya. Gratis selama beta, dengan 1,000 kredit per bulan dan tanpa kartu kredit.
Apa arti Spicrawl?
Namanya menggabungkan "spider" dan "crawl", itulah sebabnya logo kami adalah laba-laba. Ejaannya S-P-I-C-R-A-W-L. Spicrawl adalah API web scraping: Anda mengirim URL yang diinginkan, dan ia mengembalikan data bersih.
Mengapa tidak memakai web fetch bawaan asisten AI saya?
Tool fetch bawaan cukup untuk melihat sekilas, tetapi sering mengembalikan teks mentah atau terpotong dan mungkin tidak menjalankan JavaScript. Spicrawl mengembalikan Markdown atau JSON yang bersih, merender JavaScript saat halaman membutuhkannya, mempertahankan session login, menjalankan klik dan input form, dan memproses batch hingga 10,000 URL dalam satu job. Agen Anda mendapatkan konten halaman, bukan menu dan skripnya.
Apakah web scraping legal?
Tergantung pada apa yang Anda kumpulkan, di mana Anda berada, dan bagaimana Anda menggunakannya. Melakukan scrape halaman yang tersedia untuk umum itu lazim, tetapi Anda bertanggung jawab menghormati ketentuan, hak cipta, dan undang-undang perlindungan data setiap situs seperti GDPR, terutama untuk data pribadi. Jika Anda ragu, tanyakan kepada pengacara tentang kasus spesifik Anda.
Scraping dan data
Bisakah saya melakukan scrape situs JavaScript?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Bisakah Spicrawl melewati perlindungan bot seperti Cloudflare?
Sering, tetapi tidak selalu. Gunakan fingerprint browser asli, rendering browser, atau proxy Anda sendiri. Tantangan bot mengembalikan error yang jelas dan tidak berbiaya. Mode stealth dan proxy terkelola tidak ada di beta.
Bagaimana cara mengubah situs web menjadi Markdown untuk LLM?
Kirim URL dengan response_format diatur ke markdown. Spicrawl mengembalikan konten utama halaman sebagai Markdown, dengan menu, footer, dan aside dihapus, yang biasanya hanya memakai sebagian kecil token HTML mentah. Ia juga mengurai PDF, dan konversi Markdown tidak berbiaya tambahan.
Bisakah saya mengekstrak data terstruktur sebagai JSON?
Ya, dengan tiga cara: autoparse membaca metadata halaman itu sendiri, peta selector mengambil field yang tepat, dan JSON Schema dengan selector mengembalikan output bertipe dan tervalidasi. Ketiganya gratis di atas harga engine. Ekstraksi dari deskripsi bahasa biasa, memakai model, segera hadir.
Bisakah saya melakukan scrape banyak URL sekaligus?
Ya. Job batch menerima hingga 10,000 URL per panggilan dan menjalankannya secara paralel. Anda memeriksa progresnya, lalu mengunduh hasilnya sebagai JSON Lines. Hasil disimpan 72 jam.
Bisakah saya mempertahankan session login?
Ya. Buat session dan teruskan id-nya pada setiap permintaan untuk memakai ulang cookie, storage browser, dan IP keluar yang sama, sehingga login terbawa di antara halaman. Satu organisasi dapat memiliki hingga 100 session aktif sekaligus.
Bisakah saya mengotomatiskan klik dan form?
Ya. Aksi browser dapat click, type, select, scroll, wait, dan menjalankan JavaScript pada halaman yang dirender sebelum di-capture, hingga 50 langkah per permintaan.
Bisakah saya memakai proxy?
Ya. Bawa proxy Anda sendiri tanpa biaya tambahan proxy. Proxy terkelola dan penargetan negara bawaan segera hadir dan belum tersedia selama beta.
Agen AI dan developer
Bisakah saya memakai Spicrawl dengan agen AI?
Ya. Server MCP hosted memungkinkan Claude Code, Cursor, dan Codex melakukan scrape halaman, menjalankan batch, memakai ulang session, dan menjalankan aksi browser. Jalankan spicrawl init untuk menyiapkannya.
Bahasa pemrograman apa yang dapat saya gunakan?
Bahasa apa pun yang dapat mengirim permintaan HTTP. Dokumentasi menyertakan contoh dalam cURL, Python, dan TypeScript, serta ada SDK JavaScript dan TypeScript di npm (@spicrawl/sdk) untuk Node.js 18 ke atas. CLI spicrawl berjalan dari shell atau skrip apa pun.
Apakah ada CLI atau dashboard?
Keduanya. CLI mencakup scraping, batch, session, log, dan penggunaan, dan dashboard memiliki playground, log aktivitas, penggunaan, dan manajemen key.
Kredit dan batas
Apakah permintaan gagal memakan kredit?
Tidak. Hanya permintaan yang berhasil memakan kredit: 1 untuk biasa, 3 untuk rendering JavaScript, dan 8 untuk browser penuh. Error, tantangan bot, dan timeout gratis.
Apakah ada rate limit?
Ya. Setiap API key memiliki rate permintaan, setiap organisasi memiliki batas permintaan yang berjalan bersamaan, dan ada jatah kredit bulanan. Setiap respons melaporkan batas Anda saat ini di header-nya, dan permintaan yang ditolak oleh batas tidak berbiaya.
Masih buntu? Baca dokumentasi atau kirim email ke support@spicrawl.com.