Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Ubah situs web apa pun menjadi Markdown bersih untuk LLM

Kirim URL, dapatkan konten utama halaman kembali sebagai Markdown: heading, daftar, tautan, tabel, dan kode, tanpa navigasi, skrip, dan footer yang memboroskan token LLM.

https://
Format: Markdown Hanya konten utama

Cara kerjanya

  1. Kirim URL ke endpoint scrape dengan response_format: "markdown".
  2. Spicrawl mengambil halaman, merender JavaScript jika diminta, dan mempertahankan konten utama.
  3. Anda mendapat Markdown kembali sebagai body respons, siap untuk prompt, indeks RAG, atau file.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Atur key sekali dengan SPICRAWL_API_KEY dan jangan pernah menuliskannya ke kode yang Anda commit. Format default API adalah HTML, jadi selalu atur response_format.

Dari HTML ke Markdown

Halaman biasa membungkus beberapa paragraf dengan navigasi, skrip, dan markup footer. Spicrawl mempertahankan konten dan strukturnya:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Heading, daftar, tautan, tabel, dan blok kode bertahan saat konversi. Tata letak, gaya, dan bagian interaktif tidak. Dalam pengukuran kami atas enam halaman nyata, Markdown Spicrawl memakai 53% hingga 97% lebih sedikit token dibanding HTML dari halaman yang sama.

Opsi yang mengurangi token

FieldApa yang dilakukannya
response_formatmarkdown mempertahankan heading, tautan, dan tabel; text membuang semua sintaks Markdown.
main_content_onlyAktif secara default untuk Markdown: navigasi, footer, dan aside dihapus. Atur false untuk mempertahankan seluruh halaman.
include_tagsCSS selector yang dipertahankan. Hanya bagian halaman yang cocok yang dikonversi.
exclude_tagsCSS selector yang dihapus, seperti banner cookie atau daftar artikel terkait.
js_renderMuat halaman di browser terlebih dahulu, untuk konten yang dibangun oleh JavaScript.
linksKembalikan juga tautan halaman sebagai daftar terpisah, dalam respons JSON.

Filter tag berjalan sebelum konversi, sehingga apa pun yang Anda hapus tidak pernah sampai ke model Anda:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

Halaman JavaScript dan PDF

Mulai dengan permintaan biasa (1 kredit). Jika hasilnya cangkang kosong atau pesan loading, kirim lagi dengan js_render: true (3 kredit) agar halaman berjalan di browser sebelum konversi. Atur max_cost ke langkah yang Anda maksud, sehingga permintaan tidak pernah berbiaya lebih dari yang Anda duga.

Ketika URL adalah PDF, Spicrawl mengurainya menjadi teks biasa dengan harga normal. Heading dan tabel tidak dibangun ulang, dan PDF hasil pindai atau terenkripsi tidak menghasilkan teks.

Ubah banyak halaman

Satu job batch menerima hingga 10,000 URL per panggilan, menjalankannya secara paralel, dan dapat mengembalikan masing-masing sebagai Markdown. Hasil disimpan selama 72 jam.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl mengonversi URL yang Anda kirim. Ia tidak melakukan crawl situs atau menemukan halaman untuk Anda, jadi kumpulkan URL terlebih dahulu, misalnya dari sitemap situs.

Dari agen AI

Agen dapat memanggil konversi yang sama lewat Server MCP Spicrawl: tool spicrawl_scrape mengembalikan Markdown secara default. CLI spicrawl melakukan hal yang sama dari terminal atau skrip.

API konverter atau library HTML-ke-Markdown?

Jika Anda sudah punya HTML-nya, library open-source seperti Turndown dapat mengonversinya di kode Anda sendiri secara gratis. Anda tetap harus mengambil halaman, menjalankan JavaScript-nya, melewati halaman yang menolak permintaan sederhana, dan membuang navigasinya sendiri. Spicrawl melakukan langkah-langkah itu dalam satu permintaan, yang paling berguna saat Anda mengonversi halaman dari banyak situs berbeda.

Perlu diketahui

  • Periksa status situs. Status HTTP milik Spicrawl. Status asli halaman ada di header X-Target-Status: situs yang menjawab 403 tetap kembali sebagai HTTP 200, dan berbiaya 0 kredit.
  • Periksa sampel. Isolasi konten utama bekerja di sebagian besar halaman, tetapi sebagian navigasi bisa tersisa pada tata letak yang tidak biasa. Periksa satu halaman dari tiap tipe sebelum mengindeks ribuan halaman.
  • Harga. Gratis selama beta, tanpa kartu kredit. Permintaan biasa 1 kredit, rendering JavaScript 3, rendering browser penuh 8. Konversi Markdown tidak menambah biaya, dan permintaan gagal atau diblokir berbiaya 0.

Pertanyaan yang sering diajukan

Bagaimana cara mengubah situs web menjadi Markdown?

Kirim permintaan POST ke https://api.spicrawl.com/v1/scrape dengan URL halaman dan response_format diatur ke markdown. Body respons adalah Markdown itu sendiri. Anda juga dapat memakai CLI spicrawl (spicrawl scrape URL --format markdown) atau tool MCP spicrawl_scrape dari agen AI.

Apakah navigasi, iklan, dan footer dihapus?

Ya. Untuk Markdown, isolasi konten utama aktif secara default, sehingga navigasi, footer, dan aside dihapus. Anda dapat mempersempitnya dengan include_tags dan exclude_tags, atau atur main_content_only ke false untuk mempertahankan seluruh halaman. Sebagian navigasi masih dapat bertahan pada tata letak yang tidak biasa, jadi periksa sampel dari setiap jenis halaman.

Bisakah ia mengonversi halaman yang banyak JavaScript?

Ya. Atur js_render ke true dan halaman dimuat di browser sebelum konversi. Mulai dengan permintaan biasa, yang berbiaya 1 kredit, dan render hanya jika hasil biasa kosong atau tidak lengkap; rendering berbiaya 3 kredit.

Bisakah ia mengonversi PDF menjadi Markdown?

PDF diurai menjadi teks biasa saat Anda meminta markdown atau teks, dengan harga normal. Heading dan tabel tidak dibangun ulang, dan PDF hasil pindai atau terenkripsi tidak menghasilkan teks.

Berapa biayanya?

Spicrawl gratis selama beta, tanpa kartu kredit. Permintaan memakai kredit: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, dan 8 untuk rendering browser penuh. Konversi ke Markdown tidak berbiaya tambahan, dan permintaan gagal atau diblokir berbiaya 0.

Bisakah saya mengonversi banyak halaman sekaligus?

Ya. Job batch menerima hingga 10,000 URL per panggilan dan dapat mengembalikan masing-masing sebagai Markdown. Spicrawl tidak menemukan halaman untuk Anda: kirim URL yang Anda inginkan, misalnya dari sitemap.