Server MCP web scraping hosted untuk agen AI
Hubungkan agen Anda ke https://mcp.spicrawl.com/mcp dan agen dapat membaca URL apa pun sebagai Markdown atau JSON, menjalankan job batch, memakai ulang session yang sudah login, dan memeriksa penggunaannya sendiri, tanpa Anda menulis kode scraping.
Apa yang dilakukan server MCP Spicrawl
Server ini memberi agen AI akses ke Spicrawl sebagai tool native. Server di-host di https://mcp.spicrawl.com/mcp, menggunakan MCP Streamable HTTP, dan melakukan autentikasi dengan API key Anda sendiri sebagai bearer token. Setiap panggilan tool berjalan dengan key tersebut persis seperti jika Anda memanggil API sendiri: batas dan kredit yang sama.
Siapkan dengan satu perintah
CLI Spicrawl menambahkan server MCP dan skill agen Spicrawl ke klien Anda, dan menampilkan perubahan sebelum menerapkannya:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexAtau tambahkan secara manual. Simpan key di environment variable SPICRAWL_API_KEY dan rujuk dari konfigurasi, sehingga key tidak pernah masuk ke file yang di-commit:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Periksa koneksi dengan claude mcp list, codex mcp list, atau pengaturan MCP klien Anda. Anda akan melihat 25 tool spicrawl_*.
Tool, dikelompokkan menurut tugas
| Job | Tool |
|---|---|
| Baca satu halaman | spicrawl_scrape: Markdown (default), teks, HTML, atau JSON, dengan rendering opsional, filter tag, ekstraksi, dan aksi browser |
| Banyak URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Halaman yang memerlukan login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Debug kegagalan | spicrawl_requests_list, spicrawl_request_get |
| Kredit dan penggunaan | spicrawl_usage, _summary, _reconciliation (memerlukan scope read) |
| Cari informasi | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
Tool untuk terhubung ke browser jarak jauh melalui CDP tercantum tetapi segera hadir.
Tugas pertama untuk dicoba
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Agen memanggil spicrawl_scrape dengan URL dan format: "markdown", dan menambahkan render: true hanya jika hasil pertama kosong. Panduan lengkapnya ada di cara melakukan scrape situs web dengan Claude Code.
Jaga agen tetap murah dan aman
- Termurah lebih dulu. Permintaan biasa 1 kredit, rendering JavaScript 3, rendering browser penuh 8. Agen sebaiknya naik satu langkah demi satu dan berhenti pada langkah pertama yang berhasil.
- Batasi setiap panggilan. Atur
max_costdan permintaan yang akan berbiaya lebih besar ditolak sebelum dijalankan. - Kegagalan gratis. Error dan halaman yang diblokir berbiaya 0 kredit.
- Uji tanpa mengeluarkan biaya. Key
spicrawl_test_berjalan di sandbox dan tidak pernah memakai kredit live. - Batasi apa yang bisa dilakukan sebuah key. Key mendapat scope
scrape,batch, dansessionssecara default; berikanreadhanya jika agen perlu melihat penggunaan.
Apa yang tidak dilakukannya
- Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan URL. Berikan URL ke agen, atau daftar dari sitemap, dan gunakan batch job untuk banyak halaman.
- Segera hadir: proxy terkelola, mode stealth, koneksi browser jarak jauh, dan ekstraksi dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri tanpa biaya tambahan, dan mengekstrak data dengan selector CSS atau JSON Schema.
Perbandingannya dengan server MCP scraping lainnya
Sebagian besar API scraping kini menyediakan server MCP. Apa yang ditawarkan masing-masing, dari halaman perbandingan kami, yang mengutip dokumentasi setiap vendor:
| Penyedia | Server MCP mereka |
|---|---|
| Firecrawl | Server MCP hosted yang bekerja tanpa key, dengan login OAuth atau dengan API key. |
| ZenRows | Server MCP hosted, plus toolkit agen berisi skill dan plugin untuk Claude Code, Cursor, dan Codex. |
| Context.dev | Server MCP hosted yang login dengan OAuth sebagai ganti API key, plus skill agen. |
| ScrapingBee | Server MCP hosted dengan tool untuk mengambil halaman, teks, screenshot, hasil pencarian, dan penggunaan. |
| Bright Data | Server MCP berlisensi MIT, hosted atau dijalankan lokal. Mode default gratis men-scrape halaman sebagai Markdown dan mencari web; mode Pro menambahkan 60+ tool. |
| Jina Reader | Server MCP hosted dengan tool untuk membaca URL, mengambil screenshot, dan mencari. Membaca bekerja tanpa key. |
| Apify | Server MCP resmi yang memungkinkan agen menemukan dan menjalankan scraper siap pakai (Actor). |
| Browserbase | Server MCP hosted berbasis Stagehand yang mengendalikan browser cloud dengan perintah bahasa biasa. |
Pilih server Spicrawl ketika agen Anda sebagian besar membaca halaman yang URL-nya sudah dimiliki, dan Anda menginginkan Markdown yang bersih, session untuk halaman yang memerlukan login, dan kegagalan yang tidak berbiaya. Pilih yang melakukan crawl atau pencarian ketika agen harus menemukan halaman terlebih dahulu.
Pertanyaan yang sering diajukan
Apa itu server MCP web scraping?
Ini adalah server Model Context Protocol yang memberi agen AI tool untuk mengambil halaman web. Alih-alih menulis kode HTTP, agen memanggil tool seperti spicrawl_scrape dengan URL dan mendapatkan halaman kembali sebagai Markdown, teks, HTML, atau JSON.
Agen AI dan editor apa saja yang didukung?
Klien MCP apa pun yang dapat terhubung ke server jarak jauh melalui Streamable HTTP dan mengirim header Authorization, termasuk Claude Code, Cursor, VS Code, dan Codex CLI. Claude Desktop dapat terhubung melalui bridge mcp-remote.
Apakah server MCP Spicrawl gratis?
Spicrawl gratis selama beta, tanpa kartu kredit. Panggilan tool memakai kredit yang sama dengan API: 1 untuk permintaan biasa, 3 untuk rendering JavaScript, dan 8 untuk rendering browser penuh. Permintaan gagal dan diblokir berbiaya 0.
Bisakah server MCP melakukan crawl seluruh situs web?
Tidak. Spicrawl tidak menemukan URL atau mengikuti tautan. Berikan agen URL yang Anda inginkan, atau daftar dari sitemap, dan gunakan job batch untuk banyak halaman.
Bagaimana cara menjaga API key saya tetap aman?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Apakah bekerja dengan halaman yang memerlukan login?
Ya, untuk akun yang Anda miliki atau berhak Anda gunakan. Buat session dengan spicrawl_session_create, login dengan aksi browser, lalu teruskan session ID pada scrape berikutnya agar cookie dan storage browser terbawa.