Web scraping di Codex
Tambahkan server MCP Spicrawl ke Codex. Codex kemudian dapat membaca halaman web sebagai Markdown yang bersih.
Siapkan
Tiga langkah memberi Codex tool-nya, pengetahuan untuk menulis kode Spicrawl, dan aturan untuk memakai keduanya. Atau lakukan ketiganya dengan spicrawl init --client codex.
Atur API key Anda:
bashexport SPICRAWL_API_KEY=spicrawl_live_... # add to your shell profileTambahkan server MCP. Codex membaca key dari
SPICRAWL_API_KEYsetiap kali terhubung, sehingga key tidak pernah masuk ke file:bashcodex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEYIni menulis hal yang sama dengan konfigurasi ini:
~/.codex/config.toml[mcp_servers.spicrawl] url = "https://mcp.spicrawl.com/mcp" bearer_token_env_var = "SPICRAWL_API_KEY"Untuk satu proyek saja, taruh tabelnya di
.codex/config.toml. Codex hanya membacanya di proyek tepercaya.Instal skill:
bashmkdir -p .agents/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.mdTempel bagian ini ke
AGENTS.mddi root proyek:AGENTS.md## Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools, the `spicrawl` CLI, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - With the CLI, read stdout as JSON and branch on the exit code: 3 auth, 4 bad request, 5 limit, 6 site refused or failed, 7 proxy, 8 engine or extraction, 10 network. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.Periksa dengan
codex mcp list, atau/mcpdi dalam session. Anda akan melihat 25 toolspicrawl_*.
Atau gunakan CLI
Codex bekerja di shell, jadi CLI spicrawl berfungsi tanpa konfigurasi sama sekali. Ia mencetak JSON saat di-pipe dan keluar dengan kode yang stabil:
spicrawl scrape https://example.com/pricing --format markdown --max-cost 3 | jq -r .contentDi Codex cloud, jangan mengandalkan server MCP. Gunakan CLI atau HTTP biasa. Atur SPICRAWL_API_KEY sebagai environment variable, bukan secret, dan izinkan api.spicrawl.com pada akses internet agen.
Tugas pertama untuk dicoba
Jalankan codex di proyek dan tanyakan:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.Apa yang dapat dilakukannya
Server memberi agen 25 tool spicrawl_*. Setiap panggilan berjalan dengan API key Anda, dengan batas dan kredit yang sama seperti panggilan API langsung.
- Baca satu halaman:
spicrawl_scrapemengembalikan Markdown (default), teks, HTML, JSON, atau PDF. - Baca banyak halaman:
spicrawl_batch_submitmengantrekan hingga 10,000 URL. Lanjutkan denganspicrawl_batch_statusdanspicrawl_batch_results. - Halaman di balik login:
spicrawl_session_createmenyimpan cookie dan storage di seluruh panggilan. - Debug kegagalan:
spicrawl_requests_listdanspicrawl_request_get. - Periksa penggunaan:
spicrawl_usage_summarydan tool penggunaan lainnya. Tool ini membutuhkan key dengan scoperead. - Cari informasi:
spicrawl_docs_searchdanspicrawl_docs_readmencari dan membaca dokumentasi Spicrawl.
Satu tool, spicrawl_browser_connect_url, tercantum tetapi segera hadir. Pada spicrawl_scrape, argumen rendering-nya adalah render, bukan js_render milik API.
Perlu diketahui
- Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Berikan URL ke agen.
- Kredit per permintaan. Fetch biasa 1 kredit. Rendering JavaScript 3. Rendering browser penuh 8.
- Kegagalan gratis. Permintaan yang gagal berbiaya 0 kredit.
- Cache menghemat waktu, bukan kredit. Cache hit berbiaya sama dengan fetch yang menyimpannya.
- Batasi setiap panggilan. Atur
max_cost, dan permintaan yang bisa berbiaya lebih besar ditolak sebelum dijalankan. - Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi AI dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri.
Pertanyaan yang sering diajukan
Di mana Codex menyimpan server?
Di ~/.codex/config.toml. Untuk memakainya di satu proyek saja, taruh tabel yang sama di .codex/config.toml. Codex membaca konfigurasi proyek hanya di proyek tepercaya.
Bisakah Codex memakai CLI sebagai ganti MCP?
Ya. Codex bekerja di shell, jadi ia dapat menjalankan spicrawl scrape URL --format markdown --max-cost 3. CLI mencetak JSON saat di-pipe dan keluar dengan kode yang stabil.
Apakah bekerja di Codex cloud?
Jangan mengandalkan server MCP di sana. Gunakan CLI atau HTTP biasa. Atur SPICRAWL_API_KEY sebagai variabel lingkungan (bukan secret) dan izinkan api.spicrawl.com di akses internet agen.
Mengapa server mengembalikan 401?
SPICRAWL_API_KEY tidak diatur di shell yang menjalankan codex. Ekspor dan mulai session baru.
Berapa biaya setiap halaman?
Fetch biasa berbiaya 1 kredit, rendering JavaScript 3, dan rendering browser penuh 8. Permintaan gagal berbiaya 0. Cache hit berbiaya sama dengan fetch yang menyimpannya. Minta agen mengatur max_cost pada setiap permintaan agar tidak pernah menghabiskan lebih dari yang Anda duga.