Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Web scraping di VS Code dengan Copilot

Tambahkan server MCP Spicrawl ke VS Code. Copilot dalam mode agen kemudian dapat membaca halaman web sebagai Markdown yang bersih.

Siapkan

Tiga langkah memberi Copilot tool-nya, pengetahuan untuk menulis kode Spicrawl, dan aturan untuk memakai keduanya. spicrawl init --client vscode melakukan dua langkah pertama untuk Anda.

  1. Buat .vscode/mcp.json di proyek. VS Code memakai key servers, bukan mcpServers. Input password membuat VS Code meminta key Anda sekali lalu menyimpannya, jadi file aman di-commit:

    .vscode/mcp.json
    {
      "inputs": [
        {
          "type": "promptString",
          "id": "spicrawl-api-key",
          "description": "Spicrawl API key",
          "password": true
        }
      ],
      "servers": {
        "spicrawl": {
          "type": "http",
          "url": "https://mcp.spicrawl.com/mcp",
          "headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
        }
      }
    }
  2. Jalankan MCP: List Servers dari Command Palette dan mulai spicrawl. Masukkan key Anda saat diminta.

  3. Instal skill, dan commit:

    bash
    spicrawl skill install --client vscode
    
    # Without the CLI:
    mkdir -p .github/skills/spicrawl
    curl -fsSL https://app.spicrawl.com/skill.md -o .github/skills/spicrawl/SKILL.md
  4. Simpan ini sebagai .github/copilot-instructions.md, atau tambahkan ke file yang sudah Anda punya:

    .github/copilot-instructions.md
    # Web data (Spicrawl)
    
    Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or
    POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code.
    Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown).
    
    - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`.
    - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status`
      in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410
      mean it does not exist; 403/429/503 mean the site refused, so escalate.
    - On an error, switch on `code`. Retry only when `retryable` is true, after
      `retry_after_seconds`. Read `diagnostics.hint` and change what it names first.
      Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED.
    - Escalate one step at a time and stop at the first that works:
      plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy`
      if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE
      or a 403 target status means retry once, then the user's own proxy.
    - Set `max_cost` on every request to the price of the step you intend.
    - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data.
    - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`.
    - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch).
      Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown,
      POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused
      with a 400 before anything is charged: scrape those URLs one by one.
    - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.
  5. Buka tampilan Chat, pindah ke mode Agen, dan buka pemilih tool. spicrawl mencantumkan 25 tool spicrawl_*.

Copilot CLI dan agen cloud Copilot masing-masing membaca konfigurasi MCP sendiri. halaman dokumentasi mencakup keduanya.

Tugas pertama untuk dicoba

Buka Copilot Chat dalam mode Agent dan tanyakan:

prompt
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.

Agen sebaiknya memanggil spicrawl_scrape dengan format: "markdown". Ia sebaiknya menambahkan render: true hanya jika hasil pertama kosong.

Apa yang dapat dilakukannya

Server memberi agen 25 tool spicrawl_*. Setiap panggilan berjalan dengan API key Anda, dengan batas dan kredit yang sama seperti panggilan API langsung.

  • Baca satu halaman: spicrawl_scrape mengembalikan Markdown (default), teks, HTML, JSON, atau PDF.
  • Baca banyak halaman: spicrawl_batch_submit mengantrekan hingga 10,000 URL. Lanjutkan dengan spicrawl_batch_status dan spicrawl_batch_results.
  • Halaman di balik login: spicrawl_session_create menyimpan cookie dan storage di seluruh panggilan.
  • Debug kegagalan: spicrawl_requests_list dan spicrawl_request_get.
  • Periksa penggunaan: spicrawl_usage_summary dan tool penggunaan lainnya. Tool ini membutuhkan key dengan scope read.
  • Cari informasi: spicrawl_docs_search dan spicrawl_docs_read mencari dan membaca dokumentasi Spicrawl.

Satu tool, spicrawl_browser_connect_url, tercantum tetapi segera hadir. Pada spicrawl_scrape, argumen rendering-nya adalah render, bukan js_render milik API.

Perlu diketahui

  • Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Berikan URL ke agen.
  • Kredit per permintaan. Fetch biasa 1 kredit. Rendering JavaScript 3. Rendering browser penuh 8.
  • Kegagalan gratis. Permintaan yang gagal berbiaya 0 kredit.
  • Cache menghemat waktu, bukan kredit. Cache hit berbiaya sama dengan fetch yang menyimpannya.
  • Batasi setiap panggilan. Atur max_cost, dan permintaan yang bisa berbiaya lebih besar ditolak sebelum dijalankan.
  • Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi AI dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri.

Pertanyaan yang sering diajukan

Mengapa VS Code memakai "servers" dan bukan "mcpServers"?

Itu format milik VS Code sendiri. Gunakan key servers di .vscode/mcp.json, seperti pada contoh di halaman ini.

Di mana key saya disimpan?

The inputs entry with password: true makes VS Code ask for the key once and store it. The file only holds ${input:spicrawl-api-key}, so you can commit it.

Apakah bekerja dengan Copilot CLI dan agen cloud?

Ya, tetapi masing-masing membaca konfigurasi MCP sendiri. Copilot CLI memakai copilot mcp add. Agen cloud disiapkan oleh admin repositori di Settings → Copilot → MCP servers. Halaman dokumentasi mencakup keduanya.

Apa yang ditulis spicrawl init --client vscode?

Ia menulis .vscode/mcp.json dan skill di .github/skills/spicrawl/SKILL.md. Ia tidak menulis file instruksi atau konfigurasi Copilot CLI maupun agen cloud.

Berapa biaya setiap halaman?

Fetch biasa berbiaya 1 kredit, rendering JavaScript 3, dan rendering browser penuh 8. Permintaan gagal berbiaya 0. Cache hit berbiaya sama dengan fetch yang menyimpannya. Minta agen mengatur max_cost pada setiap permintaan agar tidak pernah menghabiskan lebih dari yang Anda duga.