Web scraping in VS Code met Copilot
Voeg de Spicrawl MCP-server toe aan VS Code. Copilot in agent mode kan dan webpagina's als schone Markdown lezen.
Stel het in
Drie stappen geven Copilot de tools, de kennis om Spicrawl-code te schrijven en regels om beide te gebruiken. spicrawl init --client vscode doet de eerste twee voor je.
Maak
.vscode/mcp.jsonin het project. VS Code gebruikt de sleutelservers, nietmcpServers. Door het wachtwoordveld vraagt VS Code je sleutel één keer en slaat hij op, dus het bestand is veilig om te committen:.vscode/mcp.json{ "inputs": [ { "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true } ], "servers": { "spicrawl": { "type": "http", "url": "https://mcp.spicrawl.com/mcp", "headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" } } } }Voer MCP: List Servers uit vanuit het Command Palette en start
spicrawl. Voer je sleutel in wanneer erom wordt gevraagd.Installeer de skill en commit hem:
bashspicrawl skill install --client vscode # Without the CLI: mkdir -p .github/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .github/skills/spicrawl/SKILL.mdSla dit op als
.github/copilot-instructions.md, of voeg het toe aan het bestand dat je al hebt:.github/copilot-instructions.md# Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.Open de Chat-weergave, schakel naar de modus Agent en open de toolkiezer.
spicrawltoont 25spicrawl_*-tools.
De Copilot CLI en de Copilot cloud agent lezen elk hun eigen MCP-config. De docs-pagina dekt beide.
Een eerste taak om te proberen
Open Copilot Chat in Agent mode en vraag:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.De agent moet spicrawl_scrape aanroepen met format: "markdown". Hij moet render: true alleen toevoegen als het eerste resultaat leeg is.
Wat het kan
De server geeft de agent 25 spicrawl_*-tools. Elke aanroep draait onder je API-sleutel, met dezelfde limieten en credits als een directe API-aanroep.
- Lees één pagina:
spicrawl_scrapegeeft Markdown (de standaard), tekst, HTML, JSON of PDF terug. - Lees veel pagina's:
spicrawl_batch_submitzet tot 10.000 URL's in de wachtrij. Volg het metspicrawl_batch_statusenspicrawl_batch_results. - Pagina's achter een login:
spicrawl_session_createbewaart cookies en opslag tussen aanroepen. - Een fout debuggen:
spicrawl_requests_listenspicrawl_request_get. - Controleer het gebruik:
spicrawl_usage_summaryen de andere usage-tools. Die hebben een sleutel met de scopereadnodig. - Dingen opzoeken:
spicrawl_docs_searchenspicrawl_docs_readdoorzoeken en lezen de Spicrawl-docs.
Eén tool, spicrawl_browser_connect_url, staat in de lijst maar komt binnenkort. Bij spicrawl_scrape is het renderargument render, niet de js_render van de API.
Goed om te weten
- Geen crawling. Spicrawl volgt geen links en zoekt geen pagina's. Geef de agent de URL's.
- Credits per verzoek. Een gewone fetch is 1 credit. JavaScript-rendering is 3. Full-browser-rendering is 8.
- Mislukkingen zijn gratis. Een mislukt verzoek kost 0 credits.
- De cache bespaart tijd, geen credits. De cache bespaart tijd, geen credits.
- Begrens elke aanroep. Stel
max_costin, en een verzoek dat meer zou kunnen kosten wordt geweigerd voordat het wordt uitgevoerd. - Binnenkort: beheerde proxy's, stealth-modus, een remote browser en AI-extractie op basis van een prompt in gewone taal. Nu kun je je eigen proxy meenemen.
Veelgestelde vragen
Waarom gebruikt VS Code "servers" en niet "mcpServers"?
Dat is het eigen formaat van VS Code. Gebruik de servers-sleutel in .vscode/mcp.json, zoals in het voorbeeld op deze pagina.
Waar wordt mijn sleutel opgeslagen?
The inputs entry with password: true makes VS Code ask for the key once and store it. The file only holds ${input:spicrawl-api-key}, so you can commit it.
Werkt het met de Copilot CLI en de cloud agent?
Ja, maar elk leest zijn eigen MCP-config. De Copilot CLI gebruikt copilot mcp add. De cloud agent wordt door een repositorybeheerder ingesteld onder Settings → Copilot → MCP servers. De docs-pagina behandelt beide.
Wat schrijft spicrawl init --client vscode?
Het schrijft .vscode/mcp.json en de skill in .github/skills/spicrawl/SKILL.md. Het schrijft niet het instructiebestand of de config voor de Copilot CLI of de cloud agent.
Wat kost elke pagina?
Een gewone fetch kost 1 credit, JavaScript-rendering 3 en volledige browserrendering 8. Mislukte verzoeken kosten 0. Een cachehit kost evenveel als de fetch die hem heeft opgeslagen. Vraag de agent om max_cost bij elk verzoek in te stellen zodat hij nooit meer uitgeeft dan je verwacht.