Claude Code’da web scraping
Spicrawl MCP sunucusunu Claude Code’a ekleyin. Claude böylece web sayfalarını temiz Markdown olarak okuyabilir.
Kurun
Üç adım Claude Code’a araçları, Spicrawl kodu yazma bilgisini ve ikisini kullanma kurallarını verir. Ya da üçünü birden spicrawl init --client claude ile yapın.
API anahtarınızı ayarlayın:
bashexport SPICRAWL_API_KEY=spicrawl_live_... # add to your shell profileMCP sunucusunu ekleyin. Anahtarı kabuğunuz doldurur ve Claude Code onu depo dışında
~/.claude.jsoniçinde saklar. Her projede kullanmak için--scope userekleyin.bashclaude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \ --header "Authorization: Bearer $SPICRAWL_API_KEY"Bir ekip için bunun yerine proje kökünde
.mcp.jsondosyasını commit edin. Claude Code herkesin kendi anahtarını kendi ortamından okur:.mcp.json{ "mcpServers": { "spicrawl": { "type": "http", "url": "https://mcp.spicrawl.com/mcp", "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" } } } }Skill’i yükleyin. Claude, bir görev web verisi içerdiğinde veya
/spicrawlyazdığınızda onu yükler:bashmkdir -p .claude/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .claude/skills/spicrawl/SKILL.mdBu bölümü proje kökündeki
CLAUDE.mddosyasına yapıştırın:CLAUDE.md## Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.claude mcp listile veya bir oturumda/mcpile kontrol edin. 25spicrawl_*aracı görmelisiniz.
Eklenti mi tercih edersiniz? MCP sunucusunu ve skill’i bir arada sunar, böylece 2. ve 3. adımları atlayabilirsiniz. Claude Code etkinleştirdiğinizde anahtarınızı ister:
claude plugin marketplace add OfficialSpicrawl/agent-plugins
claude plugin install spicrawl@spicrawl-pluginsDeneyebileceğiniz ilk görev
Projede claude başlatın ve sorun:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering. Tell me how many credits it cost.Claude spicrawl_scrape aracını çağırır. Maliyeti bildirmesi için format: "json" gerekir, çünkü bu zarf credits alanını taşır. Tam bir anlatım Claude Code ile bir web sitesi nasıl scrape edilir yazısındadır.
Neler yapabilir
Sunucu agent’a 25 spicrawl_* aracı verir. Her çağrı API anahtarınızla çalışır; doğrudan bir API çağrısıyla aynı limitler ve kredilerle.
- Tek bir sayfayı okuyun:
spicrawl_scrapeMarkdown (varsayılan), metin, HTML, JSON veya PDF döndürür. - Birçok sayfayı okuyun:
spicrawl_batch_submiten fazla 10.000 URL’yi kuyruğa alır. Ardındanspicrawl_batch_statusvespicrawl_batch_resultskullanın. - Giriş arkasındaki sayfalar:
spicrawl_session_createçerezleri ve depolamayı çağrılar arasında korur. - Bir hatayı ayıklayın:
spicrawl_requests_listvespicrawl_request_get. - Kullanımı kontrol edin:
spicrawl_usage_summaryve diğer kullanım araçları. Bunlar içinreadkapsamına sahip bir anahtar gerekir. - Bir şeye bakın:
spicrawl_docs_searchvespicrawl_docs_read, Spicrawl dokümanlarında arama yapar ve onları okur.
Bir araç, spicrawl_browser_connect_url, listelenmiş ancak yakında geliyor. spicrawl_scrape üzerinde işleme argümanı API’deki js_render değil, render olarak geçer.
Bilmekte fayda var
- Crawl yok. Spicrawl bağlantıları izlemez veya sayfa bulmaz. Agent’a URL’leri verin.
- İstek başına kredi. Düz bir fetch 1 kredidir. JavaScript işleme 3, tam tarayıcı işleme 8 kredidir.
- Hatalar ücretsizdir. Başarısız bir istek 0 kredi tutar.
- Önbellek zaman kazandırır, kredi kazandırmaz. Önbellek zaman kazandırır, kredi kazandırmaz.
- Her çağrıyı sınırlayın.
max_costayarlayın; daha pahalıya mal olabilecek bir istek çalışmadan önce reddedilir. - Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan yapay zeka ile çıkarma. Bugün kendi proxy’nizi getirebilirsiniz.
Sık sorulan sorular
Spicrawl’ı Claude Code’a nasıl eklerim?
SPICRAWL_API_KEY değerini dışa aktarın, sonra claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp --header "Authorization: Bearer $SPICRAWL_API_KEY" komutunu çalıştırın. claude mcp list ile kontrol edin.
Kurulumu ekibimle nasıl paylaşırım?
Commit .mcp.json at the project root with the header "Bearer ${SPICRAWL_API_KEY}". Claude Code fills in each person’s own key from their environment when it starts.
Bir Claude Code eklentisi var mı?
Evet. claude plugin marketplace add OfficialSpicrawl/agent-plugins çalıştırın, sonra claude plugin install spicrawl@spicrawl-plugins. MCP sunucusunu ve skill’i bir arada sunar ve etkinleştirdiğinizde anahtarınızı ister.
Claude neden js_render için "unknown argument" hatası alıyor?
spicrawl_scrape aracında bağımsız değişkenin adı render’dır. js_render, HTTP API’deki addır.
Her sayfa ne kadara mal olur?
Düz fetch 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 tutar. Başarısız istekler 0 kredi tutar. Önbellek isabeti, onu depolayan fetch ile aynı maliyettedir. Agent’a, beklediğinizden fazla harcamaması için her istekte max_cost ayarlamasını söyleyin.