Yapay zeka agent’ları için barındırılan bir web scraping MCP sunucusu
Agent’ınızı https://mcp.spicrawl.com/mcp adresine bağlayın; scraping kodu yazmadan her URL’yi Markdown veya JSON olarak okuyabilir, toplu işler çalıştırabilir, girişli oturumları yeniden kullanabilir ve kendi kullanımını kontrol edebilir.
Spicrawl MCP sunucusu ne yapar
Sunucu, bir yapay zeka agent’ına Spicrawl’ı yerel araçlar olarak sunar. https://mcp.spicrawl.com/mcp adresinde barındırılır, MCP Streamable HTTP konuşur ve kimlik doğrulamayı kendi API anahtarınızla, bearer token olarak yapar. Her araç çağrısı, API’yi kendiniz çağırmışsınız gibi bu anahtarla çalışır: aynı limitler ve aynı krediler.
Tek komutla kurun
Spicrawl CLI, MCP sunucusunu ve Spicrawl agent skill’ini istemcinize ekler ve uygulamadan önce değişiklikleri gösterir:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexYa da elle ekleyin. Anahtarı SPICRAWL_API_KEY ortam değişkeninde tutun ve yapılandırmadan ona başvurun; böylece anahtar commit edilen bir dosyaya asla yazılmaz:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Bağlantıyı claude mcp list, codex mcp list veya istemcinizin MCP ayarlarıyla kontrol edin. 25 spicrawl_* aracı görmelisiniz.
Araçlar, işe göre gruplandırılmış
| İş | Araçlar |
|---|---|
| Tek bir sayfayı okuyun | spicrawl_scrape: Markdown (varsayılan), metin, HTML veya JSON; isteğe bağlı işleme, etiket filtreleri, çıkarma ve tarayıcı eylemlerıyla |
| Birçok URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Girişli sayfalar | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Bir hatayı ayıklayın | spicrawl_requests_list, spicrawl_request_get |
| Krediler ve kullanım | spicrawl_usage, _summary, _reconciliation (read kapsamı gerekir) |
| Bir şeye bakın | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
CDP üzerinden uzak bir tarayıcıya bağlanma aracı listelenmiş ama yakında geliyor.
Deneyebileceğiniz ilk görev
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Agent, spicrawl_scrape aracını URL ve format: "markdown" ile çağırır; render: true değerini yalnızca ilk sonuç boşsa ekler. Tam bir anlatım Claude Code ile bir web sitesi nasıl scrape edilir yazısındadır.
Agent’ları ucuz ve güvenli tutun
- Önce en ucuzu. Düz istek 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 kredidir. Agent’lar bir adım yukarı çıkmalı ve işe yarayan ilk adımda durmalıdır.
- Her çağrıyı sınırlayın.
max_costayarlayın; daha pahalıya mal olacak bir istek çalışmadan önce reddedilir. - Hatalar ücretsizdir. Hatalar ve engellenen sayfalar 0 kredi tutar.
- Harcamadan test edin.
spicrawl_test_anahtarları bir sandbox üzerinde çalışır ve gerçek kredi harcamaz. - Bir anahtarın neler yapabileceğini sınırlayın. Anahtarlar varsayılan olarak
scrape,batchvesessionskapsamlarını alır;readkapsamını yalnızca agent kullanımı görmeliyse verin.
Ne yapmaz
- Crawl yok. Spicrawl bağlantıları izlemez veya URL keşfetmez. Agent’a URL’leri ya da bir sitemap’in listesini verin ve çok sayıda sayfa için toplu iş kullanın.
- Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı bağlantısı ve düz dilde bir prompt’tan çıkarma. Bugün kendi proxy’nizi ek ücret ödemeden getirebilir, verileri CSS seçicileri veya bir JSON Schema ile çıkarabilirsiniz.
Diğer scraping MCP sunucularıyla karşılaştırması
Çoğu scraping API’si artık bir MCP sunucusuyla geliyor. Her birinin sunduğu, her satıcının kendi dokümanlarına atıf yapan karşılaştırma sayfalarımızdan:
| Sağlayıcı | MCP sunucuları |
|---|---|
| Firecrawl | Anahtarsız çalışan, OAuth ile oturum açan veya API anahtarı kullanan barındırılan MCP sunucusu. |
| ZenRows | Barındırılan MCP sunucusu, ayrıca Claude Code, Cursor ve Codex için skill ve eklentilerden oluşan bir agent araç seti. |
| Context.dev | API anahtarı yerine OAuth ile oturum açan barındırılan MCP sunucusu ve bir agent skill. |
| ScrapingBee | Sayfa, metin, ekran görüntüsü, arama sonucu ve kullanım çekme araçları içeren barındırılan MCP sunucusu. |
| Bright Data | MIT lisanslı MCP sunucusu, barındırılan veya yerelde çalıştırılan. Ücretsiz bir varsayılan mod sayfaları Markdown olarak scrape eder ve web’de arama yapar; Pro modu 60+ araç ekler. |
| Jina Reader | URL okuma, ekran görüntüsü alma ve arama araçları içeren barındırılan MCP sunucusu. Okuma anahtarsız çalışır. |
| Apify | Agent’ların hazır scraper’ları (Actor’ları) keşfedip çalıştırmasını sağlayan resmi MCP sunucusu. |
| Browserbase | Stagehand üzerine kurulu, bir bulut tarayıcıyı düz dilde komutlarla kontrol eden barındırılan MCP sunucusu. |
Agent’ınız çoğunlukla URL’sini zaten bildiği sayfaları okuyorsa ve temiz Markdown, girişli sayfalar için oturumlar ve ücretsiz hatalar istiyorsanız Spicrawl’ın sunucusunu seçin. Agent’ın önce sayfaları bulması gerekiyorsa crawl yapan veya arama yapan birini seçin.
Sık sorulan sorular
Web scraping MCP sunucusu nedir?
Bir yapay zeka agent’ına web sayfalarını çekme araçları veren bir Model Context Protocol sunucusudur. HTTP kodu yazmak yerine agent, bir URL ile spicrawl_scrape gibi bir aracı çağırır ve sayfayı Markdown, metin, HTML veya JSON olarak geri alır.
Hangi yapay zeka agent’ları ve editörlerle çalışır?
Streamable HTTP üzerinden uzak bir sunucuya bağlanabilen ve Authorization başlığı gönderebilen her MCP istemcisi; Claude Code, Cursor, VS Code ve Codex CLI dahil. Claude Desktop, mcp-remote köprüsü üzerinden bağlanabilir.
Spicrawl MCP sunucusu ücretsiz mi?
Spicrawl beta süresince ücretsizdir, kredi kartı gerekmez. Araç çağrıları API ile aynı kredileri kullanır: düz istek için 1, JavaScript işleme için 3 ve tam tarayıcı işleme için 8. Başarısız ve engellenen istekler 0 tutar.
MCP sunucusu bir web sitesinin tamamını crawl edebilir mi?
Hayır. Spicrawl URL keşfetmez veya bağlantıları izlemez. Agent’a istediğiniz URL’leri veya bir site haritasından bir liste verin ve çok sayıda sayfa için toplu iş kullanın.
API anahtarımı nasıl güvende tutarım?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Girişli sayfalarla çalışır mı?
Evet, sahibi olduğunuz veya kullanma yetkiniz olan hesaplar için. spicrawl_session_create ile bir oturum oluşturun, tarayıcı eylemleriyle giriş yapın, sonra çerezler ve tarayıcı depolaması devam etsin diye sonraki scrape’lerde oturum kimliğini geçirin.