Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Yapay zeka agent’ları için barındırılan bir web scraping MCP sunucusu

Agent’ınızı https://mcp.spicrawl.com/mcp adresine bağlayın; scraping kodu yazmadan her URL’yi Markdown veya JSON olarak okuyabilir, toplu işler çalıştırabilir, girişli oturumları yeniden kullanabilir ve kendi kullanımını kontrol edebilir.

Spicrawl MCP sunucusu ne yapar

Sunucu, bir yapay zeka agent’ına Spicrawl’ı yerel araçlar olarak sunar. https://mcp.spicrawl.com/mcp adresinde barındırılır, MCP Streamable HTTP konuşur ve kimlik doğrulamayı kendi API anahtarınızla, bearer token olarak yapar. Her araç çağrısı, API’yi kendiniz çağırmışsınız gibi bu anahtarla çalışır: aynı limitler ve aynı krediler.

Tek komutla kurun

Spicrawl CLI, MCP sunucusunu ve Spicrawl agent skill’ini istemcinize ekler ve uygulamadan önce değişiklikleri gösterir:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Ya da elle ekleyin. Anahtarı SPICRAWL_API_KEY ortam değişkeninde tutun ve yapılandırmadan ona başvurun; böylece anahtar commit edilen bir dosyaya asla yazılmaz:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Bağlantıyı claude mcp list, codex mcp list veya istemcinizin MCP ayarlarıyla kontrol edin. 25 spicrawl_* aracı görmelisiniz.

Araçlar, işe göre gruplandırılmış

İşAraçlar
Tek bir sayfayı okuyunspicrawl_scrape: Markdown (varsayılan), metin, HTML veya JSON; isteğe bağlı işleme, etiket filtreleri, çıkarma ve tarayıcı eylemlerıyla
Birçok URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Girişli sayfalarspicrawl_session_create, _list, _get, _context, _release, _delete
Bir hatayı ayıklayınspicrawl_requests_list, spicrawl_request_get
Krediler ve kullanımspicrawl_usage, _summary, _reconciliation (read kapsamı gerekir)
Bir şeye bakınspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

CDP üzerinden uzak bir tarayıcıya bağlanma aracı listelenmiş ama yakında geliyor.

Deneyebileceğiniz ilk görev

istem
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Agent, spicrawl_scrape aracını URL ve format: "markdown" ile çağırır; render: true değerini yalnızca ilk sonuç boşsa ekler. Tam bir anlatım Claude Code ile bir web sitesi nasıl scrape edilir yazısındadır.

Agent’ları ucuz ve güvenli tutun

  • Önce en ucuzu. Düz istek 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 kredidir. Agent’lar bir adım yukarı çıkmalı ve işe yarayan ilk adımda durmalıdır.
  • Her çağrıyı sınırlayın. max_cost ayarlayın; daha pahalıya mal olacak bir istek çalışmadan önce reddedilir.
  • Hatalar ücretsizdir. Hatalar ve engellenen sayfalar 0 kredi tutar.
  • Harcamadan test edin. spicrawl_test_ anahtarları bir sandbox üzerinde çalışır ve gerçek kredi harcamaz.
  • Bir anahtarın neler yapabileceğini sınırlayın. Anahtarlar varsayılan olarak scrape, batch ve sessions kapsamlarını alır; read kapsamını yalnızca agent kullanımı görmeliyse verin.

Ne yapmaz

  • Crawl yok. Spicrawl bağlantıları izlemez veya URL keşfetmez. Agent’a URL’leri ya da bir sitemap’in listesini verin ve çok sayıda sayfa için toplu iş kullanın.
  • Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı bağlantısı ve düz dilde bir prompt’tan çıkarma. Bugün kendi proxy’nizi ek ücret ödemeden getirebilir, verileri CSS seçicileri veya bir JSON Schema ile çıkarabilirsiniz.

Diğer scraping MCP sunucularıyla karşılaştırması

Çoğu scraping API’si artık bir MCP sunucusuyla geliyor. Her birinin sunduğu, her satıcının kendi dokümanlarına atıf yapan karşılaştırma sayfalarımızdan:

SağlayıcıMCP sunucuları
FirecrawlAnahtarsız çalışan, OAuth ile oturum açan veya API anahtarı kullanan barındırılan MCP sunucusu.
ZenRowsBarındırılan MCP sunucusu, ayrıca Claude Code, Cursor ve Codex için skill ve eklentilerden oluşan bir agent araç seti.
Context.devAPI anahtarı yerine OAuth ile oturum açan barındırılan MCP sunucusu ve bir agent skill.
ScrapingBeeSayfa, metin, ekran görüntüsü, arama sonucu ve kullanım çekme araçları içeren barındırılan MCP sunucusu.
Bright DataMIT lisanslı MCP sunucusu, barındırılan veya yerelde çalıştırılan. Ücretsiz bir varsayılan mod sayfaları Markdown olarak scrape eder ve web’de arama yapar; Pro modu 60+ araç ekler.
Jina ReaderURL okuma, ekran görüntüsü alma ve arama araçları içeren barındırılan MCP sunucusu. Okuma anahtarsız çalışır.
ApifyAgent’ların hazır scraper’ları (Actor’ları) keşfedip çalıştırmasını sağlayan resmi MCP sunucusu.
BrowserbaseStagehand üzerine kurulu, bir bulut tarayıcıyı düz dilde komutlarla kontrol eden barındırılan MCP sunucusu.

Agent’ınız çoğunlukla URL’sini zaten bildiği sayfaları okuyorsa ve temiz Markdown, girişli sayfalar için oturumlar ve ücretsiz hatalar istiyorsanız Spicrawl’ın sunucusunu seçin. Agent’ın önce sayfaları bulması gerekiyorsa crawl yapan veya arama yapan birini seçin.

Sık sorulan sorular

Web scraping MCP sunucusu nedir?

Bir yapay zeka agent’ına web sayfalarını çekme araçları veren bir Model Context Protocol sunucusudur. HTTP kodu yazmak yerine agent, bir URL ile spicrawl_scrape gibi bir aracı çağırır ve sayfayı Markdown, metin, HTML veya JSON olarak geri alır.

Hangi yapay zeka agent’ları ve editörlerle çalışır?

Streamable HTTP üzerinden uzak bir sunucuya bağlanabilen ve Authorization başlığı gönderebilen her MCP istemcisi; Claude Code, Cursor, VS Code ve Codex CLI dahil. Claude Desktop, mcp-remote köprüsü üzerinden bağlanabilir.

Spicrawl MCP sunucusu ücretsiz mi?

Spicrawl beta süresince ücretsizdir, kredi kartı gerekmez. Araç çağrıları API ile aynı kredileri kullanır: düz istek için 1, JavaScript işleme için 3 ve tam tarayıcı işleme için 8. Başarısız ve engellenen istekler 0 tutar.

MCP sunucusu bir web sitesinin tamamını crawl edebilir mi?

Hayır. Spicrawl URL keşfetmez veya bağlantıları izlemez. Agent’a istediğiniz URL’leri veya bir site haritasından bir liste verin ve çok sayıda sayfa için toplu iş kullanın.

API anahtarımı nasıl güvende tutarım?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Girişli sayfalarla çalışır mı?

Evet, sahibi olduğunuz veya kullanma yetkiniz olan hesaplar için. spicrawl_session_create ile bir oturum oluşturun, tarayıcı eylemleriyle giriş yapın, sonra çerezler ve tarayıcı depolaması devam etsin diye sonraki scrape’lerde oturum kimliğini geçirin.