Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Spicrawl ile LangChain web scraping

Bir LangChain agent’ını Spicrawl MCP sunucusuna bağlayın. Agent böylece web sayfalarını Markdown olarak okuyabilir.

Kurun

  1. langchain-mcp-adapters ve langchain[openai] paketlerini yükleyin.

  2. SPICRAWL_API_KEY ve model sağlayıcınızın anahtarını (OPENAI_API_KEY, burada) ayarlayın.

  3. Tek bir spicrawl girdisiyle bir MultiServerMCPClient oluşturun. "transport": "streamable_http" ve headers bağlantıyı kurar.

  4. Yalnızca ihtiyacınız olan araçları tutun ve create_agent ile bir LangGraph agent’ı oluşturun.

Örnek: bir fiyat sayfasını okuyun

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Varsayılan olarak her araç çağrısı kendi MCP oturumunu açar. Durumsuz olan spicrawl_scrape için bu sorun değildir. Sunucuda OAuth yoktur, bu yüzden anahtarı her zaman headers içinde gönderin.

Araç listesini kısa tutun

25 aracın tamamının şeması her model çağrısında gönderilir. Bu, prompt maliyetini artırır ve modeli şaşırtabilir. spicrawl_scrape aracını tutun, çok sayıda URL için spicrawl_batch_submit, spicrawl_batch_status ve spicrawl_batch_results araçlarını ekleyin.

Kodunuz hangi URL’yi çekeceğini zaten biliyorsa MCP’ye hiç ihtiyacınız olmayabilir. POST /v1/scrape çağıran sade bir fonksiyon araç şeması token’ı harcamaz ve test etmesi daha kolaydır.

Neler yapabilir

Sunucu agent’a 25 spicrawl_* aracı verir. Her çağrı API anahtarınızla çalışır; doğrudan bir API çağrısıyla aynı limitler ve kredilerle.

  • Tek bir sayfayı okuyun: spicrawl_scrape Markdown (varsayılan), metin, HTML, JSON veya PDF döndürür.
  • Birçok sayfayı okuyun: spicrawl_batch_submit en fazla 10.000 URL’yi kuyruğa alır. Ardından spicrawl_batch_status ve spicrawl_batch_results kullanın.
  • Giriş arkasındaki sayfalar: spicrawl_session_create çerezleri ve depolamayı çağrılar arasında korur.
  • Bir hatayı ayıklayın: spicrawl_requests_list ve spicrawl_request_get.
  • Kullanımı kontrol edin: spicrawl_usage_summary ve diğer kullanım araçları. Bunlar için read kapsamına sahip bir anahtar gerekir.
  • Bir şeye bakın: spicrawl_docs_search ve spicrawl_docs_read, Spicrawl dokümanlarında arama yapar ve onları okur.

Bir araç, spicrawl_browser_connect_url, listelenmiş ancak yakında geliyor. spicrawl_scrape üzerinde işleme argümanı API’deki js_render değil, render olarak geçer.

Bilmekte fayda var

  • Crawl yok. Spicrawl bağlantıları izlemez veya sayfa bulmaz. Agent’a URL’leri verin.
  • İstek başına kredi. Düz bir fetch 1 kredidir. JavaScript işleme 3, tam tarayıcı işleme 8 kredidir.
  • Hatalar ücretsizdir. Başarısız bir istek 0 kredi tutar.
  • Önbellek zaman kazandırır, kredi kazandırmaz. Önbellek zaman kazandırır, kredi kazandırmaz.
  • Her çağrıyı sınırlayın. max_cost ayarlayın; daha pahalıya mal olabilecek bir istek çalışmadan önce reddedilir.
  • Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan yapay zeka ile çıkarma. Bugün kendi proxy’nizi getirebilirsiniz.

Sık sorulan sorular

Hangi paketlere ihtiyacım var?

langchain-mcp-adapters ve langchain[openai]. Örneği çalıştırmadan önce SPICRAWL_API_KEY ve OPENAI_API_KEY ayarlayın.

Agent’a 25 aracın hepsini vermeli miyim?

Genellikle hayır. Tüm araç şemaları her model çağrısında gönderilir. spicrawl_scrape’i tutun, çok sayıda URL için ayrıca spicrawl_batch_submit, spicrawl_batch_status ve spicrawl_batch_results’ı.

Her araç çağrısı yeni bir oturum açar mı?

Evet, varsayılan olarak. Bu, durumsuz (stateless) olan spicrawl_scrape için sorun değildir. Çalıştırma başına bir oturum istiyorsanız client.session("spicrawl") için adaptörün README’sine bakın.

MCP mi kullanmalıyım, yoksa API’yi doğrudan mı çağırmalıyım?

Neyin çekileceğine model karar veriyorsa MCP kullanın. Kodunuz URL’yi zaten biliyorsa POST /v1/scrape’i çağıran düz bir fonksiyon daha basittir ve araç şeması token’ı harcamaz.

Her sayfa ne kadara mal olur?

Düz fetch 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 tutar. Başarısız istekler 0 kredi tutar. Önbellek isabeti, onu depolayan fetch ile aynı maliyettedir. Agent’a, beklediğinizden fazla harcamaması için her istekte max_cost ayarlamasını söyleyin.