Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

OpenAI Agents SDK ile web scraping

Bir OpenAI Agents SDK agent’ını Spicrawl MCP sunucusuna bağlayın. Agent böylece web sayfalarını Markdown olarak okuyabilir.

Kurun

  1. openai-agents paketini yükleyin.

  2. SPICRAWL_API_KEY ve OPENAI_API_KEY ayarlayın.

  3. MCPServerStreamableHttp nesnesini URL ile ve params içindeki Authorization başlığıyla açın.

  4. Modelin hangi araçları göreceğini sınırlamak için create_static_tool_filter kullanın ve sunucuyu Agent nesnenize verin.

Örnek: bir fiyat sayfasını okuyun

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

Sunucuda OAuth yoktur, bu yüzden anahtarı her zaman headers içinde gönderin. 401 alırsanız SPICRAWL_API_KEY değişkeninin agent’ı çalıştıran süreçte ayarlı olduğunu kontrol edin.

Araç listesini kısa tutun

25 aracın tamamının şeması her model çağrısında gönderilir. spicrawl_scrape aracını tutun, çok sayıda URL için spicrawl_batch_submit, spicrawl_batch_status ve spicrawl_batch_results araçlarını ekleyin.

Kodunuz hangi URL’yi çekeceğini zaten biliyorsa, POST /v1/scrape çağıran sade bir fonksiyon daha basittir. Araç şeması token’ı harcamaz ve test etmesi daha kolaydır.

Neler yapabilir

Sunucu agent’a 25 spicrawl_* aracı verir. Her çağrı API anahtarınızla çalışır; doğrudan bir API çağrısıyla aynı limitler ve kredilerle.

  • Tek bir sayfayı okuyun: spicrawl_scrape Markdown (varsayılan), metin, HTML, JSON veya PDF döndürür.
  • Birçok sayfayı okuyun: spicrawl_batch_submit en fazla 10.000 URL’yi kuyruğa alır. Ardından spicrawl_batch_status ve spicrawl_batch_results kullanın.
  • Giriş arkasındaki sayfalar: spicrawl_session_create çerezleri ve depolamayı çağrılar arasında korur.
  • Bir hatayı ayıklayın: spicrawl_requests_list ve spicrawl_request_get.
  • Kullanımı kontrol edin: spicrawl_usage_summary ve diğer kullanım araçları. Bunlar için read kapsamına sahip bir anahtar gerekir.
  • Bir şeye bakın: spicrawl_docs_search ve spicrawl_docs_read, Spicrawl dokümanlarında arama yapar ve onları okur.

Bir araç, spicrawl_browser_connect_url, listelenmiş ancak yakında geliyor. spicrawl_scrape üzerinde işleme argümanı API’deki js_render değil, render olarak geçer.

Bilmekte fayda var

  • Crawl yok. Spicrawl bağlantıları izlemez veya sayfa bulmaz. Agent’a URL’leri verin.
  • İstek başına kredi. Düz bir fetch 1 kredidir. JavaScript işleme 3, tam tarayıcı işleme 8 kredidir.
  • Hatalar ücretsizdir. Başarısız bir istek 0 kredi tutar.
  • Önbellek zaman kazandırır, kredi kazandırmaz. Önbellek zaman kazandırır, kredi kazandırmaz.
  • Her çağrıyı sınırlayın. max_cost ayarlayın; daha pahalıya mal olabilecek bir istek çalışmadan önce reddedilir.
  • Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan yapay zeka ile çıkarma. Bugün kendi proxy’nizi getirebilirsiniz.

Sık sorulan sorular

Hangi pakete ihtiyacım var?

openai-agents. Örneği çalıştırmadan önce SPICRAWL_API_KEY ve OPENAI_API_KEY ayarlayın.

Modelin hangi araçları gördüğünü nasıl sınırlarım?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Agent bağlandığında neden 401 alıyorum?

Başlık eksik veya anahtar yanlış. Başlığı SPICRAWL_API_KEY’den kodda oluşturun ve değişkenin agent’ı çalıştıran süreçte ayarlı olduğunu kontrol edin.

Bir araç çağrısı başarısız olunca ne olur?

Hata, API’nin koduyla birlikte modele bir MCP araç hatası olarak ulaşır. Başarısız çağrılar 0 kredi tutar.

Her sayfa ne kadara mal olur?

Düz fetch 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 tutar. Başarısız istekler 0 kredi tutar. Önbellek isabeti, onu depolayan fetch ile aynı maliyettedir. Agent’a, beklediğinizden fazla harcamaması için her istekte max_cost ayarlamasını söyleyin.