OpenAI Agents SDK ile web scraping
Bir OpenAI Agents SDK agent’ını Spicrawl MCP sunucusuna bağlayın. Agent böylece web sayfalarını Markdown olarak okuyabilir.
Kurun
openai-agentspaketini yükleyin.SPICRAWL_API_KEYveOPENAI_API_KEYayarlayın.MCPServerStreamableHttpnesnesini URL ile veparamsiçindekiAuthorizationbaşlığıyla açın.Modelin hangi araçları göreceğini sınırlamak için
create_static_tool_filterkullanın ve sunucuyuAgentnesnenize verin.
Örnek: bir fiyat sayfasını okuyun
import asyncio
import os
from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter
async def main() -> None:
async with MCPServerStreamableHttp(
name="spicrawl",
params={
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
},
cache_tools_list=True,
tool_filter=create_static_tool_filter(
allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
),
) as server:
agent = Agent(
name="Page reader",
instructions="Use the Spicrawl tools to read web pages.",
mcp_servers=[server],
)
result = await Runner.run(
agent,
"Read https://example.com/pricing as markdown and list the plans.",
)
print(result.final_output)
asyncio.run(main())Sunucuda OAuth yoktur, bu yüzden anahtarı her zaman headers içinde gönderin. 401 alırsanız SPICRAWL_API_KEY değişkeninin agent’ı çalıştıran süreçte ayarlı olduğunu kontrol edin.
Araç listesini kısa tutun
25 aracın tamamının şeması her model çağrısında gönderilir. spicrawl_scrape aracını tutun, çok sayıda URL için spicrawl_batch_submit, spicrawl_batch_status ve spicrawl_batch_results araçlarını ekleyin.
Kodunuz hangi URL’yi çekeceğini zaten biliyorsa, POST /v1/scrape çağıran sade bir fonksiyon daha basittir. Araç şeması token’ı harcamaz ve test etmesi daha kolaydır.
Neler yapabilir
Sunucu agent’a 25 spicrawl_* aracı verir. Her çağrı API anahtarınızla çalışır; doğrudan bir API çağrısıyla aynı limitler ve kredilerle.
- Tek bir sayfayı okuyun:
spicrawl_scrapeMarkdown (varsayılan), metin, HTML, JSON veya PDF döndürür. - Birçok sayfayı okuyun:
spicrawl_batch_submiten fazla 10.000 URL’yi kuyruğa alır. Ardındanspicrawl_batch_statusvespicrawl_batch_resultskullanın. - Giriş arkasındaki sayfalar:
spicrawl_session_createçerezleri ve depolamayı çağrılar arasında korur. - Bir hatayı ayıklayın:
spicrawl_requests_listvespicrawl_request_get. - Kullanımı kontrol edin:
spicrawl_usage_summaryve diğer kullanım araçları. Bunlar içinreadkapsamına sahip bir anahtar gerekir. - Bir şeye bakın:
spicrawl_docs_searchvespicrawl_docs_read, Spicrawl dokümanlarında arama yapar ve onları okur.
Bir araç, spicrawl_browser_connect_url, listelenmiş ancak yakında geliyor. spicrawl_scrape üzerinde işleme argümanı API’deki js_render değil, render olarak geçer.
Bilmekte fayda var
- Crawl yok. Spicrawl bağlantıları izlemez veya sayfa bulmaz. Agent’a URL’leri verin.
- İstek başına kredi. Düz bir fetch 1 kredidir. JavaScript işleme 3, tam tarayıcı işleme 8 kredidir.
- Hatalar ücretsizdir. Başarısız bir istek 0 kredi tutar.
- Önbellek zaman kazandırır, kredi kazandırmaz. Önbellek zaman kazandırır, kredi kazandırmaz.
- Her çağrıyı sınırlayın.
max_costayarlayın; daha pahalıya mal olabilecek bir istek çalışmadan önce reddedilir. - Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan yapay zeka ile çıkarma. Bugün kendi proxy’nizi getirebilirsiniz.
Sık sorulan sorular
Hangi pakete ihtiyacım var?
openai-agents. Örneği çalıştırmadan önce SPICRAWL_API_KEY ve OPENAI_API_KEY ayarlayın.
Modelin hangi araçları gördüğünü nasıl sınırlarım?
Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.
Agent bağlandığında neden 401 alıyorum?
Başlık eksik veya anahtar yanlış. Başlığı SPICRAWL_API_KEY’den kodda oluşturun ve değişkenin agent’ı çalıştıran süreçte ayarlı olduğunu kontrol edin.
Bir araç çağrısı başarısız olunca ne olur?
Hata, API’nin koduyla birlikte modele bir MCP araç hatası olarak ulaşır. Başarısız çağrılar 0 kredi tutar.
Her sayfa ne kadara mal olur?
Düz fetch 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 tutar. Başarısız istekler 0 kredi tutar. Önbellek isabeti, onu depolayan fetch ile aynı maliyettedir. Agent’a, beklediğinizden fazla harcamaması için her istekte max_cost ayarlamasını söyleyin.