Sık sorulan sorular
Fiyatlandırmadan proxy’lere kadar Spicrawl hakkında hızlı yanıtlar.
Tüm sorular
Genel
Spicrawl nedir?
Spicrawl, herhangi bir URL’yi kodunuz veya yapay zeka agent’ınız için temiz Markdown, HTML, PDF veya yapılandırılmış JSON’a çeviren bir web scraping API’sidir; API, CLI veya MCP sunucusu üzerinden.
Spicrawl ücretsiz mi?
Evet. Beta süresince ücretsizdir, ayda 1.000 kredi ile ve kredi kartı gerekmez.
Spicrawl ne anlama gelir?
Ad, "spider" ve "crawl" sözcüklerini birleştirir; logomuzun bir örümcek olmasının nedeni budur. S-P-I-C-R-A-W-L diye yazılır. Spicrawl bir web scraping API’sidir: istediğiniz URL’leri gönderirsiniz ve temiz veri döndürür.
Neden yapay zeka asistanımın yerleşik web fetch’ini kullanmıyorum?
Yerleşik fetch araçları hızlı bir bakış için yeterlidir, ancak çoğu zaman ham veya kesilmiş metin döndürür ve JavaScript çalıştırmayabilir. Spicrawl temiz Markdown veya JSON döndürür, bir sayfa gerektirdiğinde JavaScript işler, giriş oturumlarını korur, tıklama ve form girişlerini çalıştırır ve tek işte 10.000 URL’ye kadar toplu işlem yapar. Agent’ınız sayfanın içeriğini alır, menülerini ve betiklerini değil.
Web scraping yasal mı?
Neyi topladığınıza, nerede olduğunuza ve nasıl kullandığınıza bağlıdır. Herkese açık sayfaları scrape etmek yaygındır, ancak her sitenin şartlarına, telif hakkına ve özellikle kişisel veriler için GDPR gibi veri koruma yasalarına uymaktan siz sorumlusunuz. Emin değilseniz, kendi durumunuz hakkında bir avukata danışın.
Scraping ve veri
JavaScript web sitelerini scrape edebilir miyim?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl, Cloudflare gibi bot korumalarını aşabilir mi?
Çoğu zaman, ama her zaman değil. Gerçek bir tarayıcı parmak izi, tarayıcıda işleme veya kendi proxy’nizi kullanın. Bir bot doğrulaması net bir hata döndürür ve ücretsizdir. Stealth modu ve yönetilen proxy’ler betada yok.
Bir web sitesini bir LLM için nasıl Markdown’a çeviririm?
URL’yi response_format markdown olarak ayarlı şekilde gönderin. Spicrawl sayfanın ana içeriğini, menüler, alt bilgiler ve yan içerikler kaldırılmış Markdown olarak döndürür; bu genellikle ham HTML’in token’larının küçük bir kısmını tutar. PDF’leri de ayrıştırır ve Markdown dönüştürme ek ücret getirmez.
Yapılandırılmış veriyi JSON olarak çıkarabilir miyim?
Evet, üç şekilde: autoparse sayfanın kendi meta verilerini okur, bir seçici eşlemesi tam alanları çeker ve seçicili bir JSON Schema tipli, doğrulanmış çıktı döndürür. Üçü de motor fiyatının üstüne ücretsizdir. Bir model kullanarak düz dilde bir açıklamadan veri çıkarma yakında geliyor.
Birçok URL’yi aynı anda scrape edebilir miyim?
Evet. Bir toplu iş çağrı başına 10.000 URL’ye kadar kabul eder ve bunları paralel çalıştırır. İlerlemesini kontrol eder, sonra sonuçları JSON Lines olarak indirirsiniz. Sonuçlar 72 saat saklanır.
Bir giriş oturumunu koruyabilir miyim?
Evet. Bir oturum oluşturun ve aynı çerezleri, tarayıcı depolamasını ve çıkış IP’sini yeniden kullanmak için kimliğini her istekte geçirin; böylece giriş sayfalar arasında devam eder. Bir kuruluş aynı anda en fazla 100 canlı oturum tutabilir.
Tıklamaları ve formları otomatikleştirebilir miyim?
Evet. Tarayıcı eylemleri, işlenmiş bir sayfada yakalanmadan önce tıklayabilir, yazabilir, seçebilir, kaydırabilir, bekleyebilir ve JavaScript çalıştırabilir; istek başına en fazla 50 adım.
Proxy kullanabilir miyim?
Evet. Kendi proxy’nizi proxy ek ücreti olmadan getirin. Yönetilen proxy’ler ve yerleşik ülke hedefleme yakında geliyor ve beta süresince kullanılamaz.
Yapay zeka agent’ları ve geliştiriciler
Spicrawl’ı yapay zeka agent’larıyla kullanabilir miyim?
Evet. Barındırılan MCP sunucusu Claude Code, Cursor ve Codex’in sayfaları scrape etmesini, toplu işler çalıştırmasını, oturumları yeniden kullanmasını ve tarayıcı eylemleri çalıştırmasını sağlar. Kurmak için spicrawl init çalıştırın.
Hangi programlama dillerini kullanabilirim?
HTTP isteği gönderebilen her dil. Dokümanlarda cURL, Python ve TypeScript örnekleri bulunur; ayrıca Node.js 18 ve üzeri için npm’de bir JavaScript ve TypeScript SDK’sı (@spicrawl/sdk) vardır. spicrawl CLI her kabuktan veya betikten çalışır.
Bir CLI veya kontrol paneli var mı?
İkisi de. Bir CLI scraping, toplu işler, oturumlar, günlükler ve kullanımı kapsar; kontrol panelinde ise bir playground, etkinlik günlükleri, kullanım ve anahtar yönetimi vardır.
Krediler ve limitler
Başarısız istekler kredi tutar mı?
Hayır. Yalnızca başarılı istekler kredi tutar: düz için 1, JavaScript işleme için 3 ve tam tarayıcı için 8. Hatalar, bot doğrulamaları ve zaman aşımları ücretsizdir.
Hız limitleri var mı?
Evet. Her API anahtarının bir istek hızı vardır, her kuruluşun aynı anda çalışan isteklere bir limiti vardır ve aylık bir kredi hakkı vardır. Her yanıt güncel limitlerinizi başlıklarında bildirir ve bir limit nedeniyle reddedilen istek ücretsizdir.
Hâlâ takıldınız mı? Dokümanları okuyun veya support@spicrawl.com adresine e-posta gönderin.