Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Temiz veri için web scraping API’si

Herhangi bir URL gönderin. Uygulamanız veya yapay zeka agent’ınız için hazır temiz Markdown veya JSON alın.

Spicrawl’ın sakladığı temiz metni görmek için sayfa üzerinde sürükleyin.

shop.exampleSepet · 2
Kablosuz Fare — Model X
Kablosuz Fare — Model X
$49.00Stokta★★★★★ 4.6 (1,284)

Düşük gecikmeli 2.4 GHz alıcı, 70 günlük pil ömrü ve sessiz anahtarlar. Uzun günler için tasarlandı.

Sepete ekleKaydet
Bağlantı2.4 GHz, BT5
Pil70 gün
Ağırlık62 g
Yaz indirimi · klavyelerde %30 indirimReklam
© shop.exampleKargoDöndürür
GördüklerinizCrawler’ın sakladıkları
25.6 KB
HTML, betikler ve stillerden oluşan ham sayfa 48 KBSpicrawl’ın döndürdüğü metnin 3.1 KB kadarı korundu · örnek sayfa

Yalnızca ana içeriği tutun

Spicrawl çerez bannerını, menüleri, reklamları ve alt bilgiyi atar ve ana içeriği korur.

Sayfayı çekin
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

Nasıl çalışır

  1. Bir URL gönderin POST /v1/scrape adresine ve bir response_format seçin.
  2. Spicrawl sayfayı çeker. Önce düz bir istek kullanır, siz isterseniz tarayıcı kullanır.
  3. Sonucu alırsınız yanıt gövdesinde, sitenin kendi durumu ise bir başlıkta.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

Anahtarınızı SPICRAWL_API_KEY içinde tutun ve commit ettiğiniz koda asla yazmayın.

Çıktı formatları

FormatEn uygun olduğu durum
markdownYapay zeka istemleri, RAG ve okuma. Varsayılan olarak yalnızca ana içerik.
jsonUygulamalar: içerik ve meta veriler, bağlantılar veya çıkarılan alanlar tek bir nesnede.
htmlSayfanın işaretlemesine ihtiyacınız olduğunda. Varsayılan budur.
textEn küçük çıktı, biçimlendirme yok.
pdfİşlenmiş sayfanın PDF’i.

Markdown çıktısı hakkında daha fazlası için web sitesinden Markdown’a sayfasına bakın.

Sonucu kontrol edin

HTTP durumu Spicrawl’a aittir. Sitenin verdiği yanıt X-Target-Status içindedir. Başarılı bir çağrı şöyle görünür:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

X-Target-Status içinde 403 veya 503 görmek, bir engel sayfası aldığınız anlamına gelir ve 0 kredi tutar.

Daha fazlasına ihtiyaç duyan sayfalar

  • JavaScript sayfaları. Sayfayı önce bir tarayıcıda yüklemek için js_render: true ayarlayın. Bkz. JavaScript işleme.
  • Girişli sayfalar. İstekler arasında çerezleri korumak için bir oturum kullanın; sahibi olduğunuz veya kullanma izniniz olan hesaplar için. Bkz. oturumlar ve girişler.
  • Tıklamalar ve kaydırma. Tarayıcı eylemlerı sayfa okunmadan önce tıklayabilir, yazabilir ve kaydırabilir. Bkz. tarayıcı eylemleri.
  • Birçok URL. Bir toplu iş tek çağrıda en fazla 10.000 URL alır. Bkz. batch.

Maliyeti

  • Beta süresince ücretsiz, kredi kartı gerekmez.
  • Başarılı istek başına kredi: Düz istek için 1, JavaScript işleme için 3, tam tarayıcı işleme için 8.
  • Hatalar ücretsizdir: hatalar, bot doğrulamaları ve hatayla yanıt veren sayfalar 0 tutar.
  • Her isteği sınırlayın max_cost ile, böylece bir çağrı beklediğinizden fazlaya mal olmaz.

Bilmekte fayda var

  • Crawl yok. Spicrawl bağlantıları izlemez veya sayfa keşfetmez. URL’leri siz gönderirsiniz.
  • Yakında: yönetilen proxy’ler, gizli mod, uzak tarayıcı ve düz dilde bir prompt’tan çıkarma. Bugün kendi proxy’nizi ek ücret ödemeden getirebilirsiniz.
  • Sorumluluğunuz: yalnızca kullanma hakkınız olan sayfaları çekin. şartlar sayfamıza bakın.

Sık sorulan sorular

Web scraping API’si nedir?

Sizin için bir web sayfasını çeken ve içeriğini kodunuzun kullanabileceği bir biçimde döndüren bir hizmettir. Bir URL gönderirsiniz; istek, JavaScript ve temizleme işini o halleder ve Markdown, JSON veya HTML döndürür.

Spicrawl scraping API’si ne kadara mal olur?

Beta süresince ücretsizdir, kredi kartı gerekmez. İstekler kredi kullanır: düz istek için 1, JavaScript işleme için 3 ve tam tarayıcı işleme için 8. Hatalar, bot doğrulamaları ve hata ile yanıt veren sayfalar 0 tutar.

JavaScript gerektiren sayfaları scrape edebilir mi?

Evet. js_render değerini true yapın, sayfa önce bir tarayıcıda yüklenir. Düz bir istekle başlayın ve yalnızca düz sonuç boşsa işleyin.

Site beni engellediyse nasıl anlarım?

X-Target-Status başlığını okuyun. HTTP durumu Spicrawl’a aittir; X-Target-Status sitenin verdiği yanıttır. Orada 403 veya 503 görmek bir engel sayfası aldığınız anlamına gelir ve 0 kredi tutar.

Bir web sitesinin tamamını crawl edebilir mi?

Hayır. Spicrawl bağlantıları izlemez veya sayfa keşfetmez. İstediğiniz URL’leri tek tek veya tek toplu iş çağrısında 10.000’e kadar gönderin.