Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

RAG ve LLM işlem hatları için web scraping

Web sayfalarını, menüler, reklamlar ve betikler olmadan, parçalamaya ve gömmeye hazır temiz Markdown olarak alın.

RAG için neden Markdown

  • Yapı korunur. Başlıklar, listeler, tablolar ve kod korunur; böylece rastgele karakter sayıları yerine gerçek bölümlere göre ayırabilirsiniz.
  • Çok daha az token. Menüler, alt bilgiler ve reklamlar çıkarıldığında, ana içerik tipik olarak ham HTML’in token’larının %3 ila %24’ü kadardır.
  • Varsayılan olarak ana içerik. Bunu include_tags ve exclude_tags ile daha da daraltın.

Nasıl çalışır

  1. Bir URL gönderin POST /v1/scrape adresine response_format: "markdown" ile.
  2. Parçala ve göm Markdown’ı kendi pipeline’ınızda. Spicrawl bu adımı yapmaz.
  3. Kendi takviminize göre yenileyin aynı URL’leri yeniden göndererek. Çok sayıda sayfa için, 10.000 URL’ye kadar tek bir toplu iş kullanın.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Anahtarınızı SPICRAWL_API_KEY içinde tutun.

Daha fazlasına ihtiyaç duyan kaynaklar

  • JavaScript sayfaları: js_render: true ayarlayın. Bkz. JavaScript web sitelerini scrape etme.
  • PDF’ler: markdown veya text istediğinizde düz metne dönüştürülür. Taranmış veya şifrelenmiş PDF’ler metin döndürmez.
  • Giriş arkasındaki sayfalar: sahibi olduğunuz veya kullanma izniniz olan hesaplar için bir oturum kullanın.

Bilmekte fayda var

  • Crawl yok. Spicrawl URL bulmaz veya bağlantıları izlemez. Listeyi gönderin, örneğin bir sitemap’ten.
  • Önbellekleme: sonuçlar varsayılan olarak 48 saat önbellekte tutulur. Yeni bir çekim için cache_ttl: 0 ayarlayın. Önbellek isabeti, onu saklayan çekimle aynı şekilde faturalanır.
  • Fiyatlandırma: beta süresince ücretsiz. Düz bir sayfa 1 kredi, JavaScript 3, tam tarayıcı 8 tutar. Başarısız istekler 0 tutar.

Sık sorulan sorular

RAG için neden Markdown kullanılır?

Markdown başlıkları, listeleri, tabloları ve kodu korur; böylece parçalayıcınız gerçek yapıya göre bölebilir. Ham HTML’den de çok daha küçüktür: menüler, alt bilgiler ve reklamlar kaldırıldığında ana içerik genellikle HTML’in token’larının %3 ila %24’üdür.

Spicrawl içeriği parçalar mı veya gömer mi?

Hayır. Spicrawl temiz Markdown döndürür. Bunu parçalara bölmek, gömmek ve bir vektör veritabanında saklamak kendi işlem hattınızda veya çerçevenizde yapılır.

Bir bilgi tabanı için birçok sayfayı nasıl scrape ederim?

Tek toplu işte 10.000 URL’ye kadar gönderin ve sonuçları JSON Lines olarak okuyun. Spicrawl crawl etmez: URL listesini, örneğin bir site haritasından, siz gönderirsiniz.

JavaScript sayfalarını ve PDF’leri okuyabilir mi?

Evet. İçeriğini tarayıcıda oluşturan sayfalar için js_render değerini true yapın. markdown veya metin istediğinizde bir PDF düz metne dönüştürülür; taranmış veya şifrelenmiş PDF’ler metin döndürmez.

Bilgi tabanını nasıl güncel tutarım?

Aynı URL’leri kontrol ettiğiniz bir takvimle yeniden çalıştırın. Sonuçlar varsayılan olarak 48 saat önbelleğe alınır, bu yüzden taze bir fetch gerektiğinde cache_ttl değerini 0 yapın. Önbellek isabeti, onu depolayan fetch gibi faturalanır.

Ne kadara mal olur?

Beta süresince ücretsiz: ayda 1.000 kredi ve kredi kartı yok. Düz sayfa 1 kredi, JavaScript işleme 3 ve tam tarayıcı 8 tutar. Başarısız istekler 0 tutar.