Her web sitesini LLM’ler için temiz Markdown’a dönüştürün
Bir URL gönderin, sayfanın ana içeriğini Markdown olarak geri alın: başlıklar, listeler, bağlantılar, tablolar ve kod; bir LLM’in token’larını boşa harcayan gezinme, betik ve alt bilgi olmadan.
Nasıl çalışır
- Bir URL gönderin scrape uç noktasına
response_format: "markdown"ile. - Spicrawl sayfayı çeker, isterseniz JavaScript’i işleyerek ve ana içeriği tutarak.
- Markdown geri alırsınız yanıt gövdesi olarak, bir prompt’a, RAG dizinine veya bir dosyaya hazır.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownAnahtarı SPICRAWL_API_KEY ile bir kez ayarlayın ve commit ettiğiniz koda asla yazmayın. API’nin varsayılan biçimi HTML’dir, bu yüzden her zaman response_format ayarlayın.
HTML’den Markdown’a
Tipik bir sayfa, birkaç paragrafı gezinme, betik ve alt bilgi işaretlemesiyle sarar. Spicrawl içeriği ve yapısını korur:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Başlıklar, listeler, bağlantılar, tablolar ve kod blokları dönüştürmede korunur. Yerleşim, stil ve etkileşimli kısımlar korunmaz. altı gerçek sayfa üzerindeki ölçümlerimiz içinde, Spicrawl’ın Markdown’ı aynı sayfaların HTML’ine göre %53 ila %97 daha az token kullandı.
Token’ları azaltan seçenekler
| Alan | Ne yapar |
|---|---|
response_format | markdown başlıkları, bağlantıları ve tabloları korur; text tüm Markdown sözdizimini kaldırır. |
main_content_only | Markdown için varsayılan olarak açıktır: gezinme, alt bilgiler ve kenar çubukları kaldırılır. Sayfanın tamamını tutmak için false ayarlayın. |
include_tags | Tutulacak CSS seçicileri. Sayfanın yalnızca eşleşen kısımları dönüştürülür. |
exclude_tags | Kaldırılacak CSS seçicileri, örneğin çerez bannerları veya ilgili yazı listeleri. |
js_render | JavaScript ile oluşturulan içerik için sayfayı önce bir tarayıcıda yükleyin. |
links | Sayfanın bağlantılarını da JSON yanıtında ayrı bir liste olarak döndürün. |
Etiket filtreleri dönüştürmeden önce çalışır, bu yüzden kaldırdığınız hiçbir şey modelinize ulaşmaz:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript sayfaları ve PDF’ler
Düz bir istekle başlayın (1 kredi). Sonuç boş bir kabuk veya yükleme mesajıysa, sayfa dönüştürmeden önce bir tarayıcıda çalışsın diye js_render: true (3 kredi) ile yeniden gönderin. Bir isteğin beklediğinizden fazlaya mal olmaması için max_cost değerini istediğiniz adıma ayarlayın.
URL bir PDF olduğunda Spicrawl onu normal fiyatla düz metne ayrıştırır. Başlıklar ve tablolar yeniden oluşturulmaz, taranmış veya şifrelenmiş PDF’ler metin döndürmez.
Birçok sayfayı dönüştürün
Bir toplu iş çağrı başına en fazla 10.000 URL alır, bunları paralel çalıştırır ve her birini Markdown olarak döndürebilir. Sonuçlar 72 saat saklanır.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl gönderdiğiniz URL’leri dönüştürür. Bir siteyi crawl etmez veya sizin için sayfa keşfetmez, bu yüzden URL’leri önce, örneğin sitenin site haritasından, toplayın.
Bir yapay zeka agent’ından
Agent’lar aynı dönüştürmeyi Spicrawl MCP sunucusu üzerinden çağırabilir: spicrawl_scrape aracı varsayılan olarak Markdown döndürür. spicrawl CLI’ı bunu bir terminalden veya betikten yapar.
Bir dönüştürücü API mi, yoksa HTML’den Markdown’a bir kütüphane mi?
HTML’iniz zaten varsa, Turndown gibi açık kaynaklı bir kütüphane onu kendi kodunuzda ücretsiz dönüştürür. Yine de sayfayı çekmeniz, JavaScript’ini çalıştırmanız, basit isteklere kapalı sayfaları aşmanız ve gezinmeyi kendiniz ayıklamanız gerekir. Spicrawl bu adımları tek istekte yapar; bu, birçok farklı siteden sayfa dönüştürdüğünüzde en çok işe yarar.
Bilmekte fayda var
- Sitenin durumunu kontrol edin. HTTP durumu Spicrawl’a aittir. Sayfanın kendi durumu
X-Target-Statusbaşlığındadır: 403 ile yanıt veren bir site yine de HTTP 200 olarak döner ve 0 kredi tutar. - Bir örneği kontrol edin. Ana içerik yalıtımı çoğu sayfada çalışır, ancak alışılmadık yerleşimlerde bazı gezinme öğeleri kalabilir. Binlercesini dizinlemeden önce her türden bir sayfaya bakın.
- Fiyatlandırma. Beta süresince ücretsiz, kredi kartı gerekmez. Düz istek 1 kredi, JavaScript işleme 3, tam tarayıcı işleme 8 kredidir. Markdown dönüştürme ek ücret getirmez; başarısız veya engellenen istekler 0 tutar.
Sık sorulan sorular
Bir web sitesini Markdown’a nasıl dönüştürürüm?
Sayfa URL’si ve markdown olarak ayarlanmış response_format ile https://api.spicrawl.com/v1/scrape adresine bir POST isteği gönderin. Yanıt gövdesi Markdown’ın kendisidir. Ayrıca spicrawl CLI’ı (spicrawl scrape URL --format markdown) veya bir yapay zeka agent’ından spicrawl_scrape MCP aracını da kullanabilirsiniz.
Gezinmeyi, reklamları ve alt bilgileri kaldırır mı?
Evet. Markdown için ana içerik ayırma varsayılan olarak açıktır, bu yüzden gezinme, alt bilgiler ve yan içerikler ayıklanır. Bunu include_tags ve exclude_tags ile daha da daraltabilir veya sayfanın tamamını korumak için main_content_only değerini false yapabilirsiniz. Bazı gezinme öğeleri alışılmadık yerleşimlerde yine de kalabilir, bu yüzden her sayfa türünden bir örneği kontrol edin.
JavaScript ağırlıklı sayfaları dönüştürebilir mi?
Evet. js_render değerini true yapın; sayfa dönüştürmeden önce bir tarayıcıda yüklenir. 1 kredi tutan düz bir istekle başlayın ve yalnızca düz sonuç boş veya eksikse işleyin; işleme 3 kredi tutar.
PDF’leri Markdown’a dönüştürebilir mi?
Markdown veya metin istediğinizde PDF, normal fiyatla düz metne ayrıştırılır. Başlıklar ve tablolar yeniden oluşturulmaz, taranmış veya şifrelenmiş PDF’ler metin döndürmez.
Ne kadara mal olur?
Spicrawl beta süresince ücretsizdir, kredi kartı gerekmez. İstekler kredi kullanır: düz istek için 1, JavaScript işleme için 3 ve tam tarayıcı işleme için 8. Markdown’a dönüştürme ek ücret getirmez; başarısız veya engellenen istekler 0 tutar.
Birçok sayfayı aynı anda dönüştürebilir miyim?
Evet. Bir toplu iş çağrı başına 10.000 URL’ye kadar alır ve her birini Markdown olarak döndürebilir. Spicrawl sizin için sayfa keşfetmez: istediğiniz URL’leri, örneğin bir site haritasından, gönderin.