किसी भी website को LLMs के लिए साफ़ Markdown में बदलें
URL भेजें, page का main content Markdown में वापस पाएँ: headings, lists, links, tables और code, बिना navigation, scripts और footer के जो LLM के tokens बर्बाद करते हैं।
यह कैसे काम करता है
- URL भेजें scrape endpoint पर,
response_format: "markdown"के साथ। - Spicrawl page fetch करता है, अगर आप कहें तो JavaScript render करता है, और main content रखता है।
- आपको Markdown वापस मिलता है response body के रूप में, prompt, RAG index या file के लिए तैयार।
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownKey को SPICRAWL_API_KEY के साथ एक बार set करें और उसे कभी उस code में न लिखें जिसे आप commit करते हैं। API का default format HTML है, इसलिए हमेशा response_format set करें।
HTML से Markdown तक
एक आम page में कुछ paragraphs navigation, scripts और footer markup में लिपटे होते हैं। Spicrawl content और उसका structure रखता है:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Headings, lists, links, tables और code blocks conversion में बने रहते हैं। Layout, styling और interactive हिस्से नहीं रहते। छह असली pages पर हमारे measurements में, Spicrawl के Markdown में उन्हीं pages के HTML से 53% से 97% कम tokens लगे।
Tokens घटाने वाले options
| Field | यह क्या करता है |
|---|---|
response_format | markdown headings, links और tables रखता है; text सारा Markdown syntax हटा देता है। |
main_content_only | Markdown के लिए डिफ़ॉल्ट रूप से चालू: navigation, footers और asides हटा दिए जाते हैं। पूरा page रखने के लिए false set करें। |
include_tags | रखने के लिए CSS selectors। Page के सिर्फ़ matching हिस्से convert होते हैं। |
exclude_tags | हटाने के लिए CSS selectors, जैसे cookie banners या related-post lists। |
js_render | पहले page को browser में load करें, JavaScript से बने content के लिए। |
links | JSON response में page के links भी अलग list के रूप में लौटाएँ। |
Tag filters conversion से पहले चलते हैं, इसलिए जो आप हटाते हैं वह आपके model तक कभी नहीं पहुँचता:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript pages और PDFs
Plain request (1 credit) से शुरू करें। अगर नतीजा खाली shell या loading message है, तो conversion से पहले page को browser में चलाने के लिए उसे js_render: true (3 credits) के साथ दोबारा भेजें। max_cost को उस step पर set करें जो आप चाहते हैं, ताकि कोई request आपकी उम्मीद से ज़्यादा खर्च न करे।
जब URL एक PDF हो, तो Spicrawl उसे सामान्य कीमत पर plain text में parse करता है। Headings और tables दोबारा नहीं बनाए जाते, और scanned या encrypted PDFs में कोई text नहीं मिलता।
कई pages convert करें
एक batch job हर call में 10,000 URLs तक लेता है, उन्हें parallel चलाता है और हर एक को Markdown के रूप में लौटा सकता है। Results 72 घंटे तक रखे जाते हैं।
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl आपके भेजे URLs को convert करता है। यह site crawl नहीं करता और आपके लिए pages नहीं खोजता, इसलिए पहले URLs इकट्ठा करें, जैसे site के sitemap से।
AI agent से
Agents यही conversion Spicrawl MCP server के ज़रिए call कर सकते हैं: spicrawl_scrape tool डिफ़ॉल्ट रूप से Markdown लौटाता है। spicrawl CLI terminal या script से यही करता है।
Converter API या HTML-to-Markdown library?
अगर आपके पास पहले से HTML है, तो Turndown जैसी open-source library उसे आपके अपने code में free में convert कर देती है। फिर भी page fetch करना, उसकी JavaScript चलाना, उन pages से निपटना जो simple requests refuse करते हैं, और navigation हटाना आपको खुद करना पड़ता है। Spicrawl ये सारे steps एक request में करता है, जो तब सबसे ज़्यादा काम आता है जब आप कई अलग-अलग sites के pages convert करते हैं।
जानने लायक बातें
- Site का status जाँचें। HTTP status Spicrawl का है। Page का अपना status
X-Target-Statusheader में है: जो site 403 देती है वह भी HTTP 200 के साथ लौटती है, और उसकी कीमत 0 credits है। - एक sample जाँचें। Main-content isolation ज़्यादातर pages पर काम करता है, लेकिन अजीब layouts पर कुछ navigation बच सकता है। हज़ारों pages index करने से पहले हर type का एक page देखें।
- Pricing। Beta के दौरान free, credit card नहीं चाहिए। Plain request 1 credit की है, JavaScript rendering 3 की, full-browser rendering 8 की। Markdown conversion कुछ नहीं जोड़ता, और fail या blocked requests की कीमत 0 है।
अक्सर पूछे जाने वाले सवाल
मैं website को Markdown में कैसे convert करूँ?
Page URL और markdown पर सेट response_format के साथ https://api.spicrawl.com/v1/scrape को POST request भेजें। Response body खुद Markdown है। आप spicrawl CLI (spicrawl scrape URL --format markdown) या AI agent से spicrawl_scrape MCP tool भी इस्तेमाल कर सकते हैं।
क्या यह navigation, ads और footers हटाता है?
हाँ। Markdown के लिए, main-content isolation default रूप से चालू है, इसलिए navigation, footers और asides हटा दिए जाते हैं। आप इसे include_tags और exclude_tags से और सीमित कर सकते हैं, या पूरा page रखने के लिए main_content_only को false सेट करें। असामान्य layouts पर कुछ navigation फिर भी बच सकता है, इसलिए हर page type का एक sample जाँचें।
क्या यह JavaScript-heavy pages convert कर सकता है?
हाँ। js_render को true पर set करें और conversion से पहले page browser में load होता है। Plain request से शुरू करें, जिसकी कीमत 1 credit है, और तभी render करें जब plain result खाली या अधूरा हो; rendering की कीमत 3 credits है।
क्या यह PDFs को Markdown में convert कर सकता है?
markdown या text माँगने पर PDF को सामान्य कीमत पर plain text में parse किया जाता है। Headings और tables दोबारा नहीं बनाए जाते, और scanned या encrypted PDFs में कोई text नहीं मिलता।
इसकी कीमत कितनी है?
Spicrawl अपने beta में free है, credit card नहीं चाहिए। Requests credits इस्तेमाल करती हैं: plain request के लिए 1, JavaScript rendering के लिए 3 और full-browser rendering के लिए 8। Markdown में convert करने का कोई अतिरिक्त शुल्क नहीं, और failed या blocked requests पर 0 लगता है।
क्या मैं एक साथ कई pages convert कर सकता हूँ?
हाँ। एक batch job हर call में 10,000 URLs तक लेता है और हर एक को Markdown के रूप में लौटा सकता है। Spicrawl आपके लिए pages नहीं खोजता: अपने चाहे URLs भेजें, जैसे sitemap से।