Chuyển mọi trang web thành Markdown sạch cho LLM
Gửi một URL, nhận lại nội dung chính của trang dưới dạng Markdown: tiêu đề, danh sách, liên kết, bảng và code, không có điều hướng, script và chân trang làm tốn token của LLM.
Cách hoạt động
- Gửi một URL tới endpoint scrape với
response_format: "markdown". - Spicrawl fetch trang, render JavaScript nếu bạn yêu cầu, và giữ lại nội dung chính.
- Bạn nhận lại Markdown làm response body, sẵn sàng cho một prompt, một chỉ mục RAG hoặc một tệp.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownĐặt key một lần bằng SPICRAWL_API_KEY và đừng bao giờ ghi nó vào code bạn commit. Định dạng mặc định của API là HTML, nên hãy luôn đặt response_format.
Từ HTML sang Markdown
Một trang điển hình bọc vài đoạn văn trong điều hướng, script và markup chân trang. Spicrawl giữ lại nội dung và cấu trúc của nó:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Tiêu đề, danh sách, liên kết, bảng và khối code được giữ nguyên qua quá trình chuyển đổi. Bố cục, kiểu dáng và các phần tương tác thì không. Trong các phép đo của chúng tôi trên sáu trang thật, Markdown của Spicrawl dùng ít hơn 53% đến 97% token so với HTML của chính các trang đó.
Các tùy chọn giảm token
| Trường | Nó làm gì |
|---|---|
response_format | markdown giữ tiêu đề, liên kết và bảng; text bỏ toàn bộ cú pháp Markdown. |
main_content_only | Bật theo mặc định cho Markdown: phần điều hướng, footer và aside bị loại bỏ. Đặt false để giữ toàn bộ trang. |
include_tags | CSS selector cần giữ lại. Chỉ các phần khớp của trang được chuyển đổi. |
exclude_tags | CSS selector cần loại bỏ, như banner cookie hoặc danh sách bài liên quan. |
js_render | Hãy tải trang trong trình duyệt trước, với nội dung được tạo bằng JavaScript. |
links | Đồng thời trả về các liên kết của trang dưới dạng một danh sách riêng, trong phản hồi JSON. |
Bộ lọc thẻ chạy trước khi chuyển đổi, nên bất cứ thứ gì bạn loại bỏ không bao giờ đến model của bạn:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}Trang JavaScript và PDF
Bắt đầu bằng một request thường (1 credit). Nếu kết quả là một vỏ rỗng hoặc thông báo đang tải, hãy gửi lại với js_render: true (3 credit) để trang chạy trong trình duyệt trước khi chuyển đổi. Đặt max_cost theo bước bạn định dùng, để một request không bao giờ tốn nhiều hơn bạn dự kiến.
Khi URL là một PDF, Spicrawl phân tích nó thành văn bản thuần với giá thông thường. Tiêu đề và bảng không được dựng lại, và PDF dạng quét hoặc đã mã hóa không trả về văn bản.
Chuyển nhiều trang
Một batch job nhận tối đa 10,000 URL mỗi lệnh gọi, chạy song song và có thể trả về từng URL dưới dạng Markdown. Kết quả được giữ trong 72 giờ.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl chuyển đổi các URL bạn gửi. Nó không crawl một trang web hay tự khám phá trang, nên hãy thu thập các URL trước, ví dụ từ sitemap của trang.
Từ một AI agent
Agent có thể gọi cùng phép chuyển đổi này qua MCP server Spicrawl: tool spicrawl_scrape trả về Markdown theo mặc định. CLI spicrawl làm điều tương tự từ terminal hoặc script.
Một API chuyển đổi hay một thư viện HTML-to-Markdown?
Nếu bạn đã có HTML, một thư viện mã nguồn mở như Turndown sẽ chuyển đổi nó ngay trong code của bạn, miễn phí. Bạn vẫn phải tự lấy trang, chạy JavaScript của nó, vượt qua các trang từ chối request đơn giản, và loại bỏ phần điều hướng. Spicrawl làm các bước đó trong một request, điều này quan trọng nhất khi bạn chuyển đổi các trang từ nhiều site khác nhau.
Nên biết
- Kiểm tra trạng thái của trang. HTTP status là của Spicrawl. Status của chính trang nằm trong header
X-Target-Status: một site trả về 403 vẫn được trả về dưới dạng HTTP 200, và tốn 0 credit. - Hãy kiểm tra một mẫu. Việc tách nội dung chính hoạt động trên hầu hết các trang, nhưng một số phần điều hướng có thể còn sót lại ở bố cục khác thường. Hãy xem một trang mỗi loại trước khi lập chỉ mục hàng nghìn trang.
- Giá. Miễn phí trong thời gian beta, không cần thẻ tín dụng. Một request thường là 1 credit, render JavaScript 3, render bằng trình duyệt đầy đủ 8. Chuyển đổi sang Markdown không tốn thêm, và request thất bại hoặc bị chặn tốn 0.
Câu hỏi thường gặp
Làm sao để chuyển một trang web sang Markdown?
Gửi một POST request tới https://api.spicrawl.com/v1/scrape với URL trang và response_format đặt là markdown. Nội dung phản hồi chính là Markdown. Bạn cũng có thể dùng CLI spicrawl (spicrawl scrape URL --format markdown) hoặc tool MCP spicrawl_scrape từ một AI agent.
Nó có loại bỏ điều hướng, quảng cáo và chân trang không?
Có. Với Markdown, việc tách nội dung chính được bật theo mặc định, nên điều hướng, chân trang và phần aside bị loại bỏ. Bạn có thể thu hẹp thêm bằng include_tags và exclude_tags, hoặc đặt main_content_only là false để giữ cả trang. Một số điều hướng vẫn có thể còn sót ở các bố cục khác thường, nên hãy kiểm tra một mẫu của mỗi loại trang.
Nó có chuyển đổi được các trang nặng JavaScript không?
Có. Đặt js_render thành true và trang được tải trong trình duyệt trước khi chuyển đổi. Hãy bắt đầu bằng một request thường, tốn 1 credit, và chỉ render khi kết quả thường rỗng hoặc không đầy đủ; render tốn 3 credit.
Nó có chuyển PDF sang Markdown được không?
PDF được phân tích thành văn bản thuần khi bạn yêu cầu markdown hoặc text, với giá thông thường. Tiêu đề và bảng không được dựng lại, và PDF dạng quét hoặc đã mã hóa không trả về văn bản.
Nó tốn bao nhiêu?
Spicrawl miễn phí trong thời gian beta, không cần thẻ tín dụng. Request dùng credit: 1 cho request thường, 3 cho render JavaScript và 8 cho render bằng trình duyệt đầy đủ. Chuyển sang Markdown không tốn thêm, và request thất bại hoặc bị chặn tốn 0.
Tôi có thể chuyển đổi nhiều trang cùng lúc không?
Có. Một batch job nhận tối đa 10,000 URL mỗi lệnh gọi và có thể trả về từng URL dưới dạng Markdown. Spicrawl không tự khám phá trang: hãy gửi các URL bạn muốn, ví dụ từ một sitemap.