将任意网站转换为适合 LLM 的干净 Markdown
发送一个 URL,即可得到 Markdown 格式的页面主要内容:标题、列表、链接、表格和代码,没有会白白浪费 LLM token 的导航、脚本和页脚。
工作原理
- 发送一个 URL 到抓取端点,并附上
response_format: "markdown"。 - Spicrawl 抓取页面, 如果你要求,会渲染 JavaScript,并保留主要内容。
- 你会取回 Markdown 作为响应正文,可直接用于提示词、RAG 索引或文件。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdown用 SPICRAWL_API_KEY 一次性设置好 key,绝不要写进你要提交的代码。API 的默认格式是 HTML,因此请始终设置 response_format。
从 HTML 到 Markdown
典型页面会把几段正文包在导航、脚本和页脚标记里。Spicrawl 保留内容及其结构:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |标题、列表、链接、表格和代码块在转换后都会保留。版式、样式和交互部分则不会。在 我们对六个真实页面的测量 中,Spicrawl 的 Markdown 比相同页面的 HTML 少用 53% 到 97% 的 token。
减少 token 的选项
| 字段 | 它做什么 |
|---|---|
response_format | markdown 会保留标题、链接和表格;text 则去掉所有 Markdown 语法。 |
main_content_only | Markdown 默认开启:会去掉导航、页脚和侧栏。设置 false 可保留整个页面。 |
include_tags | 要保留的 CSS 选择器。只会转换页面中匹配的部分。 |
exclude_tags | 要移除的 CSS 选择器,例如 cookie 横幅或相关文章列表。 |
js_render | 先在浏览器中加载页面,适用于由 JavaScript 构建的内容。 |
links | 同时在 JSON 响应中将页面的链接作为单独的列表返回。 |
标签过滤在转换之前运行,因此你移除的任何内容都不会到达你的模型:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript 页面和 PDF
先发一个普通请求(1 积分)。如果结果是空壳或加载提示,就带上 js_render: true(3 积分)再发一次,让页面在转换前先在浏览器中运行。把 max_cost 设为你打算使用的层级,这样请求的花费就不会超出你的预期。
当 URL 是 PDF 时,Spicrawl 会按正常价格将其解析为纯文本。标题和表格不会被重建,扫描版或加密的 PDF 不会返回文本。
转换多个页面
一个批量任务每次调用最多接受 10,000 个 URL,并行运行,并可将每个结果以 Markdown 返回。结果保留 72 小时。
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl 转换你发送的 URL。它不会爬取站点,也不会替你发现页面,因此请先收集 URL,例如从站点的站点地图中获取。
来自 AI 智能体
智能体可以通过 Spicrawl MCP 服务器 调用同样的转换:spicrawl_scrape 工具默认返回 Markdown。spicrawl CLI 也能在终端或脚本中做同样的事。
转换器 API,还是 HTML 转 Markdown 库?
如果你已有 HTML,像 Turndown 这样的开源库可以在你自己的代码中免费转换它。但你仍然得自己获取页面、运行其 JavaScript、绕过拒绝简单请求的页面,并去掉导航。Spicrawl 在一次请求中完成这些步骤,在转换来自许多不同站点的页面时尤其有用。
须知
- 检查网站状态。 HTTP 状态码是 Spicrawl 的。页面自身的状态码在
X-Target-Status响应头中:返回 403 的站点仍会以 HTTP 200 返回,且费用为 0 积分。 - 检查一个样本。 主要内容提取在大多数页面上都有效,但在特殊布局上可能残留一些导航。在为成千上万个页面建索引之前,请先查看每种类型的一个页面。
- 定价。 公测期间免费,无需信用卡。普通请求 1 积分,JavaScript 渲染 3,完整浏览器渲染 8。Markdown 转换不额外收费,失败或被拦截的请求费用为 0。
常见问题
如何将网站转换为 Markdown?
向 https://api.spicrawl.com/v1/scrape 发送一个 POST 请求,带上页面 URL,并将 response_format 设为 markdown。响应正文就是 Markdown 本身。你也可以使用 spicrawl CLI (spicrawl scrape URL --format markdown),或在 AI 智能体中使用 spicrawl_scrape MCP 工具。
它会移除导航、广告和页脚吗?
可以。对于 Markdown,主要内容隔离默认开启,因此导航、页脚和旁注会被去掉。你可以用 include_tags 和 exclude_tags 进一步缩小范围,或将 main_content_only 设为 false 以保留整个页面。在不常见的布局上,部分导航仍可能保留下来,因此请检查每种页面类型的一个样本。
它能转换大量依赖 JavaScript 的页面吗?
可以。把 js_render 设为 true,页面会在转换前先在浏览器中加载。先发一个普通请求(1 积分),仅当普通结果为空或不完整时再渲染;渲染消耗 3 积分。
它能把 PDF 转换为 Markdown 吗?
当你请求 markdown 或文本时,PDF 会按正常价格解析为纯文本。标题和表格不会被重建,扫描版或加密的 PDF 不会返回文本。
费用是多少?
Spicrawl 公测期间免费,无需信用卡。请求会消耗积分:普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。转换为 Markdown 不额外收费,失败或被拦截的请求费用为 0。
我可以一次转换多个页面吗?
可以。一个批量任务每次调用最多接受 10,000 个 URL,并可将每个结果以 Markdown 返回。Spicrawl 不会替你发现页面:请发送你想要的 URL,例如来自站点地图的 URL。