Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

将任意网站转换为适合 LLM 的干净 Markdown

发送一个 URL,即可得到 Markdown 格式的页面主要内容:标题、列表、链接、表格和代码,没有会白白浪费 LLM token 的导航、脚本和页脚。

https://
格式: Markdown 仅主要内容

工作原理

  1. 发送一个 URL 到抓取端点,并附上 response_format: "markdown"。
  2. Spicrawl 抓取页面, 如果你要求,会渲染 JavaScript,并保留主要内容。
  3. 你会取回 Markdown 作为响应正文,可直接用于提示词、RAG 索引或文件。
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

用 SPICRAWL_API_KEY 一次性设置好 key,绝不要写进你要提交的代码。API 的默认格式是 HTML,因此请始终设置 response_format。

从 HTML 到 Markdown

典型页面会把几段正文包在导航、脚本和页脚标记里。Spicrawl 保留内容及其结构:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

标题、列表、链接、表格和代码块在转换后都会保留。版式、样式和交互部分则不会。在 我们对六个真实页面的测量 中,Spicrawl 的 Markdown 比相同页面的 HTML 少用 53% 到 97% 的 token。

减少 token 的选项

字段它做什么
response_formatmarkdown 会保留标题、链接和表格;text 则去掉所有 Markdown 语法。
main_content_onlyMarkdown 默认开启:会去掉导航、页脚和侧栏。设置 false 可保留整个页面。
include_tags要保留的 CSS 选择器。只会转换页面中匹配的部分。
exclude_tags要移除的 CSS 选择器,例如 cookie 横幅或相关文章列表。
js_render先在浏览器中加载页面,适用于由 JavaScript 构建的内容。
links同时在 JSON 响应中将页面的链接作为单独的列表返回。

标签过滤在转换之前运行,因此你移除的任何内容都不会到达你的模型:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

JavaScript 页面和 PDF

先发一个普通请求(1 积分)。如果结果是空壳或加载提示,就带上 js_render: true(3 积分)再发一次,让页面在转换前先在浏览器中运行。把 max_cost 设为你打算使用的层级,这样请求的花费就不会超出你的预期。

当 URL 是 PDF 时,Spicrawl 会按正常价格将其解析为纯文本。标题和表格不会被重建,扫描版或加密的 PDF 不会返回文本。

转换多个页面

一个批量任务每次调用最多接受 10,000 个 URL,并行运行,并可将每个结果以 Markdown 返回。结果保留 72 小时。

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl 转换你发送的 URL。它不会爬取站点,也不会替你发现页面,因此请先收集 URL,例如从站点的站点地图中获取。

来自 AI 智能体

智能体可以通过 Spicrawl MCP 服务器 调用同样的转换:spicrawl_scrape 工具默认返回 Markdown。spicrawl CLI 也能在终端或脚本中做同样的事。

转换器 API,还是 HTML 转 Markdown 库?

如果你已有 HTML,像 Turndown 这样的开源库可以在你自己的代码中免费转换它。但你仍然得自己获取页面、运行其 JavaScript、绕过拒绝简单请求的页面,并去掉导航。Spicrawl 在一次请求中完成这些步骤,在转换来自许多不同站点的页面时尤其有用。

须知

  • 检查网站状态。 HTTP 状态码是 Spicrawl 的。页面自身的状态码在 X-Target-Status 响应头中:返回 403 的站点仍会以 HTTP 200 返回,且费用为 0 积分。
  • 检查一个样本。 主要内容提取在大多数页面上都有效,但在特殊布局上可能残留一些导航。在为成千上万个页面建索引之前,请先查看每种类型的一个页面。
  • 定价。 公测期间免费,无需信用卡。普通请求 1 积分,JavaScript 渲染 3,完整浏览器渲染 8。Markdown 转换不额外收费,失败或被拦截的请求费用为 0。

常见问题

如何将网站转换为 Markdown?

向 https://api.spicrawl.com/v1/scrape 发送一个 POST 请求,带上页面 URL,并将 response_format 设为 markdown。响应正文就是 Markdown 本身。你也可以使用 spicrawl CLI (spicrawl scrape URL --format markdown),或在 AI 智能体中使用 spicrawl_scrape MCP 工具。

它会移除导航、广告和页脚吗?

可以。对于 Markdown,主要内容隔离默认开启,因此导航、页脚和旁注会被去掉。你可以用 include_tags 和 exclude_tags 进一步缩小范围,或将 main_content_only 设为 false 以保留整个页面。在不常见的布局上,部分导航仍可能保留下来,因此请检查每种页面类型的一个样本。

它能转换大量依赖 JavaScript 的页面吗?

可以。把 js_render 设为 true,页面会在转换前先在浏览器中加载。先发一个普通请求(1 积分),仅当普通结果为空或不完整时再渲染;渲染消耗 3 积分。

它能把 PDF 转换为 Markdown 吗?

当你请求 markdown 或文本时,PDF 会按正常价格解析为纯文本。标题和表格不会被重建,扫描版或加密的 PDF 不会返回文本。

费用是多少?

Spicrawl 公测期间免费,无需信用卡。请求会消耗积分:普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。转换为 Markdown 不额外收费,失败或被拦截的请求费用为 0。

我可以一次转换多个页面吗?

可以。一个批量任务每次调用最多接受 10,000 个 URL,并可将每个结果以 Markdown 返回。Spicrawl 不会替你发现页面:请发送你想要的 URL,例如来自站点地图的 URL。