面向 RAG 和 LLM 管道的网页抓取
将网页获取为干净的 Markdown,可直接分块和嵌入,没有菜单、广告和脚本。
为什么 RAG 要用 Markdown
- 结构得以保留。 标题、列表、表格和代码都会保留,因此你可以按真实的章节来切分,而不是按任意的字符数。
- token 少得多。 去掉菜单、页脚和广告后,主要内容的 token 通常只占原始 HTML 的 3% 到 24%。
- 默认只保留主要内容。 可用
include_tags和exclude_tags进一步缩小范围。
工作原理
- 发送一个 URL 到
POST /v1/scrape,并附上response_format: "markdown"。 - 分块并嵌入 在你自己的流水线中处理 Markdown。Spicrawl 不做这一步。
- 按你的计划刷新 只需再次发送相同的 URL。页面较多时,请使用一个最多 10,000 个 URL 的批量任务。
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'把 key 保存在 SPICRAWL_API_KEY 中。
需要更多的来源
- JavaScript 页面: 设置
js_render: true。参见 抓取 JavaScript 网站。 - PDF: 当你请求
markdown或text时,会被解析为纯文本。扫描版或加密的 PDF 不返回文本。 - 登录后的页面: 请使用 session,用于你自己拥有或有权使用的账号。
须知
- 不支持爬取。 Spicrawl 不会查找 URL 或跟随链接。请发送列表,例如来自站点地图的列表。
- 缓存: 结果默认缓存 48 小时。设置
cache_ttl: 0可重新获取。缓存命中的计费方式与存储它的那次获取相同。 - 定价: 公测期间免费。普通页面 1 积分,JavaScript 3,完整浏览器 8。失败的请求费用为 0。
常见问题
为什么 RAG 要使用 Markdown?
Markdown 保留标题、列表、表格和代码,因此你的分块器可以按真实结构拆分。它也比原始 HTML 小得多:去掉菜单、页脚和广告后,主要内容通常只占 HTML token 的 3% 到 24%。
Spicrawl 会对内容分块或嵌入吗?
不会。Spicrawl 返回干净的 Markdown。拆分为块、嵌入并存入向量数据库,这些都在你自己的管道或框架中完成。
如何为知识库抓取大量页面?
在一个批量任务中发送最多 10,000 个 URL,并以 JSON Lines 格式读取结果。Spicrawl 不会爬取:你需要自己发送 URL 列表,例如来自站点地图的列表。
它能读取 JavaScript 页面和 PDF 吗?
可以。对于在浏览器中构建内容的页面,请把 js_render 设为 true。当你请求 markdown 或 text 时,PDF 会被解析为纯文本;扫描版或加密的 PDF 不返回文本。
如何让知识库保持最新?
按你控制的计划再次运行相同的 URL。结果默认缓存 48 小时,因此需要全新抓取时请将 cache_ttl 设为 0。缓存命中按存入该缓存的那次抓取计费。
费用是多少?
公测期间免费:每月 1,000 积分,无需信用卡。普通页面 1 积分,JavaScript 渲染 3,完整浏览器 8。失败的请求费用为 0。