Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

面向 RAG 和 LLM 管道的网页抓取

将网页获取为干净的 Markdown,可直接分块和嵌入,没有菜单、广告和脚本。

为什么 RAG 要用 Markdown

  • 结构得以保留。 标题、列表、表格和代码都会保留,因此你可以按真实的章节来切分,而不是按任意的字符数。
  • token 少得多。 去掉菜单、页脚和广告后,主要内容的 token 通常只占原始 HTML 的 3% 到 24%。
  • 默认只保留主要内容。 可用 include_tags 和 exclude_tags 进一步缩小范围。

工作原理

  1. 发送一个 URL 到 POST /v1/scrape,并附上 response_format: "markdown"。
  2. 分块并嵌入 在你自己的流水线中处理 Markdown。Spicrawl 不做这一步。
  3. 按你的计划刷新 只需再次发送相同的 URL。页面较多时,请使用一个最多 10,000 个 URL 的批量任务。
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

把 key 保存在 SPICRAWL_API_KEY 中。

需要更多的来源

  • JavaScript 页面: 设置 js_render: true。参见 抓取 JavaScript 网站。
  • PDF: 当你请求 markdown 或 text 时,会被解析为纯文本。扫描版或加密的 PDF 不返回文本。
  • 登录后的页面: 请使用 session,用于你自己拥有或有权使用的账号。

须知

  • 不支持爬取。 Spicrawl 不会查找 URL 或跟随链接。请发送列表,例如来自站点地图的列表。
  • 缓存: 结果默认缓存 48 小时。设置 cache_ttl: 0 可重新获取。缓存命中的计费方式与存储它的那次获取相同。
  • 定价: 公测期间免费。普通页面 1 积分,JavaScript 3,完整浏览器 8。失败的请求费用为 0。

常见问题

为什么 RAG 要使用 Markdown?

Markdown 保留标题、列表、表格和代码,因此你的分块器可以按真实结构拆分。它也比原始 HTML 小得多:去掉菜单、页脚和广告后,主要内容通常只占 HTML token 的 3% 到 24%。

Spicrawl 会对内容分块或嵌入吗?

不会。Spicrawl 返回干净的 Markdown。拆分为块、嵌入并存入向量数据库,这些都在你自己的管道或框架中完成。

如何为知识库抓取大量页面?

在一个批量任务中发送最多 10,000 个 URL,并以 JSON Lines 格式读取结果。Spicrawl 不会爬取:你需要自己发送 URL 列表,例如来自站点地图的列表。

它能读取 JavaScript 页面和 PDF 吗?

可以。对于在浏览器中构建内容的页面,请把 js_render 设为 true。当你请求 markdown 或 text 时,PDF 会被解析为纯文本;扫描版或加密的 PDF 不返回文本。

如何让知识库保持最新?

按你控制的计划再次运行相同的 URL。结果默认缓存 48 小时,因此需要全新抓取时请将 cache_ttl 设为 0。缓存命中按存入该缓存的那次抓取计费。

费用是多少?

公测期间免费:每月 1,000 积分,无需信用卡。普通页面 1 积分,JavaScript 渲染 3,完整浏览器 8。失败的请求费用为 0。