Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

获取干净数据的网页抓取 API

发送任意 URL,即可得到干净的 Markdown 或 JSON,可直接用于你的应用或 AI 智能体。

在页面上拖动,查看 Spicrawl 保留的干净文本。

shop.example购物车 · 2
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00有货★★★★★ 4.6 (1,284)

低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。专为漫长的一天而设计。

加入购物车保存
连接2.4 GHz,BT5
电池70 天
权重62 g
夏季特惠 · 键盘立减 30%广告
© shop.example配送返回
你看到的内容爬虫保留的内容
25.6 KB
原始页面 48 KB,包含 HTML、脚本和样式保留了 Spicrawl 返回文本的 3.1 KB · 示例页面

只保留主要内容

Spicrawl 会去掉 cookie 横幅、菜单、广告和页脚,保留主要内容。

抓取页面
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

工作原理

  1. 发送一个 URL 到 POST /v1/scrape,并选择一个 response_format。
  2. Spicrawl 抓取页面。 它先使用普通请求,或在你要求时使用浏览器。
  3. 你得到结果 在响应正文中,站点自身的状态码放在响应头里。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

把 key 保存在 SPICRAWL_API_KEY 中,绝不要写进你要提交的代码。

输出格式

格式最适合
markdown适用于 AI 提示词、RAG 和阅读。默认只保留主要内容。
json应用:内容加上元数据、链接或提取的字段,合在一个对象里。
html当你需要页面的标记时。这是默认值。
text最小的输出,不带任何格式。
pdf渲染后页面的 PDF。

有关 Markdown 输出的更多信息,参见 网站转 Markdown。

检查结果

HTTP 状态码是 Spicrawl 的。站点返回了什么,在 X-Target-Status 中。成功的调用如下所示:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

X-Target-Status 中出现 403 或 503,表示你得到的是拦截页,费用为 0 积分。

需要更多的页面

  • JavaScript 页面。 设置 js_render: true,先在浏览器中加载页面。参见 JavaScript 渲染。
  • 登录后的页面。 使用会话在请求之间保留 cookie,用于你自己拥有或有权使用的账号。参见 会话和登录。
  • 点击和滚动。 浏览器操作可以在读取页面前点击、输入和滚动。参见 浏览器操作。
  • 多个 URL。 一个批量任务一次调用最多可接受 10,000 个 URL。参见 batch。

费用

  • 公测期间免费, 无需信用卡。
  • 每次成功请求的积分: 普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。
  • 失败免费: 错误、机器人质询以及返回错误的页面,费用均为 0。
  • 为每个请求设置上限 设置 max_cost,这样一次调用的花费不会超出你的预期。

须知

  • 不支持爬取。 Spicrawl 不会跟随链接或发现页面。URL 由你发送。
  • 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的提取。目前你可以自带代理,无附加费用。
  • 你的责任: 只获取你有权使用的页面。参见我们的 条款。

常见问题

什么是网页抓取 API?

它是一项服务,替你获取网页,并以代码可用的形式返回内容。你发送一个 URL;它处理请求、JavaScript 和清理,并返回 Markdown、JSON 或 HTML。

Spicrawl 抓取 API 要多少钱?

公测期间免费,无需信用卡。请求会消耗积分:普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。错误、机器人验证挑战以及返回错误的页面费用为 0。

它能抓取需要 JavaScript 的页面吗?

可以。将 js_render 设为 true,页面就会先在浏览器中加载。先用普通请求,仅当普通结果为空时才渲染。

如何判断网站是否拦截了我?

查看 X-Target-Status 响应头。HTTP 状态码是 Spicrawl 的;X-Target-Status 是站点返回的状态码。那里出现 403 或 503,表示你得到的是拦截页,费用为 0 积分。

它能爬取整个网站吗?

不能。Spicrawl 不会跟随链接,也不会发现页面。请发送你想要的 URL,一次一个,或每次批量调用最多 10,000 个。