获取干净数据的网页抓取 API
发送任意 URL,即可得到干净的 Markdown 或 JSON,可直接用于你的应用或 AI 智能体。
在页面上拖动,查看 Spicrawl 保留的干净文本。
shop.example鼠标键盘优惠购物车 · 2

Wireless Mouse — Model X
$49.00有货★★★★★ 4.6 (1,284)
低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。专为漫长的一天而设计。
加入购物车保存
| 连接 | 2.4 GHz,BT5 |
| 电池 | 70 天 |
| 权重 | 62 g |
夏季特惠 · 键盘立减 30%广告
© shop.example配送返回隐私
25.6 KB
原始页面 48 KB,包含 HTML、脚本和样式保留了 Spicrawl 返回文本的 3.1 KB · 示例页面
只保留主要内容
Spicrawl 会去掉 cookie 横幅、菜单、广告和页脚,保留主要内容。
抓取页面
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/product/1", "response_format": "markdown", "main_content_only": true }'工作原理
- 发送一个 URL 到
POST /v1/scrape,并选择一个response_format。 - Spicrawl 抓取页面。 它先使用普通请求,或在你要求时使用浏览器。
- 你得到结果 在响应正文中,站点自身的状态码放在响应头里。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "response_format": "markdown"},
timeout=120,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --format markdown --meta把 key 保存在 SPICRAWL_API_KEY 中,绝不要写进你要提交的代码。
输出格式
| 格式 | 最适合 |
|---|---|
markdown | 适用于 AI 提示词、RAG 和阅读。默认只保留主要内容。 |
json | 应用:内容加上元数据、链接或提取的字段,合在一个对象里。 |
html | 当你需要页面的标记时。这是默认值。 |
text | 最小的输出,不带任何格式。 |
pdf | 渲染后页面的 PDF。 |
有关 Markdown 输出的更多信息,参见 网站转 Markdown。
检查结果
HTTP 状态码是 Spicrawl 的。站点返回了什么,在 X-Target-Status 中。成功的调用如下所示:
http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: missX-Target-Status 中出现 403 或 503,表示你得到的是拦截页,费用为 0 积分。
需要更多的页面
- JavaScript 页面。 设置
js_render: true,先在浏览器中加载页面。参见 JavaScript 渲染。 - 登录后的页面。 使用会话在请求之间保留 cookie,用于你自己拥有或有权使用的账号。参见 会话和登录。
- 点击和滚动。 浏览器操作可以在读取页面前点击、输入和滚动。参见 浏览器操作。
- 多个 URL。 一个批量任务一次调用最多可接受 10,000 个 URL。参见 batch。
费用
- 公测期间免费, 无需信用卡。
- 每次成功请求的积分: 普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。
- 失败免费: 错误、机器人质询以及返回错误的页面,费用均为 0。
- 为每个请求设置上限 设置
max_cost,这样一次调用的花费不会超出你的预期。
须知
- 不支持爬取。 Spicrawl 不会跟随链接或发现页面。URL 由你发送。
- 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的提取。目前你可以自带代理,无附加费用。
- 你的责任: 只获取你有权使用的页面。参见我们的 条款。
常见问题
什么是网页抓取 API?
它是一项服务,替你获取网页,并以代码可用的形式返回内容。你发送一个 URL;它处理请求、JavaScript 和清理,并返回 Markdown、JSON 或 HTML。
Spicrawl 抓取 API 要多少钱?
公测期间免费,无需信用卡。请求会消耗积分:普通请求 1,JavaScript 渲染 3,完整浏览器渲染 8。错误、机器人验证挑战以及返回错误的页面费用为 0。
它能抓取需要 JavaScript 的页面吗?
可以。将 js_render 设为 true,页面就会先在浏览器中加载。先用普通请求,仅当普通结果为空时才渲染。
如何判断网站是否拦截了我?
查看 X-Target-Status 响应头。HTTP 状态码是 Spicrawl 的;X-Target-Status 是站点返回的状态码。那里出现 403 或 503,表示你得到的是拦截页,费用为 0 积分。
它能爬取整个网站吗?
不能。Spicrawl 不会跟随链接,也不会发现页面。请发送你想要的 URL,一次一个,或每次批量调用最多 10,000 个。