从任意网站提取结构化数据
选择你需要的字段,以干净的 JSON 返回。
example.com/product/1


Wireless Mouse — Model X
$49.00有货★ 4.6 (1,284)
低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。
规格值
连接2.4 GHz,BT5电池70 天
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |读取页面
原始 HTML12,480 个 token
Markdown0 个 token
去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。
完整的响应:状态、URL、引擎和数据。示例页面。
页面信息、CSS 规则,或带选择器的 JSON Schema。示例页面。
在页面上运行的步骤,在完整浏览器渲染中执行。
工作原理
- 为你的字段命名 并为每个字段指定一个 CSS 选择器。
- 发送它们 发送到
extract,并附上页面 URL。 - 读取 JSON。 你的字段在
data下。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'json
{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields 会列出没有匹配到内容的字段。这往往是站点改版的第一个信号。
获取数据的三种方式
| 方式 | 你发送的内容 | 你得到什么 |
|---|---|---|
autoparse | "autoparse": true | 页面自身的 JSON-LD、OpenGraph、microdata、元数据和应用状态 |
| 选择器映射 | 字段名和 CSS 选择器 | 正是这些字段,以文本形式 |
| JSON Schema | 字段带有选择器的 schema | 带类型、经过检查的值,因此 "$1,234.56" 会变成 1234.56 |
须知
- 无额外积分 提取不额外收费。你只需为请求付费:普通 1 积分,使用 JavaScript 则为 3。
- 即将推出: 根据自然语言提示词进行提取。目前请使用选择器、schema 或 autoparse。
- 批量不支持。 提取只能用于单次抓取。
- 你的责任: 只提取你有权使用的数据。参见我们的 条款。
常见问题
如何以 JSON 形式从网站提取数据?
发送 extract,其中是字段名到 CSS 选择器的映射,例如 "title": "h1" 和 "price": ".price"。值会在 JSON 响应的 data 下返回。
autoparse 有什么作用?
它会返回页面本身已经声明的内容,无需选择器:JSON-LD、OpenGraph、Twitter Card、microdata、RDFa、head 元数据和内嵌的应用状态。
它能返回数字而不是文本吗?
可以。使用属性带有选择器的 JSON Schema。值会被转换为声明的类型,因此 "$1,234.56" 会变成 1234.56,并且结果会按 schema 检查。
如何得知网站何时更改了布局?
检查响应中的 empty_fields。它列出了选择器没有匹配到任何内容的字段,这通常是标记发生变化的第一个信号。
我可以用自然语言而不是选择器来描述字段吗?
暂时没有。基于模型提示词的提取即将推出。目前请使用选择器、JSON Schema 或 autoparse。