Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

从任意网站提取结构化数据

选择你需要的字段,以干净的 JSON 返回。

example.com/product/1
认识 Model X —— 每一次点击都精准
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00有货★ 4.6 (1,284)
低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。
规格值
连接2.4 GHz,BT5电池70 天
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery   | 70 days      |
读取页面
原始 HTML12,480 个 token
Markdown0 个 token

去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。

工作原理

  1. 为你的字段命名 并为每个字段指定一个 CSS 选择器。
  2. 发送它们 发送到 extract,并附上页面 URL。
  3. 读取 JSON。 你的字段在 data 下。
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products/42",
    "extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
  }'
json
{
  "status": 200,
  "data": {
    "title": "Walnut Desk",
    "price": "$349.00"
  },
  "empty_fields": ["next_page"]
}

empty_fields 会列出没有匹配到内容的字段。这往往是站点改版的第一个信号。

获取数据的三种方式

方式你发送的内容你得到什么
autoparse"autoparse": true页面自身的 JSON-LD、OpenGraph、microdata、元数据和应用状态
选择器映射字段名和 CSS 选择器正是这些字段,以文本形式
JSON Schema字段带有选择器的 schema带类型、经过检查的值,因此 "$1,234.56" 会变成 1234.56

须知

  • 无额外积分 提取不额外收费。你只需为请求付费:普通 1 积分,使用 JavaScript 则为 3。
  • 即将推出: 根据自然语言提示词进行提取。目前请使用选择器、schema 或 autoparse。
  • 批量不支持。 提取只能用于单次抓取。
  • 你的责任: 只提取你有权使用的数据。参见我们的 条款。

常见问题

如何以 JSON 形式从网站提取数据?

发送 extract,其中是字段名到 CSS 选择器的映射,例如 "title": "h1" 和 "price": ".price"。值会在 JSON 响应的 data 下返回。

autoparse 有什么作用?

它会返回页面本身已经声明的内容,无需选择器:JSON-LD、OpenGraph、Twitter Card、microdata、RDFa、head 元数据和内嵌的应用状态。

它能返回数字而不是文本吗?

可以。使用属性带有选择器的 JSON Schema。值会被转换为声明的类型,因此 "$1,234.56" 会变成 1234.56,并且结果会按 schema 检查。

如何得知网站何时更改了布局?

检查响应中的 empty_fields。它列出了选择器没有匹配到任何内容的字段,这通常是标记发生变化的第一个信号。

我可以用自然语言而不是选择器来描述字段吗?

暂时没有。基于模型提示词的提取即将推出。目前请使用选择器、JSON Schema 或 autoparse。