Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

捕获网页背后的 API 调用

许多页面从 API 加载数据。捕获这些调用,直接读取 JSON。

工作原理

  1. 渲染页面。 设置 js_render: true,因为截图只能在浏览器中进行。
  2. 选择调用。 将 network_capture 设为 urls 模式列表,例如 /api/search。
  3. 读取响应正文。 每个匹配的调用都会出现在 network 数组中,包含其状态、类型和正文。
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

把 key 保存在 SPICRAWL_API_KEY 中。

返回内容

已记录响应的节选。页面内容仅为示例。

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

何时使用

  • 页面通过 API 自行填充内容。 这些 JSON 通常比由它渲染出的标记更干净、更稳定。
  • 搜索、列表和信息流。 结果通常是一次可完整读取的 JSON 调用。
  • 否则, 请使用 结构化提取,配合 CSS 选择器或 JSON Schema。

须知

  • 需要 js_render。 它不会在 JavaScript 渲染的 3 积分之外再增加积分。失败的请求费用为 0。
  • 请保持尊重。 只获取你有权使用的数据,并遵守站点的条款。
  • 定价: 公测期间免费,每月 1,000 积分。

常见问题

网络捕获有什么作用?

它会记录页面加载时发出的网络调用,并返回你所要求的那些,包括响应正文。这样你就能读取页面自己使用的 JSON,而不是解析由它绘制出来的 HTML。

如何选择要捕获的调用?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

需要 JavaScript 渲染吗?

可以。捕获仅在页面于浏览器中渲染时才有效,因此请将 js_render 设为 true。

网络捕获要额外收费吗?

不会。在你已经为 JavaScript 渲染支付的 3 积分之外,它不再增加积分。失败的请求费用为 0。

我应该用它来代替抓取 HTML 吗?

当页面从 JSON API 填充内容时,读取该 JSON 通常比解析标记更干净、更稳定。请遵守站点的条款,只抓取你被允许使用的数据。