捕获网页背后的 API 调用
许多页面从 API 加载数据。捕获这些调用,直接读取 JSON。
工作原理
- 渲染页面。 设置
js_render: true,因为截图只能在浏览器中进行。 - 选择调用。 将
network_capture设为urls模式列表,例如/api/search。 - 读取响应正文。 每个匹配的调用都会出现在
network数组中,包含其状态、类型和正文。
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'把 key 保存在 SPICRAWL_API_KEY 中。
返回内容
已记录响应的节选。页面内容仅为示例。
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}何时使用
- 页面通过 API 自行填充内容。 这些 JSON 通常比由它渲染出的标记更干净、更稳定。
- 搜索、列表和信息流。 结果通常是一次可完整读取的 JSON 调用。
- 否则, 请使用 结构化提取,配合 CSS 选择器或 JSON Schema。
须知
- 需要
js_render。 它不会在 JavaScript 渲染的 3 积分之外再增加积分。失败的请求费用为 0。 - 请保持尊重。 只获取你有权使用的数据,并遵守站点的条款。
- 定价: 公测期间免费,每月 1,000 积分。
常见问题
网络捕获有什么作用?
它会记录页面加载时发出的网络调用,并返回你所要求的那些,包括响应正文。这样你就能读取页面自己使用的 JSON,而不是解析由它绘制出来的 HTML。
如何选择要捕获的调用?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
需要 JavaScript 渲染吗?
可以。捕获仅在页面于浏览器中渲染时才有效,因此请将 js_render 设为 true。
网络捕获要额外收费吗?
不会。在你已经为 JavaScript 渲染支付的 3 积分之外,它不再增加积分。失败的请求费用为 0。
我应该用它来代替抓取 HTML 吗?
当页面从 JSON API 填充内容时,读取该 JSON 通常比解析标记更干净、更稳定。请遵守站点的条款,只抓取你被允许使用的数据。