Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

抓取 JavaScript 网站

发送一个需要 JavaScript 的 URL,即可得到干净的 Markdown 或 JSON 格式的页面。

Spicrawl 控制面板
自动升级
浏览器
指纹
代理
托管代理:即将推出
会话
操作
拦截资源
网络捕获
缓存
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
示例响应头
X-Target-Status
200
X-Engine
js
X-Proxy-Source
直连
Cache-State
命中
X-Credits-Charged
3
浏览器

在读取页面之前,先在真实浏览器中渲染 JavaScript。

仅为示例,不是真实请求。公测免费。

渲染后的页面,格式随你所需

看看页面内容如何变成 Markdown、JSON 或 HTML。这些示例展示的是输出,不是真实请求。

example.com/product/1
认识 Model X —— 每一次点击都精准
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00有货★ 4.6 (1,284)
低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。
规格值
连接2.4 GHz,BT5电池70 天
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery   | 70 days      |
读取页面
原始 HTML12,480 个 token
Markdown0 个 token

去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。

工作原理

  1. 发送页面 URL 到 POST /v1/scrape,并附上 js_render: true。
  2. 等待内容。 将 wait_for 设为 CSS 选择器,例如 .price。
  3. 获取渲染后的页面 按你选择的格式返回。下面的示例返回 Markdown。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

把 key 保存在 SPICRAWL_API_KEY 中。绝不要放进浏览器代码或你要提交的文件。

何时渲染 JavaScript

普通请求只下载 HTML,不运行脚本。如果结果是一个空壳或“Loading…”提示,该页面可能需要 JavaScript。设置 js_render: true,即可在读取前先在浏览器中运行它。

对于已经在 HTML 中的内容,请使用普通请求。浏览器操作、资源拦截和网络捕获也需要渲染。

等待正确的内容

选项它做什么
wait_for在捕获前等待某个 CSS 选择器出现。
wait_for_timeout将等待上限设为 0 到 120,000 ms。需要 wait_for;0 表示使用默认值。
wait在加载后添加 0 到 30,000 ms 的固定延迟。可能时优先使用选择器。
block_resources选择要跳过的资源。默认会拦截图片和字体,操作和捕获除外。
response_format为页面内容选择 Markdown、JSON 或 HTML。

显式的资源列表会替换默认列表。使用 ["none"] 表示不拦截任何资源。当页面需要脚本来构建内容时,不要拦截脚本。

检查结果

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine 告诉你运行了哪个渲染层级(fetch、js 或 browser)。X-Target-Status 是站点的状态码,X-Credits-Charged 显示扣费。

如果 wait_for 始终没有匹配上,页面可能会以当时的状态返回,并附带 X-Warning: RENDER_DEGRADED。使用前请检查内容和警告。

渲染层级与费用

  • 公测期间免费。 积分会显示每个请求的费用。
  • JavaScript 渲染: 每个成功请求 js_render: true 消耗 3 积分。
  • 完整浏览器渲染: 费用为 8 积分。截图、PDF 和操作都会用到它,Spicrawl 会自动把请求路由到这里。如果某个部署无法提供常规层级,可能会改用更高一级,并返回 X-Warning: ENGINE_SUBSTITUTED;设置 max_cost 可拒绝更高的价格。
  • 你不需要选择层级。 Spicrawl 会根据请求的需要选择层级,并按实际提供服务的层级计费。
  • 失败费用为 0。 等待和资源拦截不额外收费。设置 max_cost 可为请求设定上限。

须知

  • 选择渲染或 auto 模式。 mode: "auto" 不能与 js_render 同时使用。它从 fetch 开始,仅在上一步遇到质询时,才升级到 JavaScript 渲染,再升级到完整浏览器渲染。
  • 浏览器参数需要浏览器。 发送 wait_for、操作或资源拦截而不带 js_render 会返回错误。
  • 不支持爬取。 请发送你想要的 URL;Spicrawl 不会查找页面或跟随链接。
  • 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的提取。
  • 你的责任: 只获取你有权使用的页面。请阅读我们的 条款。

常见问题

如何抓取 JavaScript 网站?

将页面 URL 发送到 POST https://api.spicrawl.com/v1/scrape 并将 js_render 设为 true。在 Spicrawl 读取页面之前,浏览器会先运行脚本。用 response_format 选择 Markdown、JSON 或 HTML。

如何等待内容加载完成?

将 wait_for 设为 CSS 选择器,例如 .price。使用 wait_for_timeout 设置最长 120000 毫秒的超时。如果选择器永远匹配不到,页面可能会按原样返回,并带有 X-Warning: RENDER_DEGRADED。使用结果前请检查该警告。

JavaScript 渲染要多少钱?

Spicrawl 在公测期间免费。成功的 JavaScript 渲染消耗 3 积分;完整浏览器渲染消耗 8 积分。如果某个部署无法提供 JavaScript 渲染,js_render 可能由完整浏览器渲染提供,并按其价格计费。失败的请求消耗 0 积分。读取 X-Engine(fetch、js 或 browser)和 X-Credits-Charged,可确认运行了什么。

我可以把 auto 模式与 JavaScript 渲染一起使用吗?

不能。mode: auto 不能与 js_render 组合使用。auto 模式从普通请求开始,当结果不可用时,升级到 JavaScript 渲染,再升级到完整浏览器渲染。对于你确定需要 JavaScript 的页面,请改用 js_render: true。

它能爬取 JavaScript 网站吗?

不能。Spicrawl 不会查找 URL,也不会跟随链接。请发送你想读取的页面 URL。只抓取你有权使用的页面。