抓取 JavaScript 网站
发送一个需要 JavaScript 的 URL,即可得到干净的 Markdown 或 JSON 格式的页面。
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- 直连
- Cache-State
- 命中
- X-Credits-Charged
- 3
先用普通请求,只有当站点拦截时才升级到浏览器。被拦截的请求不收费。
在读取页面之前,先在真实浏览器中渲染 JavaScript。
普通请求带有真实浏览器的 TLS 和 HTTP/2 指纹。
直接连接或使用你自己的代理,无附加费用。
在请求之间保留 cookie 和存储,使登录状态得以延续。
读取页面之前,先点击、输入、滚动并运行 JavaScript。
跳过图片、字体和媒体,加快加载。
记录页面加载时发出的 API 调用。
默认开启 48 小时。重复请求更快,计费相同。
渲染后的页面,格式随你所需
看看页面内容如何变成 Markdown、JSON 或 HTML。这些示例展示的是输出,不是真实请求。


# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。
完整的响应:状态、URL、引擎和数据。示例页面。
页面信息、CSS 规则,或带选择器的 JSON Schema。示例页面。
在页面上运行的步骤,在完整浏览器渲染中执行。
工作原理
- 发送页面 URL 到
POST /v1/scrape,并附上js_render: true。 - 等待内容。 将
wait_for设为 CSS 选择器,例如.price。 - 获取渲染后的页面 按你选择的格式返回。下面的示例返回 Markdown。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --meta把 key 保存在 SPICRAWL_API_KEY 中。绝不要放进浏览器代码或你要提交的文件。
何时渲染 JavaScript
普通请求只下载 HTML,不运行脚本。如果结果是一个空壳或“Loading…”提示,该页面可能需要 JavaScript。设置 js_render: true,即可在读取前先在浏览器中运行它。
对于已经在 HTML 中的内容,请使用普通请求。浏览器操作、资源拦截和网络捕获也需要渲染。
等待正确的内容
| 选项 | 它做什么 |
|---|---|
wait_for | 在捕获前等待某个 CSS 选择器出现。 |
wait_for_timeout | 将等待上限设为 0 到 120,000 ms。需要 wait_for;0 表示使用默认值。 |
wait | 在加载后添加 0 到 30,000 ms 的固定延迟。可能时优先使用选择器。 |
block_resources | 选择要跳过的资源。默认会拦截图片和字体,操作和捕获除外。 |
response_format | 为页面内容选择 Markdown、JSON 或 HTML。 |
显式的资源列表会替换默认列表。使用 ["none"] 表示不拦截任何资源。当页面需要脚本来构建内容时,不要拦截脚本。
检查结果
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine 告诉你运行了哪个渲染层级(fetch、js 或 browser)。X-Target-Status 是站点的状态码,X-Credits-Charged 显示扣费。
如果 wait_for 始终没有匹配上,页面可能会以当时的状态返回,并附带 X-Warning: RENDER_DEGRADED。使用前请检查内容和警告。
渲染层级与费用
- 公测期间免费。 积分会显示每个请求的费用。
- JavaScript 渲染: 每个成功请求
js_render: true消耗 3 积分。 - 完整浏览器渲染: 费用为 8 积分。截图、PDF 和操作都会用到它,Spicrawl 会自动把请求路由到这里。如果某个部署无法提供常规层级,可能会改用更高一级,并返回
X-Warning: ENGINE_SUBSTITUTED;设置max_cost可拒绝更高的价格。 - 你不需要选择层级。 Spicrawl 会根据请求的需要选择层级,并按实际提供服务的层级计费。
- 失败费用为 0。 等待和资源拦截不额外收费。设置
max_cost可为请求设定上限。
须知
- 选择渲染或 auto 模式。
mode: "auto"不能与js_render同时使用。它从 fetch 开始,仅在上一步遇到质询时,才升级到 JavaScript 渲染,再升级到完整浏览器渲染。 - 浏览器参数需要浏览器。 发送
wait_for、操作或资源拦截而不带js_render会返回错误。 - 不支持爬取。 请发送你想要的 URL;Spicrawl 不会查找页面或跟随链接。
- 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的提取。
- 你的责任: 只获取你有权使用的页面。请阅读我们的 条款。
常见问题
如何抓取 JavaScript 网站?
将页面 URL 发送到 POST https://api.spicrawl.com/v1/scrape 并将 js_render 设为 true。在 Spicrawl 读取页面之前,浏览器会先运行脚本。用 response_format 选择 Markdown、JSON 或 HTML。
如何等待内容加载完成?
将 wait_for 设为 CSS 选择器,例如 .price。使用 wait_for_timeout 设置最长 120000 毫秒的超时。如果选择器永远匹配不到,页面可能会按原样返回,并带有 X-Warning: RENDER_DEGRADED。使用结果前请检查该警告。
JavaScript 渲染要多少钱?
Spicrawl 在公测期间免费。成功的 JavaScript 渲染消耗 3 积分;完整浏览器渲染消耗 8 积分。如果某个部署无法提供 JavaScript 渲染,js_render 可能由完整浏览器渲染提供,并按其价格计费。失败的请求消耗 0 积分。读取 X-Engine(fetch、js 或 browser)和 X-Credits-Charged,可确认运行了什么。
我可以把 auto 模式与 JavaScript 渲染一起使用吗?
不能。mode: auto 不能与 js_render 组合使用。auto 模式从普通请求开始,当结果不可用时,升级到 JavaScript 渲染,再升级到完整浏览器渲染。对于你确定需要 JavaScript 的页面,请改用 js_render: true。
它能爬取 JavaScript 网站吗?
不能。Spicrawl 不会查找 URL,也不会跟随链接。请发送你想读取的页面 URL。只抓取你有权使用的页面。