抓取需要登录的网站
登录一次,保持登录。用一个 API 读取你的账号页面。
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- 直连
- Cache-State
- 绕过
- X-Credits-Charged
- 3
先用普通请求,只有当站点拦截时才升级到浏览器。被拦截的请求不收费。
在读取页面之前,先在真实浏览器中渲染 JavaScript。
普通请求带有真实浏览器的 TLS 和 HTTP/2 指纹。
直接连接或使用你自己的代理,无附加费用。
在请求之间保留 cookie 和存储,使登录状态得以延续。
读取页面之前,先点击、输入、滚动并运行 JavaScript。
跳过图片、字体和媒体,加快加载。
记录页面加载时发出的 API 调用。
默认开启 48 小时。重复请求更快,计费相同。
在请求之间保持登录
一个会话在你读取的各页面之间共享同一个 cookie jar。此示例展示的是流程,不是真实请求。
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );工作原理
- 创建会话。 保存响应中返回的 ID。
- 用浏览器操作登录。 在登录请求中带上会话 ID。
- 读取账号页面。 复用同一个 ID,一次只发一个请求。
- 释放会话 用完后。
你的 API key 需要 sessions 权限范围来创建和管理会话,还需要 scrape 来使用会话。请把它保存在 SPICRAWL_API_KEY 中。
1. 创建会话
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200响应包含 id、engine、expires_at 和 hard_expires_at。其中绝不包含 cookie。下面的示例使用了一个示例 ID,请替换为你自己的。
2. 使用操作登录
用你的 bearer token 把这个请求体发送到 POST /v1/scrape。请修改 URL 和选择器以匹配该站点。请使用你自己拥有或有权使用的账号的凭据。
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}请在运行时安全地替换邮箱和密码占位符。密码操作使用 secret: true。保留 js_render: true:仅有会话 ID 不允许使用仅限浏览器的字段。
3. 使用同一登录状态读取页面
登录成功后,在每次抓取时传入 session_id。cookie 和存储会延续下去。Python 和 TypeScript 会复用创建步骤中的变量。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdown会话请求始终绕过结果缓存。检查 Cache-State: bypass;页面会重新获取。
4. 释放会话
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"释放会删除 cookie 和存储,不会保留登录状态。之后对该 ID 的请求会返回 410 ERR::SESSION::RELEASED。
会话选项
| 选项 | 须知 |
|---|---|
engine | 在会话的整个生命周期内固定不变。一次抓取无法选择其他引擎。如果你省略此项,请查看创建响应。 |
ttl_seconds | 默认 1,800 秒;最少 30。每次成功抓取都会延长存续时间,但不会超过 hard_expires_at。 |
session_context | 恢复从活动会话中保存的 cookie 和存储。保存的上下文限制为 1 MiB。 |
要在释放之前保存登录状态,请读取 GET /v1/sessions/{id}/context。请妥善保管该状态,并在创建新会话时将其作为 session_context 传入。
费用
公测期间免费。创建、读取和释放会话不收费。每次抓取按会话的渲染层级计费:fetch 1 积分,js 3,browser 8。失败(包括会话繁忙或已过期)费用为 0。
须知
- 每个会话一次一个请求。 第二次渲染会返回
409 ERR::SESSION::BUSY,并附带Retry-After。并行工作时,每个 worker 使用一个会话。 - 过期的会话需要重新登录。 未知、已删除或格式错误的 ID 会返回错误;没有对应会话,请求绝不会运行。
- 自带代理: 对于更换 IP 就会触发登录质询的站点,请使用固定出口。托管的会话出口即将推出。
- 不支持爬取。 URL 由你提供。托管代理、隐身、远程浏览器和基于提示词的提取即将推出。
- 你的责任: 只使用你有权访问的账号和页面。请阅读我们的 条款。
常见问题
如何抓取需要登录的网站?
创建一个会话,用浏览器操作登录,然后在每次抓取时将其 ID 作为 session_id 发送。操作和其他仅限浏览器的字段请使用 js_render: true。请只使用你有权访问的账号和页面。
会话会保留什么?
会话会在多次请求之间保留 cookie 和浏览器存储。其引擎在会话存续期间固定不变。常规的会话响应绝不包含 cookie;上下文端点会在会话有效期间返回已保存的状态。
我可以在同一个会话上同时发送多个请求吗?
不能。每个会话一次只发送一个请求。渲染进行期间发送第二个请求,会返回 409 ERR::SESSION::BUSY 并带有 Retry-After。如需并行工作,请为每个 worker 创建一个会话。
释放会话时会发生什么?
释放会删除其 cookie 和存储。它不会为以后保留登录状态。使用已释放 ID 的抓取会返回 410 ERR::SESSION::RELEASED。如果需要在新会话中恢复,请在释放前保存上下文。
会话要多少钱?
创建、读取和释放会话不收费。每次抓取按会话所用的渲染层级计费:fetch 为 1 积分,js 为 3,browser 为 8。失败的请求为 0。Spicrawl 公测期间免费。