Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

抓取需要登录的网站

登录一次,保持登录。用一个 API 读取你的账号页面。

Spicrawl 控制面板
自动升级
浏览器
指纹
代理
托管代理:即将推出
会话
操作
拦截资源
网络捕获
缓存
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
示例响应头
X-Target-Status
200
X-Engine
js
X-Proxy-Source
直连
Cache-State
绕过
X-Credits-Charged
3
会话

在请求之间保留 cookie 和存储,使登录状态得以延续。

仅为示例,不是真实请求。公测免费。

在请求之间保持登录

一个会话在你读取的各页面之间共享同一个 cookie jar。此示例展示的是流程,不是真实请求。

创建会话
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

工作原理

  1. 创建会话。 保存响应中返回的 ID。
  2. 用浏览器操作登录。 在登录请求中带上会话 ID。
  3. 读取账号页面。 复用同一个 ID,一次只发一个请求。
  4. 释放会话 用完后。

你的 API key 需要 sessions 权限范围来创建和管理会话,还需要 scrape 来使用会话。请把它保存在 SPICRAWL_API_KEY 中。

1. 创建会话

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

响应包含 id、engine、expires_at 和 hard_expires_at。其中绝不包含 cookie。下面的示例使用了一个示例 ID,请替换为你自己的。

2. 使用操作登录

用你的 bearer token 把这个请求体发送到 POST /v1/scrape。请修改 URL 和选择器以匹配该站点。请使用你自己拥有或有权使用的账号的凭据。

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

请在运行时安全地替换邮箱和密码占位符。密码操作使用 secret: true。保留 js_render: true:仅有会话 ID 不允许使用仅限浏览器的字段。

3. 使用同一登录状态读取页面

登录成功后,在每次抓取时传入 session_id。cookie 和存储会延续下去。Python 和 TypeScript 会复用创建步骤中的变量。

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

会话请求始终绕过结果缓存。检查 Cache-State: bypass;页面会重新获取。

4. 释放会话

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

释放会删除 cookie 和存储,不会保留登录状态。之后对该 ID 的请求会返回 410 ERR::SESSION::RELEASED。

会话选项

选项须知
engine在会话的整个生命周期内固定不变。一次抓取无法选择其他引擎。如果你省略此项,请查看创建响应。
ttl_seconds默认 1,800 秒;最少 30。每次成功抓取都会延长存续时间,但不会超过 hard_expires_at。
session_context恢复从活动会话中保存的 cookie 和存储。保存的上下文限制为 1 MiB。

要在释放之前保存登录状态,请读取 GET /v1/sessions/{id}/context。请妥善保管该状态,并在创建新会话时将其作为 session_context 传入。

费用

公测期间免费。创建、读取和释放会话不收费。每次抓取按会话的渲染层级计费:fetch 1 积分,js 3,browser 8。失败(包括会话繁忙或已过期)费用为 0。

须知

  • 每个会话一次一个请求。 第二次渲染会返回 409 ERR::SESSION::BUSY,并附带 Retry-After。并行工作时,每个 worker 使用一个会话。
  • 过期的会话需要重新登录。 未知、已删除或格式错误的 ID 会返回错误;没有对应会话,请求绝不会运行。
  • 自带代理: 对于更换 IP 就会触发登录质询的站点,请使用固定出口。托管的会话出口即将推出。
  • 不支持爬取。 URL 由你提供。托管代理、隐身、远程浏览器和基于提示词的提取即将推出。
  • 你的责任: 只使用你有权访问的账号和页面。请阅读我们的 条款。

常见问题

如何抓取需要登录的网站?

创建一个会话,用浏览器操作登录,然后在每次抓取时将其 ID 作为 session_id 发送。操作和其他仅限浏览器的字段请使用 js_render: true。请只使用你有权访问的账号和页面。

会话会保留什么?

会话会在多次请求之间保留 cookie 和浏览器存储。其引擎在会话存续期间固定不变。常规的会话响应绝不包含 cookie;上下文端点会在会话有效期间返回已保存的状态。

我可以在同一个会话上同时发送多个请求吗?

不能。每个会话一次只发送一个请求。渲染进行期间发送第二个请求,会返回 409 ERR::SESSION::BUSY 并带有 Retry-After。如需并行工作,请为每个 worker 创建一个会话。

释放会话时会发生什么?

释放会删除其 cookie 和存储。它不会为以后保留登录状态。使用已释放 ID 的抓取会返回 410 ERR::SESSION::RELEASED。如果需要在新会话中恢复,请在释放前保存上下文。

会话要多少钱?

创建、读取和释放会话不收费。每次抓取按会话所用的渲染层级计费:fetch 为 1 积分,js 为 3,browser 为 8。失败的请求为 0。Spicrawl 公测期间免费。