Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容
浏览器操作先点击、输入和滚动

抓取前先点击、输入和滚动

打开菜单、填写表单、加载更多,然后读取页面。

  1. 1点击打开菜单或点击“加载更多”
  2. 2输入填写表单或搜索框
  3. 3滚动加载信息流的其余部分
  4. 4读取以 Markdown 获取页面
发送请求
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com",    "js_render": true,    "response_format": "markdown",    "actions": [      { "click": "#accept" },      { "fill": { "selector": "#search", "value": "shoes" } },      { "scroll": { "y": 800 } }    ]  }'

工作原理

  1. 开启渲染 设置 js_render: true。操作需要浏览器。
  2. 列出你的步骤 放在 actions 中。它们会在页面加载后按顺序运行。
  3. 获取页面 按你选择的格式,返回最后一步之后页面的样子。
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products?category=lamps",
    "js_render": true,
    "response_format": "markdown",
    "actions": [
      {"click": "button.load-more"},
      {"wait_for": ".product-card:nth-child(40)"}
    ]
  }'

可用的步骤

步骤它做什么
wait_for等待某个元素,或等待一段设定的时间
click点击按钮或链接
fill在输入框中输入内容。添加 secret: true 可在日志中隐藏该值
select在列表中选择一个选项
scroll滚动页面,适用于边滚动边加载更多的信息流
evaluate在页面上运行你自己的 JavaScript
screenshot保存该步骤时页面的图像

须知

  • 最多 50 个步骤 每个请求。整个列表会在花费任何积分之前先检查。
  • 仅限浏览器。 没有 js_render,请求会被拒绝并返回 400。
  • 批量不支持。 操作只能用于单次抓取。
  • 登录: 只登录你自己拥有或有权使用的账号。要保持登录状态,请使用 session。
  • 定价: 公测期间免费。操作在完整浏览器渲染中运行,费用为 8 积分。

常见问题

浏览器操作能做什么?

等待元素、等待导航、点击、填写输入框、选择选项、滚动、运行 JavaScript 和截图。这些步骤在页面加载后按顺序运行。

一个请求最多可以有多少个步骤?

最多 50 个。整个列表会在请求运行前先经过检查,因此错误会尽早失败且不收费。

浏览器操作需要 JavaScript 渲染吗?

可以。操作在浏览器中运行,因此请将 js_render 设为 true。否则,请求会被拒绝并返回 400。

我可以安全地填写密码吗?

可以。将 fill 步骤标记为 secret 设为 true,该值就会在日志中隐藏。只登录你自己拥有或有权使用的账号。

执行完这些步骤后我可以获取截图吗?

可以。添加一个 screenshot 步骤。之后响应会变成 JSON 信封,图片位于 screenshots 下。