浏览器操作先点击、输入和滚动
抓取前先点击、输入和滚动
打开菜单、填写表单、加载更多,然后读取页面。
- 1点击打开菜单或点击“加载更多”
- 2输入填写表单或搜索框
- 3滚动加载信息流的其余部分
- 4读取以 Markdown 获取页面
发送请求
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'工作原理
- 开启渲染 设置
js_render: true。操作需要浏览器。 - 列出你的步骤 放在
actions中。它们会在页面加载后按顺序运行。 - 获取页面 按你选择的格式,返回最后一步之后页面的样子。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'可用的步骤
| 步骤 | 它做什么 |
|---|---|
wait_for | 等待某个元素,或等待一段设定的时间 |
click | 点击按钮或链接 |
fill | 在输入框中输入内容。添加 secret: true 可在日志中隐藏该值 |
select | 在列表中选择一个选项 |
scroll | 滚动页面,适用于边滚动边加载更多的信息流 |
evaluate | 在页面上运行你自己的 JavaScript |
screenshot | 保存该步骤时页面的图像 |
须知
- 最多 50 个步骤 每个请求。整个列表会在花费任何积分之前先检查。
- 仅限浏览器。 没有
js_render,请求会被拒绝并返回 400。 - 批量不支持。 操作只能用于单次抓取。
- 登录: 只登录你自己拥有或有权使用的账号。要保持登录状态,请使用 session。
- 定价: 公测期间免费。操作在完整浏览器渲染中运行,费用为 8 积分。
常见问题
浏览器操作能做什么?
等待元素、等待导航、点击、填写输入框、选择选项、滚动、运行 JavaScript 和截图。这些步骤在页面加载后按顺序运行。
一个请求最多可以有多少个步骤?
最多 50 个。整个列表会在请求运行前先经过检查,因此错误会尽早失败且不收费。
浏览器操作需要 JavaScript 渲染吗?
可以。操作在浏览器中运行,因此请将 js_render 设为 true。否则,请求会被拒绝并返回 400。
我可以安全地填写密码吗?
可以。将 fill 步骤标记为 secret 设为 true,该值就会在日志中隐藏。只登录你自己拥有或有权使用的账号。
执行完这些步骤后我可以获取截图吗?
可以。添加一个 screenshot 步骤。之后响应会变成 JSON 信封,图片位于 screenshots 下。