常见问题
关于 Spicrawl 的快速解答,从定价到代理。
所有问题
通用
Spicrawl 是什么?
Spicrawl 是一个网页抓取 API,通过 API、CLI 或 MCP 服务器,把任意 URL 变成适合你的代码或 AI 智能体的干净 Markdown、HTML、PDF 或结构化 JSON。
Spicrawl 免费吗?
是。公测期间免费,每月 1,000 积分,无需信用卡。
Spicrawl 是什么意思?
这个名字由“spider”(蜘蛛)和“crawl”(爬行)组合而成,这就是我们的徽标是一只蜘蛛的原因。拼写为 S-P-I-C-R-A-W-L。Spicrawl 是一个网页抓取 API:你发送想要的 URL,它返回干净的数据。
为什么不使用我的 AI 助手内置的网页抓取?
内置的抓取工具适合快速查看,但它们常常返回原始或被截断的文本,也可能不运行 JavaScript。Spicrawl 返回干净的 Markdown 或 JSON,在页面需要时渲染 JavaScript,保持登录会话,执行点击和表单输入,并可在一个任务中批量处理最多 10,000 个 URL。你的智能体得到的是页面的内容,而不是它的菜单和脚本。
网页抓取合法吗?
这取决于你收集什么、你身在何处以及如何使用。抓取公开可用的页面很常见,但你有责任遵守各网站的条款、版权以及 GDPR 等数据保护法律,尤其是涉及个人数据时。如果不确定,请就你的具体情况咨询律师。
抓取与数据
我可以抓取 JavaScript 网站吗?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl 能像 Cloudflare 那样绕过机器人防护吗?
通常可以,但不总是。请使用真实的浏览器指纹、浏览器渲染或你自己的代理。机器人验证挑战会返回明确的错误,且不收费。公测中不提供隐身模式和托管代理。
如何将网站转为适合 LLM 的 Markdown?
发送 URL,并将 response_format 设为 markdown。Spicrawl 会把页面的主要内容作为 Markdown 返回,去掉菜单、页脚和旁注,通常只占原始 HTML token 的一小部分。它也能解析 PDF,且 Markdown 转换不额外收费。
我可以把结构化数据提取为 JSON 吗?
可以,有三种方式:autoparse 读取页面自身的元数据,选择器映射提取指定字段,带选择器的 JSON Schema 返回带类型、经过验证的输出。三种方式在引擎价格之外都免费。使用模型从自然语言描述中提取即将推出。
我可以一次抓取多个 URL 吗?
可以。一个批量任务每次调用最多接受 10,000 个 URL,并行运行。你检查其进度,然后以 JSON Lines 格式下载结果。结果保留 72 小时。
我可以保持登录会话吗?
可以。创建一个会话,并在每次请求中传入其 id,以复用同样的 cookie、浏览器存储和出口 IP,使登录状态在多个页面之间延续。一个组织同时最多可持有 100 个活动会话。
我可以自动执行点击和表单操作吗?
可以。浏览器操作可以在页面被捕获之前,在渲染后的页面上点击、输入、选择、滚动、等待并运行 JavaScript,每次请求最多 50 个步骤。
我可以使用代理吗?
可以。可自带代理,无代理附加费用。托管代理和内置的国家定位即将推出,公测期间不可用。
AI 智能体和开发者
我可以把 Spicrawl 与 AI 智能体一起使用吗?
可以。托管的 MCP 服务器让 Claude Code、Cursor 和 Codex 抓取页面、运行批量、复用会话并执行浏览器操作。运行 spicrawl init 即可设置。
我可以使用哪些编程语言?
任何能发送 HTTP 请求的语言。文档包含 cURL、Python 和 TypeScript 示例,npm 上还有适用于 Node.js 18 及更高版本的 JavaScript 和 TypeScript SDK (@spicrawl/sdk)。spicrawl CLI 可在任何 shell 或脚本中使用。
有 CLI 或控制台吗?
两者都有。CLI 涵盖抓取、批量、会话、日志和用量,控制台则提供 playground、活动日志、用量和 key 管理。
积分与限制
失败的请求会消耗积分吗?
不会。只有成功的请求才消耗积分:普通 1,JavaScript 渲染 3,完整浏览器 8。错误、机器人验证挑战和超时免费。
有速率限制吗?
有。每个 API key 都有请求速率,每个组织有同时运行的请求数限制,另有每月积分额度。每个响应都会在请求头中报告你当前的限制,被限制拒绝的请求不收费。
还是没解决?阅读文档,或发邮件到 support@spicrawl.com。