Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

常见问题

关于 Spicrawl 的快速解答,从定价到代理。

所有问题

通用

Spicrawl 是什么?

Spicrawl 是一个网页抓取 API,通过 API、CLI 或 MCP 服务器,把任意 URL 变成适合你的代码或 AI 智能体的干净 Markdown、HTML、PDF 或结构化 JSON。

Spicrawl 免费吗?

是。公测期间免费,每月 1,000 积分,无需信用卡。

Spicrawl 是什么意思?

这个名字由“spider”(蜘蛛)和“crawl”(爬行)组合而成,这就是我们的徽标是一只蜘蛛的原因。拼写为 S-P-I-C-R-A-W-L。Spicrawl 是一个网页抓取 API:你发送想要的 URL,它返回干净的数据。

为什么不使用我的 AI 助手内置的网页抓取?

内置的抓取工具适合快速查看,但它们常常返回原始或被截断的文本,也可能不运行 JavaScript。Spicrawl 返回干净的 Markdown 或 JSON,在页面需要时渲染 JavaScript,保持登录会话,执行点击和表单输入,并可在一个任务中批量处理最多 10,000 个 URL。你的智能体得到的是页面的内容,而不是它的菜单和脚本。

网页抓取合法吗?

这取决于你收集什么、你身在何处以及如何使用。抓取公开可用的页面很常见,但你有责任遵守各网站的条款、版权以及 GDPR 等数据保护法律,尤其是涉及个人数据时。如果不确定,请就你的具体情况咨询律师。

抓取与数据

我可以抓取 JavaScript 网站吗?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl 能像 Cloudflare 那样绕过机器人防护吗?

通常可以,但不总是。请使用真实的浏览器指纹、浏览器渲染或你自己的代理。机器人验证挑战会返回明确的错误,且不收费。公测中不提供隐身模式和托管代理。

如何将网站转为适合 LLM 的 Markdown?

发送 URL,并将 response_format 设为 markdown。Spicrawl 会把页面的主要内容作为 Markdown 返回,去掉菜单、页脚和旁注,通常只占原始 HTML token 的一小部分。它也能解析 PDF,且 Markdown 转换不额外收费。

我可以把结构化数据提取为 JSON 吗?

可以,有三种方式:autoparse 读取页面自身的元数据,选择器映射提取指定字段,带选择器的 JSON Schema 返回带类型、经过验证的输出。三种方式在引擎价格之外都免费。使用模型从自然语言描述中提取即将推出。

我可以一次抓取多个 URL 吗?

可以。一个批量任务每次调用最多接受 10,000 个 URL,并行运行。你检查其进度,然后以 JSON Lines 格式下载结果。结果保留 72 小时。

我可以保持登录会话吗?

可以。创建一个会话,并在每次请求中传入其 id,以复用同样的 cookie、浏览器存储和出口 IP,使登录状态在多个页面之间延续。一个组织同时最多可持有 100 个活动会话。

我可以自动执行点击和表单操作吗?

可以。浏览器操作可以在页面被捕获之前,在渲染后的页面上点击、输入、选择、滚动、等待并运行 JavaScript,每次请求最多 50 个步骤。

我可以使用代理吗?

可以。可自带代理,无代理附加费用。托管代理和内置的国家定位即将推出,公测期间不可用。

AI 智能体和开发者

我可以把 Spicrawl 与 AI 智能体一起使用吗?

可以。托管的 MCP 服务器让 Claude Code、Cursor 和 Codex 抓取页面、运行批量、复用会话并执行浏览器操作。运行 spicrawl init 即可设置。

我可以使用哪些编程语言?

任何能发送 HTTP 请求的语言。文档包含 cURL、Python 和 TypeScript 示例,npm 上还有适用于 Node.js 18 及更高版本的 JavaScript 和 TypeScript SDK (@spicrawl/sdk)。spicrawl CLI 可在任何 shell 或脚本中使用。

有 CLI 或控制台吗?

两者都有。CLI 涵盖抓取、批量、会话、日志和用量,控制台则提供 playground、活动日志、用量和 key 管理。

积分与限制

失败的请求会消耗积分吗?

不会。只有成功的请求才消耗积分:普通 1,JavaScript 渲染 3,完整浏览器 8。错误、机器人验证挑战和超时免费。

有速率限制吗?

有。每个 API key 都有请求速率,每个组织有同时运行的请求数限制,另有每月积分额度。每个响应都会在请求头中报告你当前的限制,被限制拒绝的请求不收费。

还是没解决?阅读文档,或发邮件到 support@spicrawl.com。