Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

Spicrawl 与 Crawl4AI:是托管 API,还是开源爬虫?

想要无需运行任何东西的托管 API 和 JS/TS SDK,请选择 Spicrawl。想要开源、自托管、整站爬取和隐身,请选择 Crawl4AI。

Crawl4AI 是最受欢迎的面向 LLM 的开源爬虫:一个遵循 Apache-2.0 协议的免费 Python 库,在你自己的机器上运行。它现在也有一个付费云服务,通过 API key 运行同一引擎。Spicrawl 是一个托管的抓取 API:发送一个 URL,返回 Markdown 或 JSON,无需安装任何东西。下面是一份公正的并排对比,包括 Crawl4AI 更合适的场景。

开源

Spicrawl否,仅托管
Crawl4AI更强的一方: 是,Apache-2.0

爬取整个网站

Spicrawl否
Crawl4AI更强的一方: 是,BFS/DFS

缓存的结果

Spicrawl全价
Crawl4AI更强的一方: 半价(云端)

关于 Crawl4AI 的信息,已于 2026年10月1日对照其官网和文档核对。查看来源。

你应该选择哪一个?

如果你符合以下情况,请选择 Spicrawl

  • 想要无需安装或运行任何东西的托管 API
  • 想让被拦截的页面(包括 403)不收费
  • 使用 JavaScript 或 TypeScript 工作
  • 想要免费公测、无需信用卡

如果你符合以下情况,请选择 Crawl4AI

  • 想要可以自己运行和修改的开源方案
  • 需要爬取整站或跟随链接
  • 现在就需要隐身模式或托管代理
  • 想用你选择的模型进行 LLM 提取

Spicrawl 与 Crawl4AI 概览

表示该行中更强的一方。没有标记表示两者持平,或取决于你的需求。

它是什么Spicrawl托管的抓取 API一个网页抓取 API。你发送一个 URL,即可得到 Markdown、HTML、文本、PDF 或 JSON 格式的页面。Crawl4AIPython 库 + 云 API一个在你本机驱动浏览器的开源 Python 库,另有 Crawl4AI Cloud,一个运行同一引擎的托管 API。
今日价格Spicrawl公测期间免费公测期间免费,无需信用卡。公测结束后的价格尚未公布。Crawl4AI库免费;云端按积分该库免费。云端赠送 $10 的起步额度,无需绑卡,另有每月 $5,之后是 $10、$25 或 $100 的积分包。这是上线定价,可能会变化。
你自己运行的部分Spicrawl无无需任何操作。Spicrawl 是托管服务:浏览器、扩缩容和缓存都在其一侧运行。Crawl4AI浏览器,云端除外使用该库时,你需要自己安装并运行浏览器、代理和服务器,或其 Docker 镜像。云端则免去了这些:无需安装浏览器,也无需购买代理。
请求如何计费Spicrawl1、3 或 8 积分每次成功请求,按实际运行的渲染层级:普通请求 1 积分,JavaScript 渲染 3,完整浏览器渲染 8。Crawl4AI云端:0.2 到 4 积分该库没有按请求收费。在云端,一积分为 $0.001:一个页面为 0.2 积分,真实浏览器 2,难抓取的站点 4。LLM 提取会增加 token 费用。
被拦截和失败的请求Spicrawl免费,包括 403错误、机器人验证挑战和超时费用为 0。返回 403 等状态的页面费用同样为 0。Crawl4AI云端:不收费在云端,被拦截的页面、没有响应的站点、5xx,以及它自己拒绝的请求都不收费。
缓存的结果Spicrawl按正常价格计费按存入该缓存的那次抓取的价格计费。缓存默认开启,结果最多保留 48 小时。它节省的是时间,而不是积分。Crawl4AI更强的一方: 云端:半价在云端,来自其归档的结果按正常价格的一半计费。库自身的缓存免费,但在你的机器上运行。
输出格式SpicrawlMarkdown、HTML、JSON、PDFMarkdown、HTML、文本、PDF、JSON 和截图。Crawl4AIMarkdown、HTML、PDF +更多原始和过滤(“fit”)后的 Markdown、HTML、JSON、截图和 PDF,如有需要还可将链接转为编号引用。
结构化数据Spicrawl选择器 + schema 免费页面元数据、CSS 选择器映射和 JSON Schema,无额外费用。基于模型提示词的提取即将推出。Crawl4AI更强的一方: CSS/XPath + LLM 提取CSS 和 XPath schema,以及使用 LiteLLM 支持的任意模型、通过你自己的 API key 进行的 LLM 提取。云端的 /extract 无需你自己的 key 即可使用。
浏览器操作Spicrawl最多 50 个步骤点击、输入、选择、滚动、等待并运行 JavaScript,每次请求最多 50 个步骤,公测期间免费。Crawl4AI运行 JS、等待、会话运行 JavaScript、等待选择器或条件,并在多次调用之间复用会话,以点击“加载更多”或填写表单。为信息流提供虚拟滚动。
爬取整个网站Spicrawl否不能。Spicrawl 不会替你跟随链接:你发送 URL,每次批量调用最多 10,000 个。Crawl4AI更强的一方: 是,BFS、DFS、best-first可以,在库中。广度优先、深度优先和最佳优先的深度爬取,带深度、页面和 URL 过滤,并支持从站点地图发现 URL。
多个 URLSpicrawl最多 10,000 个 URL批量 API:每次调用最多 10,000 个 URL,并行运行,结果以 JSON Lines 格式保留 72 小时。Crawl4AIarun_many;云端 10,000arun_many 在库中运行一个 URL 列表。云端以最多 50 个为一批进行流式处理,后台任务最多可接受 10,000 个 URL。
代理Spicrawl自带代理,无附加费用可自带代理,无附加费用。托管代理即将推出。Crawl4AI更强的一方: 自带代理 + 轮换;云端托管该库使用你自己的代理,采用轮询轮换。云端提供可选国家的 ISP 和住宅代理。
隐身与机器人防护墙Spicrawl公测中无隐身No stealth mode during the beta. mode=auto tries a plain request first and uses a browser only when needed.Crawl4AI更强的一方: 隐身模式;云端处理该库有一个带 undetected-browser 适配器的隐身模式,并且可以通过 CDP 连接远程浏览器。云端会替你处理机器人防护墙。
保持登录Spicrawl会话会话在多次请求之间保留 cookie、浏览器存储和同一个出口 IP。Crawl4AI浏览器配置文件持久的浏览器配置文件会保留 cookie 和存储,因此你登录一次,之后就以该用户身份爬取。你需要自己管理配置文件文件夹。
搜索与监控Spicrawl否不能。Spicrawl 抓取页面。Crawl4AI更强的一方: 云端:搜索、监控云端增加了网页搜索、带来源的直接回答、针对部分站点的现成方案,以及带 webhook 的页面监控。
AI 智能体SpicrawlMCP,25 个工具 + 技能含 25 个工具的托管 MCP 服务器、一个智能体技能,以及面向 Claude Code、Cursor 和 Codex 的一条命令设置。Crawl4AIMCP,自托管或云端其自托管 Docker 服务器上的一个 MCP 服务器,含 7 个工具,另有一个面向 Claude、Cursor 及其他客户端的云端托管版本。
SDK 和语言SpicrawlJS/TS SDK + CLIJavaScript 和 TypeScript SDK、一个 CLI,以及 cURL、Python 和 TypeScript 的 HTTP 示例。Crawl4AIPython 库;REST该库是 Python 的。其他语言使用 Docker 服务器的 REST API 或云 API,示例有 cURL、Python 和 Node。
开源Spicrawl否不是。Spicrawl 是托管服务。Crawl4AI更强的一方: 是,Apache-2.0可以。该库以 Apache-2.0 协议托管在 GitHub 上,约有 85,000 个星标。云端是付费的托管服务。

从 Crawl4AI 迁移

Crawl4AI’s quick start opens a browser on your machine and prints the page as Markdown. The Spicrawl request does the same with one POST and nothing to install: the response body is the Markdown itself. Ask for response_format=json when you want a JSON envelope instead.

crawl4ai.py
import asyncio从 crawl4ai import AsyncWebCrawlerasync def main():    async ,使用 AsyncWebCrawler() 作为 crawler:        result = await crawler.arun("https://example.com")        print(result.markdown)if __name__ == "__main__":    asyncio.run(main())
spicrawl.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com",    "response_format": "markdown"  }'# 响应:Markdown 本身

Spicrawl 与 Crawl4AI:常见问题

Spicrawl 是 Crawl4AI 的好替代方案吗?

如果你想用托管 API 而不是自己运行浏览器,并且抓取的是已有 URL 的页面,那么适合。如果你需要开源、跟随链接的深度爬取、隐身模式,或在自己服务器上的完全控制,那么 Crawl4AI 更合适。

Crawl4AI 免费吗?

该库免费并以 Apache-2.0 协议开源,但浏览器、代理和服务器都由你自己运行和维护。Crawl4AI Cloud 是付费的托管 API,起步赠送 $10 免费额度,为上线定价,可能会变化。Spicrawl 公测期间免费。

Spicrawl 比 Crawl4AI 便宜吗?

Spicrawl 在公测结束后的价格尚未公布,因此目前还无法做出公平的价格对比。目前的计费规则有所不同:Spicrawl 按存入该缓存的那次抓取的全价对缓存命中计费,而 Crawl4AI Cloud 对来自其归档的结果收取半价。两者都不对被拦截和失败的请求计费。

Spicrawl 能像 Crawl4AI 一样爬取整个网站吗?

不能。Spicrawl 不会通过跟随链接来发现 URL。你需要自己发送想要的页面,一次一个,或每次批量调用最多 10,000 个。Crawl4AI 的广度优先、深度优先和最佳优先爬取会替你完成发现。

如何从 Crawl4AI 切换到 Spicrawl?

将 crawler.arun(url) 替换为对 https://api.spicrawl.com/v1/scrape, 的一次 POST,带上你的 Spicrawl API key,并将 response_format 设为 markdown。Spicrawl 将 Markdown 作为响应正文返回。深度爬取没有直接对应的功能,因此请先收集 URL,再作为批量发送。

来源

Crawl4AI 的详细信息来自以下页面,核对于 2026年10月1日。产品会变化:如果这里有过时的内容,请发邮件到 support@spicrawl.com,我们会更正。

公测期间免费试用 Spicrawl

运行你今天正在抓取的相同页面,亲自对比结果。无需信用卡。

获取免费公测权限