从一个可运行的示例开始
基于 Spicrawl 构建的开源工具、插件和 SDK。克隆一个,添加你的 API key,即可发布。
docs2skill
将文档站点转为智能体技能和 llms.txt。
agent-plugins
面向编程智能体的抓取插件。
mcp
MCP 服务器:任意 URL 转为 Markdown 或 JSON。
price-tracker
任意商店的价格和库存提醒。
change-monitor
监视一个页面,变化时得到差异对比。
n8n-nodes-spicrawl
n8n 节点:抓取、提取、智能体工具。
langchain-spicrawl
LangChain 加载器:将页面作为 Markdown 用于 RAG。
langchain-spicrawl-js
LangChain 加载器,适用于 TypeScript。
sdk
Spicrawl API 的 TypeScript SDK。
Spicrawl 网页抓取 API 的全部功能
Markdown 和 JSON 输出、JavaScript 渲染、Cloudflare 和反机器人处理、浏览器操作、会话、最多 10,000 个 URL 的批量任务、结构化提取、网络捕获、截图和 PDF,以及缓存。每一项都是同一个 API 上的参数,也都可以通过 CLI 和 MCP 服务器使用。
普通、JavaScript 或完整浏览器
- 按层级 1、3 或 8 积分。mode: auto 从低成本开始,仅在需要时才升级。
- 你为实际提供服务的层级付费。失败费用为 0。
- js_render
- 模式
- wait_for
curl https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/products", "js_render": true, "wait_for": ".product-card", "response_format": "json" }'spicrawl scrape <url> --render
阅读指南在你今天正在抓取的页面上试试
一个 API key,每月 1,000 免费积分,无需信用卡。
Up to 97% fewer tokens than raw HTML
Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.
在你自己的 URL 上衡量节省的量
用两种方式运行相同的页面,并对比 token 数量。
Two ways in: ask your agent, or call the API
Describe the page in plain words, or send one POST request. Both return the same clean output.
用 Spicrawl MCP 连接你的 AI 智能体
托管的 MCP 服务器:抓取、批量、会话和浏览器操作,无需粘合代码。
MCP 端点:https://mcp.spicrawl.com/mcp
- 抓取
- 批量任务
- 会话
- 操作
- 请求历史
- 用量
- 文档
适用于你已经在用的工具
一句提示词,让你的智能体访问网络
适用于 Claude Code、Cursor、Codex 和任何 MCP 客户端。
Get Markdown, JSON or structured data from one request
Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.


# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。
完整的响应:状态、URL、引擎和数据。示例页面。
页面信息、CSS 规则,或带选择器的 JSON Schema。示例页面。
在页面上运行的步骤,在完整浏览器渲染中执行。
Scrape JavaScript sites, logins and dynamic pages
Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.
{ "url": "https://shop.example/product/1", "mode": "auto", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- fetch
- X-Proxy-Source
- 直连
- Cache-State
- 命中
- X-Credits-Charged
- 1
先用普通请求,只有当站点拦截时才升级到浏览器。被拦截的请求不收费。
在读取页面之前,先在真实浏览器中渲染 JavaScript。
普通请求带有真实浏览器的 TLS 和 HTTP/2 指纹。
直接连接或使用你自己的代理,无附加费用。
在请求之间保留 cookie 和存储,使登录状态得以延续。
读取页面之前,先点击、输入、滚动并运行 JavaScript。
跳过图片、字体和媒体,加快加载。
记录页面加载时发出的 API 调用。
默认开启 48 小时。重复请求更快,计费相同。
Test in the dashboard, then ship with the API or CLI
Try a URL, copy the request, and run it from your code or your terminal.
Try what people build with Spicrawl
Small working tools, each built on the Spicrawl API.
What you can build with a web scraping API
Each job links to a guide in the docs, with working code.
按页付费,且仅在成功时
你每月获得 1,000 免费积分,无需信用卡。失败的请求、机器人验证挑战或超时不收费。公测期间免费。
每月 1,000 免费积分 相当于 1,000 个普通页面、333 个 JavaScript 页面或 125 个完整浏览器页面。
常见问题
Spicrawl 是什么?
Spicrawl 是一个网页抓取 API,通过 API、CLI 或 MCP 服务器,把任意 URL 变成适合你的代码或 AI 智能体的干净 Markdown、HTML、PDF 或结构化 JSON。
Spicrawl 免费吗?
是。公测期间免费,每月 1,000 积分,无需信用卡。
我可以抓取 JavaScript 网站吗?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl 能像 Cloudflare 那样绕过机器人防护吗?
通常可以,但不总是。请使用真实的浏览器指纹、浏览器渲染或你自己的代理。机器人验证挑战会返回明确的错误,且不收费。公测中不提供隐身模式和托管代理。
我可以把 Spicrawl 与 AI 智能体一起使用吗?
可以。托管的 MCP 服务器让 Claude Code、Cursor 和 Codex 抓取页面、运行批量、复用会话并执行浏览器操作。运行 spicrawl init 即可设置。
失败的请求会消耗积分吗?
不会。只有成功的请求才消耗积分:普通 1,JavaScript 渲染 3,完整浏览器 8。错误、机器人验证挑战和超时免费。