Spicrawl 现已支持 OpenAI Agents SDK、LangChain、Codex、Claude Code 等。查看集成
跳到内容

实时世界数据,用于 智能体

为你的智能体和系统解锁全球数据,打造更好的产品。

注册(公测期间免费)
试试:

免费试用:任意公开页面转为干净的 Markdown,无需注册。

Spicrawl 网页抓取 API 的全部功能

Markdown 和 JSON 输出、JavaScript 渲染、Cloudflare 和反机器人处理、浏览器操作、会话、最多 10,000 个 URL 的批量任务、结构化提取、网络捕获、截图和 PDF,以及缓存。每一项都是同一个 API 上的参数,也都可以通过 CLI 和 MCP 服务器使用。

3/3已提供,按该层级计费

普通、JavaScript 或完整浏览器

  • 按层级 1、3 或 8 积分。mode: auto 从低成本开始,仅在需要时才升级。
  • 你为实际提供服务的层级付费。失败费用为 0。
  • js_render
  • 模式
  • wait_for
render.sh
curl https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/products",    "js_render": true,    "wait_for": ".product-card",    "response_format": "json"  }'

spicrawl scrape <url> --render

阅读指南

探索 API 文档

在你今天正在抓取的页面上试试

一个 API key,每月 1,000 免费积分,无需信用卡。

Up to 97% fewer tokens than raw HTML

Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.

Spicrawl 文档页面
−97%个 token
GitHub README
−94%个 token
维基百科文章
−76%个 token
了解我们如何测量

在你自己的 URL 上衡量节省的量

用两种方式运行相同的页面,并对比 token 数量。

Two ways in: ask your agent, or call the API

Describe the page in plain words, or send one POST request. Both return the same clean output.

  1. 直接问你的 AI

    连接一次,之后用自然语言提问即可。无需编写代码。

    在 Claude Code 中设置
  2. 调用 API

    一次 POST 即可返回 Markdown、JSON 或 HTML。批量最多 10,000 个 URL。

    阅读 API 文档

用 Spicrawl MCP 连接你的 AI 智能体

托管的 MCP 服务器:抓取、批量、会话和浏览器操作,无需粘合代码。

MCP 端点:https://mcp.spicrawl.com/mcp

  • 抓取
  • 批量任务
  • 会话
  • 操作
  • 请求历史
  • 用量
  • 文档
Claude Code 抓取页面

你是 AI 智能体吗?

获取该技能,开始抓取。

$curl -s https://docs.spicrawl.com/skill.md

查看技能 llms.txt

适用于你已经在用的工具

一句提示词,让你的智能体访问网络

适用于 Claude Code、Cursor、Codex 和任何 MCP 客户端。

Get Markdown, JSON or structured data from one request

Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.

example.com/product/1
认识 Model X —— 每一次点击都精准
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00有货★ 4.6 (1,284)
低延迟 2.4 GHz 接收器、70 天电池续航和静音按键。
规格值
连接2.4 GHz,BT5电池70 天
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery life以及静默开关。| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery   | 70 days      |
读取页面
原始 HTML12,480 个 token
Markdown0 个 token

去掉菜单、页脚和广告:仅为原始 HTML token 的 3% 到 24%。示例页面。

把任何网站转换为适合 LLM 的 Markdown

Scrape JavaScript sites, logins and dynamic pages

Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.

Spicrawl 控制面板
自动升级
浏览器
指纹
代理
托管代理:即将推出
会话
操作
拦截资源
网络捕获
缓存
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "mode": "auto",  "cache": true,  "response_format": "markdown"}
示例响应头
X-Target-Status
200
X-Engine
fetch
X-Proxy-Source
直连
Cache-State
命中
X-Credits-Charged
1
自动升级

先用普通请求,只有当站点拦截时才升级到浏览器。被拦截的请求不收费。

仅为示例,不是真实请求。公测免费。

Test in the dashboard, then ship with the API or CLI

Try a URL, copy the request, and run it from your code or your terminal.

CLI

在终端中抓取一个 URL、批量处理数千个 URL 并管理会话。

阅读 CLI 文档

控制台

运行测试请求、查看日志和用量,并管理 API key。

打开控制台

文档

指南、API 参考,以及供你的工具链使用的 OpenAPI 规范。

阅读文档

Try what people build with Spicrawl

Small working tools, each built on the Spicrawl API.

  1. change-monitor.spicrawl.com

    变更监控

    重新检查页面,看看有什么变化。

    在线试用
  2. price-tracker.spicrawl.com

    价格追踪器

    粘贴商品链接,获取其价格。

    在线试用
  3. docs2skill.spicrawl.com

    文档 → 技能

    将文档站点变成智能体技能。

    在线试用

What you can build with a web scraping API

Each job links to a guide in the docs, with working code.

  1. 01

    为 LLM 和 RAG 管道提供数据

    将文章、文档和 PDF 变成干净的 Markdown,可直接嵌入。

    面向 LLM 的 Markdown
  2. 02

    让 AI 智能体访问网络

    连接 Claude Code、Cursor 或 Codex 来读取实时页面。

    用智能体构建
  3. 03

    收集商品和价格数据

    将名称、价格和库存提取为 JSON。

    提取结构化数据
  4. 04

    抓取数千个 URL

    在一个批量任务中发送最多 10,000 个 URL。

    运行批量任务
  5. 05

    读取登录后的页面

    登录一次,在每个页面复用该会话。

    使用会话
  6. 06

    捕获页面背后的数据

    读取页面加载的 JSON,而不是解析 HTML。

    捕获网络调用

按页付费,且仅在成功时

你每月获得 1,000 免费积分,无需信用卡。失败的请求、机器人验证挑战或超时不收费。公测期间免费。

1积分 / 页
普通抓取
静态页面。默认值。
3积分 / 页
JavaScript 渲染
在浏览器中自行构建的页面。
8积分 / 页
完整浏览器
截图、PDF、点击和表单。

每月 1,000 免费积分 相当于 1,000 个普通页面、333 个 JavaScript 页面或 125 个完整浏览器页面。

常见问题

Spicrawl 是什么?

Spicrawl 是一个网页抓取 API,通过 API、CLI 或 MCP 服务器,把任意 URL 变成适合你的代码或 AI 智能体的干净 Markdown、HTML、PDF 或结构化 JSON。

Spicrawl 免费吗?

是。公测期间免费,每月 1,000 积分,无需信用卡。

我可以抓取 JavaScript 网站吗?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl 能像 Cloudflare 那样绕过机器人防护吗?

通常可以,但不总是。请使用真实的浏览器指纹、浏览器渲染或你自己的代理。机器人验证挑战会返回明确的错误,且不收费。公测中不提供隐身模式和托管代理。

我可以把 Spicrawl 与 AI 智能体一起使用吗?

可以。托管的 MCP 服务器让 Claude Code、Cursor 和 Codex 抓取页面、运行批量、复用会话并执行浏览器操作。运行 spicrawl init 即可设置。

失败的请求会消耗积分吗?

不会。只有成功的请求才消耗积分:普通 1,JavaScript 渲染 3,完整浏览器 8。错误、机器人验证挑战和超时免费。

所有问题