关于 Spicrawl
我们为 AI 智能体构建网页抓取 API。发送一个 URL,取回干净的数据。
我们构建什么
AI 智能体和应用需要的是干净的数据形式的网页,而不是充满菜单、广告和脚本的原始 HTML。Spicrawl 抓取你发送的 URL,并返回有用的部分。
- 一个 API 支持 Markdown、JSON、HTML、文本、PDF 和截图。
- JavaScript 页面 在需要时会在真实浏览器中渲染。
- 登录 通过会话保持登录状态,浏览器操作 可以先点击、输入和滚动。
- 批量 一次调用最多 10,000 个 URL。
- 面向 AI 智能体: 托管的 MCP 服务器、一个智能体技能、一个 CLI 和一个 JavaScript SDK。
我们的工作方式
- 我们会说明哪些还没准备好。 托管代理、隐身模式、远程浏览器和基于提示词的 AI 提取即将推出。我们的页面和 llms.txt 都是这样写的。
- 你只为成功的页面付费。 错误和机器人质询费用为 0。参见 定价。
- 我们尊重网站所有者。 Spicrawl 只获取你发送的 URL,不会爬取站点。你有责任确保有权使用所获取的内容;参见我们的 条款。
- 面向人和智能体的文档。 每个文档页面都有 Markdown 版本,文档还有自己的 llms.txt。
名字
Spicrawl 由“spider”(蜘蛛)和“crawl”(爬行)组合而成。这就是我们的徽标是一只蜘蛛的原因。拼写为 S-P-I-C-R-A-W-L。
找到我们
发邮件到 support@spicrawl.com,或参见 支持,了解站点所有者和隐私相关的请求。
常见问题
Spicrawl 是做什么的?
它抓取你发送的 URL,并返回干净的数据:Markdown、JSON、HTML、文本、PDF 或截图。它可以渲染 JavaScript、保持登录会话、执行浏览器操作,并处理最多 10,000 个 URL 的批量。
Spicrawl 不做什么?
它不会爬取网站,也不会替你查找页面。托管代理、隐身模式、远程浏览器和基于自然语言提示词的提取即将推出,目前尚不可用。
这个名字是什么意思?
它把“spider”(蜘蛛)和“crawl”(爬行)合在一起。这就是徽标是一只蜘蛛的原因。
如何联系团队?
发邮件至 support@spicrawl.com,或使用主页上的联系表单。