在 Windsurf 中抓取网页
Windsurf 现已更名为 Devin Desktop。添加 Spicrawl MCP 服务器后,其智能体就可以将网页读取为干净的 Markdown。
设置它
Devin Desktop 有两个智能体。Devin Local 是新标签页的默认智能体。Cascade 是旧版智能体。它们从不同的文件读取 MCP 服务器,因此请设置你在用的那一个。
在 Devin Desktop 启动所用的环境中设置你的 API key:
bashexport SPICRAWL_API_KEY=spicrawl_live_... # add to your shell profile, then restart Devin DesktopDevin Local: 在本地作用域中添加服务器。它会保存到
.devin/mcp_config.local.json,Devin 会将其加入 gitignore。可用devin mcp list检查。bashdevin mcp add spicrawl https://mcp.spicrawl.com/mcp -H "Authorization: Bearer $SPICRAWL_API_KEY"不要使用
-s project。它会把你的 key 写进共享的、会被提交的文件里。Cascade: 打开 Cascade 面板,点击
...菜单,打开 MCP 配置文件。添加服务器。Cascade 会填入 key,因此文件中不含 key:~/.config/devin/mcp_config.json{ "mcpServers": { "spicrawl": { "serverUrl": "https://mcp.spicrawl.com/mcp", "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" } } } }Cascade 在所有服务器上总共允许 100 个工具。Spicrawl 占用其中 25 个。
安装该技能:
bashspicrawl skill install --client codex # Without the CLI: mkdir -p .agents/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.md将此规则保存为
.devin/rules/spicrawl.md(.windsurf/rules/仍然有效)。当任务涉及网络数据时,智能体会读取它。.devin/rules/spicrawl.md--- trigger: model_decision description: Fetching, scraping or extracting data from web pages with Spicrawl --- # Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.
可以先试的第一个任务
打开一个新的智能体标签页并提问:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.智能体应使用 format: "markdown" 调用 spicrawl_scrape。仅当第一个结果为空时,才应加上 render: true。
它能做什么
该服务器为智能体提供 25 个 spicrawl_* 工具。每次调用都在你的 API key 下运行,限制和积分与直接调用 API 相同。
- 读取一个页面:
spicrawl_scrape返回 Markdown(默认)、文本、HTML、JSON 或 PDF。 - 读取多个页面:
spicrawl_batch_submit最多可排入 10,000 个 URL。之后用spicrawl_batch_status和spicrawl_batch_results跟进。 - 登录后的页面:
spicrawl_session_create会在多次调用之间保留 cookie 和存储。 - 调试失败:
spicrawl_requests_list和spicrawl_request_get。 - 查看用量:
spicrawl_usage_summary及其他用量工具。这些工具需要具有read权限范围的 key。 - 查资料:
spicrawl_docs_search和spicrawl_docs_read用于搜索和阅读 Spicrawl 文档。
有一个工具 spicrawl_browser_connect_url 已列出但即将推出。在 spicrawl_scrape 上,渲染参数是 render,而不是 API 的 js_render。
须知
- 不支持爬取。 Spicrawl 不会跟随链接或查找页面。请把 URL 交给智能体。
- 每次请求的积分。 普通抓取 1 积分。JavaScript 渲染 3。完整浏览器渲染 8。
- 失败免费。 失败的请求费用为 0 积分。
- 缓存节省的是时间,而不是积分。 缓存命中的费用与存储它的那次获取相同。
- 为每次调用设置上限。 设置
max_cost后,可能超出预算的请求会在运行前被拒绝。 - 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的 AI 提取。目前你可以自带代理。
常见问题
Windsurf 和 Devin Desktop 是同一个东西吗?
是的。Windsurf 在 2026-06-02 更名为 Devin Desktop。它是同一个编辑器,这些步骤对两个名称都适用。
我应该设置哪个智能体,Devin Local 还是 Cascade?
Devin Local 是新标签页的默认智能体。Cascade 是旧版智能体。它们从不同的文件读取 MCP 服务器,因此请设置你在用的那一个。
Spicrawl 会计入 Cascade 的工具数量上限吗?
会。Cascade 在所有服务器上总共允许 100 个工具,而 Spicrawl 占用 25 个。如果接近上限,请停用其他服务器。
我的团队拦截了该服务器。我该怎么办?
已启用团队允许列表。请让管理员将 Server ID spicrawl(区分大小写)加入允许列表。
每个页面要多少钱?
普通抓取 1 积分,JavaScript 渲染 3,完整浏览器渲染 8。失败的请求为 0。缓存命中的费用与存入该缓存的那次抓取相同。让智能体在每次请求上设置 max_cost,这样花费就不会超出你的预期。