用 Spicrawl 做 LangChain 网页抓取
将 LangChain 智能体连接到 Spicrawl MCP 服务器。之后智能体就可以将网页读取为 Markdown。
设置它
安装
langchain-mcp-adapters和langchain[openai]。设置
SPICRAWL_API_KEY和你的模型提供商的 key(这里是OPENAI_API_KEY)。创建一个
MultiServerMCPClient,带一个spicrawl条目。"transport": "streamable_http"和headers用于设置连接。只保留你需要的工具,并用
create_agent构建 LangGraph 智能体。
示例:读取定价页面
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())默认情况下,每次工具调用都会打开自己的 MCP 会话。这对无状态的 spicrawl_scrape 没有问题。服务器没有 OAuth,因此请始终在 headers 中发送 key。
保持工具列表简短
每次模型调用都会发送全部 25 个工具的 schema。这会增加提示词成本,还可能让模型困惑。请保留 spicrawl_scrape,URL 较多时再添加 spicrawl_batch_submit、spicrawl_batch_status 和 spicrawl_batch_results。
如果你的代码已经知道要获取哪个 URL,也许根本不需要 MCP。调用 POST /v1/scrape 的普通函数不占用工具 schema 的 token,也更容易测试。
它能做什么
该服务器为智能体提供 25 个 spicrawl_* 工具。每次调用都在你的 API key 下运行,限制和积分与直接调用 API 相同。
- 读取一个页面:
spicrawl_scrape返回 Markdown(默认)、文本、HTML、JSON 或 PDF。 - 读取多个页面:
spicrawl_batch_submit最多可排入 10,000 个 URL。之后用spicrawl_batch_status和spicrawl_batch_results跟进。 - 登录后的页面:
spicrawl_session_create会在多次调用之间保留 cookie 和存储。 - 调试失败:
spicrawl_requests_list和spicrawl_request_get。 - 查看用量:
spicrawl_usage_summary及其他用量工具。这些工具需要具有read权限范围的 key。 - 查资料:
spicrawl_docs_search和spicrawl_docs_read用于搜索和阅读 Spicrawl 文档。
有一个工具 spicrawl_browser_connect_url 已列出但即将推出。在 spicrawl_scrape 上,渲染参数是 render,而不是 API 的 js_render。
须知
- 不支持爬取。 Spicrawl 不会跟随链接或查找页面。请把 URL 交给智能体。
- 每次请求的积分。 普通抓取 1 积分。JavaScript 渲染 3。完整浏览器渲染 8。
- 失败免费。 失败的请求费用为 0 积分。
- 缓存节省的是时间,而不是积分。 缓存命中的费用与存储它的那次获取相同。
- 为每次调用设置上限。 设置
max_cost后,可能超出预算的请求会在运行前被拒绝。 - 即将推出: 托管代理、隐身模式、远程浏览器,以及基于自然语言提示词的 AI 提取。目前你可以自带代理。
常见问题
我需要哪些包?
langchain-mcp-adapters 和 langchain[openai]。运行示例之前,请设置 SPICRAWL_API_KEY 和 OPENAI_API_KEY。
我应该把全部 25 个工具都交给智能体吗?
通常不需要。每次模型调用都会发送所有工具 schema。保留 spicrawl_scrape,对于大量 URL,再保留 spicrawl_batch_submit、spicrawl_batch_status 和 spicrawl_batch_results。
每次工具调用都会打开新会话吗?
是,默认如此。这对无状态的 spicrawl_scrape 没问题。如果你想让每次运行使用一个会话,请参阅该适配器 README 中的 client.session("spicrawl")。
我应该使用 MCP,还是直接调用 API?
当由模型决定抓取什么时,请使用 MCP。当你的代码已经知道 URL 时,直接调用 POST /v1/scrape 的普通函数更简单,也不消耗工具 schema 的 token。
每个页面要多少钱?
普通抓取 1 积分,JavaScript 渲染 3,完整浏览器渲染 8。失败的请求为 0。缓存命中的费用与存入该缓存的那次抓取相同。让智能体在每次请求上设置 max_cost,这样花费就不会超出你的预期。