Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Một MCP server web scraping được lưu trữ sẵn cho AI agent

Kết nối agent của bạn với https://mcp.spicrawl.com/mcp và nó có thể đọc mọi URL dưới dạng Markdown hoặc JSON, chạy batch job, dùng lại session đã đăng nhập và tự kiểm tra mức dùng, mà bạn không cần viết code scraping.

MCP server Spicrawl làm gì

Server cung cấp Spicrawl cho AI agent dưới dạng các tool gốc. Nó được lưu trữ tại https://mcp.spicrawl.com/mcp, nói giao thức MCP Streamable HTTP và xác thực bằng API key của chính bạn dưới dạng bearer token. Mỗi lệnh gọi tool chạy dưới key đó đúng như khi bạn tự gọi API: cùng giới hạn và cùng credit.

Thiết lập chỉ với một lệnh

CLI Spicrawl thêm MCP server và agent skill Spicrawl vào client của bạn, và cho thấy các thay đổi trước khi áp dụng:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Hoặc thêm thủ công. Hãy giữ key trong biến môi trường SPICRAWL_API_KEY và tham chiếu nó từ cấu hình, để key không bao giờ nằm trong tệp được commit:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Kiểm tra kết nối bằng claude mcp list, codex mcp list hoặc phần cài đặt MCP của client. Bạn sẽ thấy 25 tool spicrawl_*.

Các tool, nhóm theo công việc

JobTool
Đọc một trangspicrawl_scrape: Markdown (mặc định), text, HTML hoặc JSON, với render tùy chọn, lọc theo thẻ, trích xuất và hành động trên trình duyệt
Nhiều URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Trang cần đăng nhậpspicrawl_session_create, _list, _get, _context, _release, _delete
Gỡ lỗi một sự cốspicrawl_requests_list, spicrawl_request_get
Credit và mức dùngspicrawl_usage, _summary, _reconciliation (cần scope read)
Tra cứuspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

Tool để kết nối với một trình duyệt từ xa qua CDP đã được liệt kê nhưng sắp ra mắt.

Một tác vụ đầu tiên để thử

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Agent gọi spicrawl_scrape với URL và format: "markdown", và chỉ thêm render: true nếu kết quả đầu tiên rỗng. Hướng dẫn đầy đủ nằm trong cách scrape một trang web với Claude Code.

Giữ agent rẻ và an toàn

  • Rẻ nhất trước. Một request thường là 1 credit, render JavaScript 3, render bằng trình duyệt đầy đủ 8. Agent nên nâng từng bước một và dừng ở bước đầu tiên chạy được.
  • Giới hạn mọi lệnh gọi. Đặt max_cost và một request tốn nhiều hơn sẽ bị từ chối trước khi chạy.
  • Thất bại là miễn phí. Lỗi và trang bị chặn tốn 0 credit.
  • Kiểm thử mà không tốn tiền. Key spicrawl_test_ chạy trên sandbox và không bao giờ tiêu credit thật.
  • Giới hạn những gì một key có thể làm. Mặc định, key có các scope scrape, batch và sessions; chỉ cấp read nếu agent cần xem mức dùng.

Nó không làm gì

  • Không crawl. Spicrawl không đi theo liên kết hay tự tìm URL. Hãy đưa cho agent các URL, hoặc danh sách từ một sitemap, và dùng batch job cho nhiều trang.
  • Sắp ra mắt: proxy được quản lý, chế độ stealth, kết nối trình duyệt từ xa và trích xuất từ một prompt bằng ngôn ngữ thường. Hiện tại bạn có thể dùng proxy của riêng mình mà không tốn thêm, và trích xuất dữ liệu bằng CSS selector hoặc JSON Schema.

So sánh với các MCP server scraping khác

Hầu hết các API scraping hiện nay đều có MCP server. Mỗi bên cung cấp gì, theo các trang so sánh của chúng tôi, vốn dẫn tài liệu của chính từng nhà cung cấp:

Nhà cung cấpMCP server của họ
FirecrawlMCP server được lưu trữ sẵn hoạt động không cần key, với đăng nhập OAuth hoặc với API key.
ZenRowsMCP server được lưu trữ sẵn, cùng bộ công cụ cho agent gồm skill và plugin cho Claude Code, Cursor và Codex.
Context.devMCP server được lưu trữ sẵn đăng nhập bằng OAuth thay vì API key, cùng một agent skill.
ScrapingBeeMCP server được lưu trữ sẵn với các tool để fetch trang, text, ảnh chụp màn hình, kết quả tìm kiếm và mức dùng.
Bright DataMCP server theo giấy phép MIT, dùng bản lưu trữ sẵn hoặc chạy cục bộ. Chế độ mặc định miễn phí scrape các trang thành Markdown và tìm kiếm trên web; chế độ Pro thêm 60+ tool.
Jina ReaderMCP server được lưu trữ sẵn với các tool để đọc URL, chụp ảnh màn hình và tìm kiếm. Đọc hoạt động không cần key.
ApifyMCP server chính thức cho phép agent khám phá và chạy các scraper dựng sẵn (Actor).
BrowserbaseMCP server được lưu trữ sẵn xây dựng trên Stagehand, điều khiển một cloud browser bằng lệnh ngôn ngữ thường.

Chọn server của Spicrawl khi agent của bạn chủ yếu đọc các trang đã có URL, và bạn muốn Markdown sạch, session cho các trang cần đăng nhập và lỗi không tốn gì. Chọn server có crawl hoặc tìm kiếm khi agent phải tìm trang trước.

Câu hỏi thường gặp

MCP server web scraping là gì?

Đó là một Model Context Protocol server cung cấp cho AI agent các tool để fetch trang web. Thay vì viết code HTTP, agent gọi một tool như spicrawl_scrape với một URL và nhận lại trang dưới dạng Markdown, text, HTML hoặc JSON.

Nó hoạt động với những AI agent và editor nào?

Mọi MCP client có thể kết nối tới một server từ xa qua Streamable HTTP và gửi header Authorization, gồm Claude Code, Cursor, VS Code và Codex CLI. Claude Desktop có thể kết nối qua cầu nối mcp-remote.

MCP server của Spicrawl có miễn phí không?

Spicrawl miễn phí trong thời gian beta, không cần thẻ tín dụng. Các lệnh gọi tool dùng cùng credit như API: 1 cho request thường, 3 cho render JavaScript và 8 cho render bằng trình duyệt đầy đủ. Request thất bại và bị chặn tốn 0.

MCP server có crawl được cả một trang web không?

Không. Spicrawl không tự tìm URL hay theo liên kết. Hãy đưa cho agent các URL bạn muốn, hoặc một danh sách từ sitemap, và dùng batch job cho nhiều trang.

Làm sao để giữ API key của tôi an toàn?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Nó có hoạt động với các trang cần đăng nhập không?

Có, cho các tài khoản bạn sở hữu hoặc được phép sử dụng. Tạo một session bằng spicrawl_session_create, đăng nhập bằng hành động trên trình duyệt, rồi truyền session ID ở các lần scrape sau để cookie và storage của trình duyệt được giữ lại.