Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Web scraping LangChain với Spicrawl

Kết nối một agent LangChain với MCP server của Spicrawl. Agent khi đó có thể đọc trang web dưới dạng Markdown.

Thiết lập

  1. Cài langchain-mcp-adapters và langchain[openai].

  2. Đặt SPICRAWL_API_KEY và key của nhà cung cấp model của bạn (ở đây là OPENAI_API_KEY).

  3. Tạo một MultiServerMCPClient với một mục spicrawl. "transport": "streamable_http" và headers thiết lập kết nối.

  4. Chỉ giữ các tool bạn cần, và xây dựng một LangGraph agent bằng create_agent.

Ví dụ: đọc một trang giá

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Theo mặc định, mỗi lệnh gọi tool mở một MCP session riêng. Điều đó ổn với spicrawl_scrape, vốn là stateless. Server không có OAuth, nên hãy luôn gửi key trong headers.

Giữ danh sách tool ngắn

Cả 25 schema của tool được gửi trong mỗi lệnh gọi model. Điều đó làm tăng chi phí prompt và có thể làm model bối rối. Hãy giữ spicrawl_scrape, và với nhiều URL hãy thêm spicrawl_batch_submit, spicrawl_batch_status và spicrawl_batch_results.

Nếu code của bạn đã biết cần fetch URL nào, có thể bạn không cần MCP. Một hàm thường gọi POST /v1/scrape không tốn token cho schema của tool và dễ test hơn.

Nó làm được gì

Server cung cấp cho agent 25 tool spicrawl_*. Mỗi lệnh gọi chạy dưới API key của bạn, với cùng giới hạn và credit như một lệnh gọi API trực tiếp.

  • Đọc một trang: spicrawl_scrape trả về Markdown (mặc định), text, HTML, JSON hoặc PDF.
  • Đọc nhiều trang: spicrawl_batch_submit xếp hàng tới 10,000 URL. Sau đó dùng spicrawl_batch_status và spicrawl_batch_results.
  • Trang sau màn hình đăng nhập: spicrawl_session_create giữ cookie và bộ nhớ lưu trữ giữa các lệnh gọi.
  • Gỡ lỗi một sự cố: spicrawl_requests_list và spicrawl_request_get.
  • Kiểm tra mức dùng: spicrawl_usage_summary và các tool về mức dùng khác. Các tool này cần key có scope read.
  • Tra cứu: spicrawl_docs_search và spicrawl_docs_read tìm kiếm và đọc tài liệu Spicrawl.

Có một tool, spicrawl_browser_connect_url, được liệt kê nhưng sắp ra mắt. Trên spicrawl_scrape, đối số render là render, không phải js_render của API.

Nên biết

  • Không crawl. Spicrawl không đi theo liên kết hay tự tìm trang. Hãy đưa các URL cho agent.
  • Credit cho mỗi request. Một lần fetch thường là 1 credit. Render JavaScript là 3. Render bằng trình duyệt đầy đủ là 8.
  • Thất bại là miễn phí. Request thất bại tốn 0 credit.
  • Cache tiết kiệm thời gian, không tiết kiệm credit. Một lần trúng cache tốn bằng lần fetch đã lưu nó.
  • Giới hạn từng lệnh gọi. Đặt max_cost, và một request có thể tốn nhiều hơn sẽ bị từ chối trước khi chạy.
  • Sắp ra mắt: proxy được quản lý, chế độ stealth, trình duyệt từ xa và trích xuất AI từ một prompt bằng ngôn ngữ thường. Hiện tại bạn có thể dùng proxy của riêng mình.

Câu hỏi thường gặp

Tôi cần những gói nào?

langchain-mcp-adapters và langchain[openai]. Đặt SPICRAWL_API_KEY và OPENAI_API_KEY trước khi chạy ví dụ.

Tôi có nên cho agent dùng cả 25 tool không?

Thường là không. Mọi schema của tool đều được gửi trong mỗi lệnh gọi model. Hãy giữ spicrawl_scrape, và với nhiều URL thì giữ spicrawl_batch_submit, spicrawl_batch_status và spicrawl_batch_results.

Mỗi lệnh gọi tool có mở một session mới không?

Có, theo mặc định. Điều đó ổn với spicrawl_scrape, vốn là stateless. Xem README của adapter về client.session("spicrawl") nếu bạn muốn một session cho mỗi lần chạy.

Tôi nên dùng MCP hay gọi API trực tiếp?

Dùng MCP khi model quyết định cần fetch gì. Khi code của bạn đã biết URL, một hàm thường gọi POST /v1/scrape đơn giản hơn và không tốn token cho schema của tool.

Mỗi trang tốn bao nhiêu?

Một lần fetch thường tốn 1 credit, render JavaScript 3 và render bằng trình duyệt đầy đủ 8. Request thất bại tốn 0. Cache hit tốn bằng với lần fetch đã lưu nó. Hãy yêu cầu agent đặt max_cost cho mỗi request để nó không bao giờ tiêu nhiều hơn bạn dự kiến.