이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

Spicrawl로 LangChain 웹 스크래핑

LangChain 에이전트를 Spicrawl MCP 서버에 연결하세요. 그러면 에이전트가 웹 페이지를 Markdown으로 읽을 수 있습니다.

설정하기

  1. langchain-mcp-adapters와 langchain[openai]를 설치하세요.

  2. SPICRAWL_API_KEY와 모델 제공자의 키(여기서는 OPENAI_API_KEY)를 설정하세요.

  3. spicrawl 항목 하나로 MultiServerMCPClient를 만드세요. "transport": "streamable_http"와 headers가 연결을 설정합니다.

  4. 필요한 도구만 남기고 create_agent로 LangGraph 에이전트를 만드세요.

예시: 가격 페이지 읽기

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

기본적으로 도구를 호출할 때마다 자체 MCP 세션이 열립니다. 상태를 저장하지 않는 spicrawl_scrape에는 문제가 없습니다. 서버에는 OAuth가 없으므로 항상 키를 headers에 담아 보내세요.

도구 목록을 짧게 유지하세요

도구 스키마 25개가 모델을 호출할 때마다 전송됩니다. 그러면 프롬프트 비용이 늘고 모델이 혼동할 수 있습니다. spicrawl_scrape는 유지하고, 많은 URL에는 spicrawl_batch_submit, spicrawl_batch_status, spicrawl_batch_results를 추가하세요.

코드가 가져올 URL을 이미 알고 있다면 MCP가 전혀 필요 없을 수 있습니다. POST /v1/scrape를 호출하는 일반 함수는 도구 스키마 토큰이 들지 않고 테스트하기도 쉽습니다.

할 수 있는 일

이 서버는 에이전트에게 spicrawl_* 도구 25개를 제공합니다. 각 호출은 API를 직접 호출할 때와 같은 한도와 크레딧으로 사용자의 API 키로 실행됩니다.

  • 페이지 하나 읽기: spicrawl_scrape는 Markdown(기본값), 텍스트, HTML, JSON 또는 PDF를 반환합니다.
  • 여러 페이지 읽기: spicrawl_batch_submit는 최대 10,000개의 URL을 대기열에 넣습니다. 이어서 spicrawl_batch_status와 spicrawl_batch_results를 사용하세요.
  • 로그인이 필요한 페이지: spicrawl_session_create는 호출 사이에 쿠키와 스토리지를 유지합니다.
  • 실패 디버깅: spicrawl_requests_list와 spicrawl_request_get.
  • 사용량 확인: spicrawl_usage_summary 및 기타 사용량 도구입니다. 이 도구에는 read 범위가 있는 키가 필요합니다.
  • 조회하기: spicrawl_docs_search와 spicrawl_docs_read로 Spicrawl 문서를 검색하고 읽습니다.

도구 하나, spicrawl_browser_connect_url는 목록에 있지만 곧 제공될 예정입니다. spicrawl_scrape에서 렌더링 인수는 API의 js_render가 아니라 render입니다.

알아 두세요

  • 크롤링은 지원하지 않습니다. Spicrawl은 링크를 따라가거나 페이지를 찾지 않습니다. 에이전트에게 URL을 주세요.
  • 요청당 크레딧. 일반 fetch는 1 크레딧, JavaScript 렌더링은 3, 전체 브라우저 렌더링은 8입니다.
  • 실패는 무료입니다. 실패한 요청은 0 크레딧입니다.
  • 캐시는 시간을 절약해 줄 뿐 크레딧을 절약해 주지는 않습니다. 캐시 적중 비용은 그 결과를 저장한 요청과 같습니다.
  • 호출마다 상한을 두세요. max_cost를 설정하면 더 많은 비용이 들 수 있는 요청은 실행 전에 거부됩니다.
  • 곧 제공 예정: 관리형 프록시, 스텔스 모드, 원격 브라우저, 일반 문장 프롬프트를 이용한 AI 추출. 현재는 직접 프록시를 사용할 수 있습니다.

자주 묻는 질문

어떤 패키지들이 필요한가요?

langchain-mcp-adapters와 langchain[openai]. 예제를 실행하기 전에 SPICRAWL_API_KEY와 OPENAI_API_KEY를 설정하세요.

에이전트에 도구 25개를 모두 줘야 하나요?

보통은 그렇지 않습니다. 모델을 호출할 때마다 모든 도구 스키마가 전송됩니다. spicrawl_scrape를 유지하고, 많은 URL에는 spicrawl_batch_submit, spicrawl_batch_status, spicrawl_batch_results를 유지하세요.

도구를 호출할 때마다 새 세션이 열리나요?

예, 기본값입니다. 상태를 저장하지 않는 spicrawl_scrape에는 문제없습니다. 실행당 세션 하나를 원하면 어댑터의 README에서 client.session("spicrawl")를 참고하세요.

MCP를 써야 하나요, 아니면 API를 직접 호출해야 하나요?

모델이 무엇을 가져올지 결정할 때는 MCP를 사용하세요. 코드가 이미 URL을 알고 있다면 POST /v1/scrape를 호출하는 일반 함수가 더 간단하고 도구 스키마 토큰도 들지 않습니다.

페이지당 비용이 얼마인가요?

일반 fetch는 1 크레딧, JavaScript 렌더링은 3, 풀 브라우저 렌더링은 8입니다. 실패한 요청은 0 크레딧입니다. 캐시 적중은 그 결과를 저장한 fetch와 같은 비용이 듭니다. 에이전트가 예상보다 많이 쓰지 않도록 요청마다 max_cost를 설정하게 하세요.