이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

Windsurf에서 웹 스크래핑

Windsurf는 이제 Devin Desktop이라고 부릅니다. Spicrawl MCP 서버를 추가하면 에이전트가 웹 페이지를 깔끔한 Markdown으로 읽을 수 있습니다.

설정하기

Devin Desktop에는 에이전트가 두 가지 있습니다. Devin Local는 새 탭의 기본값이고, Cascade는 이전 에이전트입니다. 두 에이전트는 서로 다른 파일에서 MCP 서버를 읽으므로 사용하는 쪽에 맞게 설정하세요.

  1. Devin Desktop이 시작되는 환경에 API 키를 설정하세요:

    bash
    export SPICRAWL_API_KEY=spicrawl_live_...   # add to your shell profile, then restart Devin Desktop
  2. Devin Local: 서버를 로컬 범위에 추가하세요. .devin/mcp_config.local.json에 저장되며, 이 파일은 Devin이 gitignore 처리합니다. devin mcp list로 확인하세요.

    bash
    devin mcp add spicrawl https://mcp.spicrawl.com/mcp -H "Authorization: Bearer $SPICRAWL_API_KEY"

    -s project는 사용하지 마세요. 키가 들어간 채로 공유되는 커밋 대상 파일에 기록됩니다.

  3. Cascade: Cascade 패널을 열고 ... 메뉴를 클릭한 뒤 MCP 설정 파일을 엽니다. 서버를 추가하세요. Cascade가 키를 채워 주므로 파일에는 키가 들어가지 않습니다:

    ~/.config/devin/mcp_config.json
    {
      "mcpServers": {
        "spicrawl": {
          "serverUrl": "https://mcp.spicrawl.com/mcp",
          "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
        }
      }
    }

    Cascade는 모든 서버를 합쳐 100개의 도구를 허용합니다. Spicrawl은 그중 25개를 사용합니다.

  4. 스킬을 설치하세요:

    bash
    spicrawl skill install --client codex
    
    # Without the CLI:
    mkdir -p .agents/skills/spicrawl
    curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.md
  5. 이 규칙을 .devin/rules/spicrawl.md로 저장하세요(.windsurf/rules/도 계속 작동합니다). 에이전트는 작업에 웹 데이터가 관련될 때 이를 읽습니다.

    .devin/rules/spicrawl.md
    ---
    trigger: model_decision
    description: Fetching, scraping or extracting data from web pages with Spicrawl
    ---
    
    # Web data (Spicrawl)
    
    Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or
    POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code.
    Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown).
    
    - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`.
    - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status`
      in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410
      mean it does not exist; 403/429/503 mean the site refused, so escalate.
    - On an error, switch on `code`. Retry only when `retryable` is true, after
      `retry_after_seconds`. Read `diagnostics.hint` and change what it names first.
      Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED.
    - Escalate one step at a time and stop at the first that works:
      plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy`
      if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE
      or a 403 target status means retry once, then the user's own proxy.
    - Set `max_cost` on every request to the price of the step you intend.
    - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data.
    - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`.
    - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch).
      Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown,
      POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused
      with a 400 before anything is charged: scrape those URLs one by one.
    - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.

먼저 해 볼 작업

새 에이전트 탭을 열고 다음과 같이 물어보세요:

prompt
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.

에이전트는 format: "markdown"로 spicrawl_scrape를 호출해야 합니다. 첫 결과가 비어 있을 때만 render: true를 추가해야 합니다.

할 수 있는 일

이 서버는 에이전트에게 spicrawl_* 도구 25개를 제공합니다. 각 호출은 API를 직접 호출할 때와 같은 한도와 크레딧으로 사용자의 API 키로 실행됩니다.

  • 페이지 하나 읽기: spicrawl_scrape는 Markdown(기본값), 텍스트, HTML, JSON 또는 PDF를 반환합니다.
  • 여러 페이지 읽기: spicrawl_batch_submit는 최대 10,000개의 URL을 대기열에 넣습니다. 이어서 spicrawl_batch_status와 spicrawl_batch_results를 사용하세요.
  • 로그인이 필요한 페이지: spicrawl_session_create는 호출 사이에 쿠키와 스토리지를 유지합니다.
  • 실패 디버깅: spicrawl_requests_list와 spicrawl_request_get.
  • 사용량 확인: spicrawl_usage_summary 및 기타 사용량 도구입니다. 이 도구에는 read 범위가 있는 키가 필요합니다.
  • 조회하기: spicrawl_docs_search와 spicrawl_docs_read로 Spicrawl 문서를 검색하고 읽습니다.

도구 하나, spicrawl_browser_connect_url는 목록에 있지만 곧 제공될 예정입니다. spicrawl_scrape에서 렌더링 인수는 API의 js_render가 아니라 render입니다.

알아 두세요

  • 크롤링은 지원하지 않습니다. Spicrawl은 링크를 따라가거나 페이지를 찾지 않습니다. 에이전트에게 URL을 주세요.
  • 요청당 크레딧. 일반 fetch는 1 크레딧, JavaScript 렌더링은 3, 전체 브라우저 렌더링은 8입니다.
  • 실패는 무료입니다. 실패한 요청은 0 크레딧입니다.
  • 캐시는 시간을 절약해 줄 뿐 크레딧을 절약해 주지는 않습니다. 캐시 적중 비용은 그 결과를 저장한 요청과 같습니다.
  • 호출마다 상한을 두세요. max_cost를 설정하면 더 많은 비용이 들 수 있는 요청은 실행 전에 거부됩니다.
  • 곧 제공 예정: 관리형 프록시, 스텔스 모드, 원격 브라우저, 일반 문장 프롬프트를 이용한 AI 추출. 현재는 직접 프록시를 사용할 수 있습니다.

자주 묻는 질문

Windsurf는 Devin Desktop과 같은 것인가요?

예. Windsurf는 2026-06-02에 Devin Desktop으로 이름이 바뀌었습니다. 같은 에디터이며, 이 단계는 두 이름 모두에 적용됩니다.

어떤 에이전트를 설정해야 하나요, Devin Local인가요 Cascade인가요?

Devin Local은 새 탭의 기본 에이전트입니다. Cascade는 레거시 에이전트입니다. 두 에이전트는 서로 다른 파일에서 MCP 서버를 읽으므로, 사용하는 쪽을 설정하세요.

Spicrawl도 Cascade의 도구 한도에 포함되나요?

예. Cascade는 모든 서버를 합쳐 100개의 도구를 허용하며 Spicrawl은 25개를 사용합니다. 한도에 가깝다면 다른 서버를 비활성화하세요.

팀에서 서버를 차단합니다. 어떻게 해야 하나요?

팀 허용 목록이 켜져 있습니다. 관리자에게 서버 ID spicrawl(대소문자 구분)을 허용 목록에 추가해 달라고 요청하세요.

페이지당 비용이 얼마인가요?

일반 fetch는 1 크레딧, JavaScript 렌더링은 3, 풀 브라우저 렌더링은 8입니다. 실패한 요청은 0 크레딧입니다. 캐시 적중은 그 결과를 저장한 fetch와 같은 비용이 듭니다. 에이전트가 예상보다 많이 쓰지 않도록 요청마다 max_cost를 설정하게 하세요.