AI 에이전트를 위한 호스팅형 웹 스크래핑 MCP 서버
https://mcp.spicrawl.com/mcp 서버에 에이전트를 연결하면 스크래핑 코드를 작성하지 않아도 어떤 URL이든 Markdown이나 JSON으로 읽고, 배치 작업을 실행하고, 로그인된 세션을 재사용하고, 자신의 사용량을 확인할 수 있습니다.
Spicrawl MCP 서버가 하는 일
이 서버는 AI 에이전트에게 Spicrawl을 기본 도구로 제공합니다. https://mcp.spicrawl.com/mcp에서 호스팅되며, MCP Streamable HTTP를 사용하고, 사용자의 API 키를 베어러 토큰으로 인증합니다. 모든 도구 호출은 API를 직접 호출한 것과 똑같이 해당 키로 실행되며, 한도와 크레딧도 같습니다.
명령어 하나로 설정하기
Spicrawl CLI는 MCP 서버와 Spicrawl 에이전트 스킬을 클라이언트에 추가하며, 적용하기 전에 변경 사항을 보여 줍니다:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codex또는 직접 추가하세요. 키는 SPICRAWL_API_KEY 환경 변수에 두고 설정에서 참조하면 키가 커밋되는 파일에 남지 않습니다:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}claude mcp list, codex mcp list 또는 클라이언트의 MCP 설정으로 연결을 확인하세요. spicrawl_* 도구 25개가 보여야 합니다.
작업별로 묶은 도구
| 작업 | 도구 |
|---|---|
| 페이지 하나 읽기 | spicrawl_scrape: Markdown(기본값), 텍스트, HTML 또는 JSON. 렌더링, 태그 필터, 추출, 브라우저 작업을 선택할 수 있습니다 |
| 많은 URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| 로그인이 필요한 페이지 | spicrawl_session_create, _list, _get, _context, _release, _delete |
| 실패 디버깅 | spicrawl_requests_list, spicrawl_request_get |
| 크레딧과 사용량 | spicrawl_usage, _summary, _reconciliation (read 범위 필요) |
| 조회하기 | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
CDP로 원격 브라우저에 연결하는 도구는 목록에 있지만 곧 제공될 예정입니다.
먼저 해 볼 작업
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.에이전트는 URL과 format: "markdown"로 spicrawl_scrape를 호출하고, 첫 결과가 비어 있을 때만 render: true를 추가합니다. 전체 안내는 Claude Code로 웹사이트를 스크랩하는 방법에 있습니다.
에이전트를 저렴하고 안전하게 유지하세요
- 가장 저렴한 것부터. 일반 요청은 1 크레딧, JavaScript 렌더링은 3, 전체 브라우저 렌더링은 8입니다. 에이전트는 한 단계씩 올라가며 처음 성공하는 단계에서 멈추는 것이 좋습니다.
- 모든 호출에 상한을 두세요.
max_cost를 설정하면 더 많은 비용이 드는 요청은 실행 전에 거부됩니다. - 실패는 무료입니다. 오류와 차단된 페이지는 0 크레딧입니다.
- 비용 없이 테스트하세요.
spicrawl_test_키는 샌드박스에서 실행되며 실제 크레딧을 쓰지 않습니다. - 키가 할 수 있는 일을 제한하세요. 키에는 기본적으로
scrape,batch,sessions범위가 부여됩니다. 에이전트가 사용량을 봐야 할 때만read를 부여하세요.
하지 않는 일
- 크롤링은 지원하지 않습니다. Spicrawl은 링크를 따라가거나 URL을 찾지 않습니다. 에이전트에게 URL이나 사이트맵의 목록을 주고, 많은 페이지에는 배치 작업을 사용하세요.
- 곧 제공 예정: 관리형 프록시, 스텔스 모드, 원격 브라우저 연결, 일반 문장 프롬프트를 이용한 추출. 현재는 추가 비용 없이 직접 프록시를 사용할 수 있고, CSS 선택자나 JSON Schema로 데이터를 추출할 수 있습니다.
다른 스크래핑 MCP 서버와의 비교
대부분의 스크래핑 API가 이제 MCP 서버를 제공합니다. 각 업체의 공식 문서를 인용한 비교 페이지를 바탕으로 각각이 제공하는 기능은 다음과 같습니다:
| 제공업체 | 해당 MCP 서버 |
|---|---|
| Firecrawl | 키 없이 사용할 수 있는 호스팅형 MCP 서버로, OAuth 로그인 또는 API 키를 쓸 수 있습니다. |
| ZenRows | 호스팅형 MCP 서버와 Claude Code, Cursor, Codex용 스킬 및 플러그인 에이전트 툴킷. |
| Context.dev | API 키 대신 OAuth로 로그인하는 호스팅형 MCP 서버와 에이전트 스킬. |
| ScrapingBee | 페이지, 텍스트, 스크린샷, 검색 결과, 사용량을 가져오는 도구를 갖춘 호스팅형 MCP 서버. |
| Bright Data | MIT 라이선스 MCP 서버로, 호스팅형이거나 로컬에서 실행합니다. 무료 기본 모드는 페이지를 Markdown으로 스크레이프하고 웹을 검색하며, Pro 모드는 60개 이상의 도구를 추가합니다. |
| Jina Reader | URL 읽기, 스크린샷, 검색 도구를 갖춘 호스팅형 MCP 서버. 읽기는 키 없이 작동합니다. |
| Apify | 에이전트가 기성 스크레이퍼(Actor)를 찾아 실행할 수 있게 해 주는 공식 MCP 서버. |
| Browserbase | Stagehand 기반의 호스팅형 MCP 서버로 일반 문장 명령으로 클라우드 브라우저를 제어합니다. |
에이전트가 이미 URL을 아는 페이지를 주로 읽고, 깔끔한 Markdown, 로그인 페이지용 세션, 비용이 들지 않는 실패를 원한다면 Spicrawl의 서버를 선택하세요. 에이전트가 먼저 페이지를 찾아야 한다면 크롤링이나 검색을 지원하는 서버를 선택하세요.
자주 묻는 질문
웹 스크래핑 MCP 서버란 무엇인가요?
AI 에이전트가 웹 페이지를 가져오는 도구를 쓸 수 있게 해 주는 Model Context Protocol 서버입니다. HTTP 코드를 작성하는 대신, 에이전트가 spicrawl_scrape 같은 도구를 URL과 함께 호출하면 페이지를 Markdown, 텍스트, HTML, JSON으로 돌려받습니다.
어떤 AI 에이전트와 에디터에서 작동하나요?
Streamable HTTP로 원격 서버에 연결하고 Authorization 헤더를 보낼 수 있는 모든 MCP 클라이언트에서 사용할 수 있으며, Claude Code, Cursor, VS Code, Codex CLI가 여기에 포함됩니다. Claude Desktop은 mcp-remote 브리지를 통해 연결할 수 있습니다.
Spicrawl MCP 서버는 무료인가요?
Spicrawl은 베타 기간 무료이며 신용카드가 필요하지 않습니다. 도구 호출은 API와 같은 크레딧을 사용합니다. 일반 요청은 1, JavaScript 렌더링은 3, 풀 브라우저 렌더링은 8입니다. 실패하거나 차단된 요청은 0입니다.
MCP 서버로 웹사이트 전체를 크롤할 수 있나요?
아니요. Spicrawl은 URL을 찾아내거나 링크를 따라가지 않습니다. 에이전트에 원하는 URL이나 사이트맵의 목록을 주고, 많은 페이지에는 배치 작업을 사용하세요.
API 키를 안전하게 보관하려면 어떻게 해야 하나요?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
로그인된 페이지에서도 작동하나요?
예, 본인 소유이거나 사용 권한이 있는 계정이라면 가능합니다. spicrawl_session_create로 세션을 만들고, 브라우저 작업으로 로그인한 다음, 이후 스크랩에 세션 ID를 전달하면 쿠키와 브라우저 스토리지가 이어집니다.