자주 묻는 질문
가격부터 프록시까지 Spicrawl에 대한 빠른 답변.
모든 질문
일반
Spicrawl이란 무엇인가요?
Spicrawl은 API, CLI, MCP 서버를 통해 모든 URL을 코드나 AI 에이전트에서 쓸 수 있는 깔끔한 Markdown, HTML, PDF, 구조화된 JSON으로 바꿔 주는 웹 스크래핑 API입니다.
Spicrawl은 무료인가요?
예. 베타 기간 무료이며 매월 1,000 크레딧이 제공되고 신용카드가 필요하지 않습니다.
Spicrawl은 무슨 뜻인가요?
이름은 "spider"와 "crawl"을 합친 것이며, 그래서 로고가 거미입니다. 철자는 S-P-I-C-R-A-W-L입니다. Spicrawl은 웹 스크래핑 API입니다. 원하는 URL을 보내면 깔끔한 데이터를 돌려줍니다.
AI 어시스턴트에 내장된 웹 fetch를 쓰면 안 되는 이유는 무엇인가요?
내장 fetch 도구는 간단히 확인하는 용도로는 괜찮지만, 원본 텍스트나 잘린 텍스트를 반환하는 경우가 많고 JavaScript를 실행하지 못할 수 있습니다. Spicrawl은 깔끔한 Markdown이나 JSON을 반환하고, 페이지에 필요하면 JavaScript를 렌더링하며, 로그인 세션을 유지하고, 클릭과 폼 입력을 실행하며, 하나의 작업으로 최대 10,000개의 URL을 배치 처리합니다. 에이전트는 메뉴와 스크립트가 아닌 페이지의 내용을 받습니다.
웹 스크래핑은 합법인가요?
무엇을 수집하는지, 어디에 있는지, 어떻게 사용하는지에 따라 다릅니다. 공개된 페이지를 스크랩하는 일은 흔하지만, 각 사이트의 약관, 저작권, 그리고 특히 개인 데이터에 대해서는 GDPR 같은 개인정보 보호법을 준수할 책임은 사용자에게 있습니다. 확실하지 않다면 구체적인 사례에 대해 변호사에게 문의하세요.
스크래핑과 데이터
JavaScript 웹사이트를 스크랩할 수 있나요?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl은 Cloudflare 같은 봇 방어를 통과할 수 있나요?
대체로 가능하지만 항상 그렇지는 않습니다. 실제 브라우저 핑거프린트, 브라우저 렌더링 또는 자체 프록시를 사용하세요. 봇 챌린지는 명확한 오류로 반환되며 비용이 없습니다. 스텔스 모드와 관리형 프록시는 베타에 없습니다.
웹사이트를 LLM용 Markdown으로 바꾸려면 어떻게 하나요?
response_format을 markdown으로 설정해 URL을 보내세요. Spicrawl은 메뉴, 푸터, 사이드 콘텐츠를 제거한 페이지의 본문을 Markdown으로 반환하며, 보통 원본 HTML의 일부에 불과한 토큰만 사용합니다. PDF도 파싱하며, Markdown 변환에는 추가 비용이 들지 않습니다.
구조화된 데이터를 JSON으로 추출할 수 있나요?
예, 세 가지 방법이 있습니다. autoparse는 페이지 자체의 메타데이터를 읽고, 선택자 맵은 정확한 필드를 가져오고, 선택자가 있는 JSON Schema는 타입이 지정되고 검증된 출력을 반환합니다. 세 가지 모두 엔진 가격에 더해지는 비용이 없습니다. 모델을 사용해 일반 문장 설명으로 추출하는 기능은 곧 제공될 예정입니다.
많은 URL을 한 번에 스크랩할 수 있나요?
예. 배치 작업은 호출당 최대 10,000개의 URL을 받아 병렬로 실행합니다. 진행 상황을 확인한 다음 결과를 JSON Lines로 내려받습니다. 결과는 72시간 보관됩니다.
로그인 세션을 유지할 수 있나요?
예. 세션을 만들고 요청마다 ID를 전달하면 같은 쿠키, 브라우저 스토리지, 출구 IP를 재사용하므로 페이지 사이에서 로그인이 이어집니다. 조직은 한 번에 최대 100개의 라이브 세션을 가질 수 있습니다.
클릭과 폼 입력을 자동화할 수 있나요?
예. 브라우저 작업으로 페이지를 캡처하기 전에 렌더링된 페이지에서 클릭, 입력, 선택, 스크롤, 대기, JavaScript 실행을 요청당 최대 50단계까지 할 수 있습니다.
프록시를 쓸 수 있나요?
예. 추가 프록시 요금 없이 자체 프록시를 사용할 수 있습니다. 관리형 프록시와 내장 국가 지정은 곧 제공될 예정이며 베타 기간에는 사용할 수 없습니다.
AI 에이전트와 개발자
Spicrawl을 AI 에이전트와 함께 쓸 수 있나요?
예. 호스팅형 MCP 서버를 통해 Claude Code, Cursor, Codex가 페이지를 스크랩하고, 배치를 실행하고, 세션을 재사용하고, 브라우저 작업을 실행할 수 있습니다. spicrawl init을 실행해 설정하세요.
어떤 프로그래밍 언어를 쓸 수 있나요?
HTTP 요청을 보낼 수 있는 모든 언어에서 쓸 수 있습니다. 문서에는 cURL, Python, TypeScript 예제가 있고, Node.js 18 이상용 JavaScript 및 TypeScript SDK(@spicrawl/sdk)를 npm에서 받을 수 있습니다. spicrawl CLI는 어떤 셸이나 스크립트에서도 작동합니다.
CLI나 대시보드가 있나요?
둘 다 가능합니다. CLI로 스크래핑, 배치, 세션, 로그, 사용량을 다룰 수 있고, 대시보드에는 플레이그라운드, 활동 로그, 사용량, 키 관리가 있습니다.
크레딧과 한도
실패한 요청도 크레딧이 드나요?
아니요. 성공한 요청만 크레딧이 듭니다. 일반은 1, JavaScript 렌더링은 3, 풀 브라우저는 8입니다. 오류, 봇 챌린지, 타임아웃은 무료입니다.
속도 제한이 있나요?
예. API 키마다 요청 속도가 있고, 조직마다 동시에 실행되는 요청 수 한도가 있으며, 월간 크레딧 제공량이 있습니다. 모든 응답의 헤더에 현재 한도가 표시되며, 한도 때문에 거부된 요청은 비용이 없습니다.
아직 해결되지 않았나요? 문서 읽기 또는 support@spicrawl.com으로 이메일을 보내 주세요.