이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

RAG 및 LLM 파이프라인용 웹 스크래핑

메뉴, 광고, 스크립트 없이 청크로 나누고 임베딩할 수 있는 깔끔한 Markdown으로 웹 페이지를 가져오세요.

RAG에 Markdown을 쓰는 이유

  • 구조는 유지됩니다. 제목, 목록, 표, 코드가 유지되므로 임의의 글자 수 대신 실제 섹션 단위로 나눌 수 있습니다.
  • 토큰이 훨씬 적습니다. 메뉴, 푸터, 광고를 제거하면 본문은 보통 원본 HTML 토큰의 3%에서 24%입니다.
  • 기본값은 본문만 반환합니다. include_tags와 exclude_tags로 더 좁힐 수 있습니다.

작동 방식

  1. URL 보내기 POST /v1/scrape로 response_format: "markdown"와 함께 보내세요.
  2. 청크 분할 및 임베딩 직접 만든 파이프라인에서 Markdown을 처리하세요. Spicrawl은 이 단계를 수행하지 않습니다.
  3. 원하는 일정에 맞춰 새로 고침 같은 URL을 다시 보내면 됩니다. 많은 페이지에는 최대 10,000개 URL의 배치 작업 하나를 사용하세요.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

키는 SPICRAWL_API_KEY에 보관하세요.

더 많은 것이 필요한 출처

  • JavaScript 페이지: js_render: true를 설정하세요. JavaScript 웹사이트 스크래핑를 참고하세요.
  • PDF: markdown 또는 text를 요청하면 일반 텍스트로 파싱됩니다. 스캔했거나 암호화된 PDF는 텍스트를 반환하지 않습니다.
  • 로그인이 필요한 페이지: 본인 소유이거나 사용 권한이 있는 계정에는 session을 사용하세요.

알아 두세요

  • 크롤링은 지원하지 않습니다. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 사이트맵 등에서 가져온 목록을 보내세요.
  • 캐싱: 결과는 기본적으로 48시간 동안 캐시됩니다. 새로 가져오려면 cache_ttl: 0를 설정하세요. 캐시 적중은 그 결과를 저장한 요청과 같은 비용으로 청구됩니다.
  • 가격: 베타 기간에는 무료입니다. 일반 페이지는 1 크레딧, JavaScript는 3, 전체 브라우저는 8입니다. 실패한 요청은 0 크레딧입니다.

자주 묻는 질문

RAG에 Markdown을 쓰는 이유는 무엇인가요?

Markdown은 제목, 목록, 표, 코드를 유지하므로 청커가 실제 구조를 기준으로 나눌 수 있습니다. 원본 HTML보다 훨씬 작기도 합니다. 메뉴, 푸터, 광고를 제거한 본문은 보통 HTML 토큰의 3%에서 24%입니다.

Spicrawl은 콘텐츠를 청크로 나누거나 임베딩하나요?

아니요. Spicrawl은 깔끔한 Markdown을 반환합니다. 청크로 나누고, 임베딩하고, 벡터 데이터베이스에 저장하는 일은 사용자의 파이프라인이나 프레임워크에서 이루어집니다.

지식 베이스를 위해 많은 페이지를 스크랩하려면 어떻게 하나요?

한 번의 배치 작업으로 최대 10,000개의 URL을 보내고 결과를 JSON Lines로 읽으세요. Spicrawl은 크롤링하지 않습니다. 예를 들어 사이트맵에서 가져온 URL 목록을 직접 보내세요.

JavaScript 페이지와 PDF를 읽을 수 있나요?

네. 브라우저에서 콘텐츠를 만드는 페이지에는 js_render를 true로 설정하세요. markdown이나 text를 요청하면 PDF는 일반 텍스트로 파싱되며, 스캔했거나 암호화된 PDF는 텍스트를 반환하지 않습니다.

지식 베이스를 최신 상태로 유지하려면 어떻게 하나요?

직접 정한 일정에 따라 같은 URL을 다시 실행하세요. 결과는 기본적으로 48시간 동안 캐시되므로, 새로 가져와야 할 때는 cache_ttl을 0으로 설정하세요. 캐시 적중은 그 결과를 저장한 fetch와 같은 방식으로 과금됩니다.

비용이 얼마인가요?

베타 기간 무료: 매월 1,000 크레딧, 신용카드 불필요. 일반 페이지는 1 크레딧, JavaScript 렌더링은 3, 풀 브라우저는 8입니다. 실패한 요청은 0입니다.