이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

JavaScript 웹사이트 스크랩

JavaScript가 필요한 URL을 보내면 깔끔한 Markdown이나 JSON으로 페이지를 돌려받습니다.

Spicrawl 제어판
자동 단계 상승
브라우저
핑거프린트
프록시
관리형 프록시: 곧 제공 예정
세션
작업
에셋 차단
네트워크 캡처
캐시
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
응답 헤더 예시
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
적중
X-Credits-Charged
3
브라우저

페이지를 읽기 전에 실제 브라우저에서 JavaScript를 렌더링합니다.

예시일 뿐 실제 요청이 아닙니다. 베타는 무료입니다.

필요한 형식으로 받는 렌더링된 페이지

페이지 콘텐츠가 Markdown, JSON, HTML로 바뀌는 과정을 확인하세요. 이 예제는 출력만 보여 주며 실제 요청이 아닙니다.

example.com/product/1
Model X를 만나 보세요 — 클릭마다 정밀함
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00재고 있음★ 4.6 (1,284)
저지연 2.4 GHz 수신기, 70일 배터리 수명, 무소음 스위치.
사양값
연결2.4 GHz, BT5배터리70일
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · 재고 있음 · 4.6 (리뷰 1,284개)-latency 2.4 GHz 수신기, 70-day 배터리 수명, 그리고 무인 설치 옵션.| Spec      | Value        || --------- | ------------ || 연결 | 2.4 GHz, BT5 || 배터리 | 70일 |
페이지 읽기
원본 HTML토큰 12,480개
Markdown토큰 0개

메뉴, 푸터, 광고를 제거하면 원본 HTML 토큰의 3%에서 24%입니다. 예시 페이지.

작동 방식

  1. 페이지 URL 보내기 POST /v1/scrape로 js_render: true와 함께 보내세요.
  2. 콘텐츠를 기다립니다. wait_for를 .price 같은 CSS 선택자로 설정하세요.
  3. 렌더링된 페이지 가져오기 선택한 형식으로 받습니다. 아래 예시는 Markdown을 반환합니다.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

키는 SPICRAWL_API_KEY에 보관하세요. 브라우저 코드나 커밋하는 파일에는 절대 넣지 마세요.

JavaScript를 렌더링해야 하는 경우

일반 요청은 스크립트를 실행하지 않고 HTML을 내려받습니다. 결과가 빈 껍데기이거나 “Loading…” 메시지라면 페이지에 JavaScript가 필요할 수 있습니다. 읽기 전에 브라우저에서 실행하려면 js_render: true를 설정하세요.

이미 HTML에 있는 콘텐츠에는 일반 요청을 사용하세요. 브라우저 작업, 리소스 차단, 네트워크 캡처에도 렌더링이 필요합니다.

올바른 콘텐츠를 기다리기

옵션하는 일
wait_for캡처 전에 CSS 선택자가 나타나기를 기다립니다.
wait_for_timeout대기 한도를 0에서 120,000ms 사이로 설정하세요. wait_for가 필요하며, 0을 지정하면 기본값을 사용합니다.
wait로드 후 0에서 30,000 ms 사이의 고정 지연을 추가합니다. 가능하면 선택자를 쓰는 것이 좋습니다.
block_resources건너뛸 에셋을 선택하세요. 이미지와 글꼴은 기본적으로 차단되며, 작업과 캡처에는 예외가 적용됩니다.
response_format페이지 콘텐츠의 형식을 Markdown, JSON, HTML 중에서 고르세요.

명시적인 리소스 목록은 기본값을 대체합니다. 아무것도 차단하지 않으려면 ["none"]를 사용하세요. 페이지가 콘텐츠를 만드는 데 필요한 스크립트는 차단하지 마세요.

결과 확인

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine는 어떤 렌더링 단계(fetch, js, browser)가 실행되었는지 알려 줍니다. X-Target-Status는 사이트의 상태이고 X-Credits-Charged는 청구된 크레딧을 보여 줍니다.

wait_for가 끝내 일치하지 않으면 페이지가 X-Warning: RENDER_DEGRADED와 함께 현재 상태 그대로 돌아올 수 있습니다. 사용하기 전에 내용과 경고를 확인하세요.

렌더링 단계와 비용

  • 베타 기간 무료. 크레딧에는 각 요청의 비용이 표시됩니다.
  • JavaScript 렌더링: js_render: true는 성공한 요청당 3 크레딧입니다.
  • 풀 브라우저 렌더링: 8 크레딧입니다. 스크린샷, PDF, 작업에 사용되며 Spicrawl이 요청을 알아서 이쪽으로 보냅니다. 배포 환경에서 기본 단계를 제공할 수 없으면 한 단계 위를 사용하고 X-Warning: ENGINE_SUBSTITUTED를 반환할 수 있으며, 더 높은 가격을 거부하려면 max_cost를 설정하세요.
  • 단계는 직접 고르지 않습니다. Spicrawl이 요청에 필요한 것에 따라 고르고, 처리한 단계의 요금을 청구합니다.
  • 실패는 0입니다. 대기와 리소스 차단에는 추가 요금이 없습니다. 요청에 상한을 두려면 max_cost를 설정하세요.

알아 두세요

  • 렌더링 또는 auto 모드를 선택하세요. mode: "auto"는 js_render와 함께 사용할 수 없습니다. 먼저 fetch로 시작해 JavaScript 렌더링, 다시 전체 브라우저 렌더링 순으로 올라가며, 이전 단계가 챌린지에 막힐 때만 다음 단계로 넘어갑니다.
  • 브라우저 플래그에는 브라우저가 필요합니다. js_render 없이 wait_for, 작업, 리소스 차단을 보내면 오류가 반환됩니다.
  • 크롤링은 지원하지 않습니다. 원하는 URL을 보내세요. Spicrawl은 페이지를 찾거나 링크를 따라가지 않습니다.
  • 곧 제공 예정: 관리형 프록시, 스텔스 모드, 원격 브라우저, 일반 문장 프롬프트를 이용한 추출.
  • 사용자의 책임: 사용할 권리가 있는 페이지만 가져오세요. terms을 읽어 보세요.

자주 묻는 질문

JavaScript 웹사이트를 스크랩하려면 어떻게 하나요?

js_render를 true로 설정하고 페이지 URL을 POST https://api.spicrawl.com/v1/scrape 로 보내세요. Spicrawl이 페이지를 읽기 전에 브라우저가 스크립트를 실행합니다. Markdown, JSON, HTML 중 원하는 response_format을 선택하세요.

콘텐츠가 로드될 때까지 기다리려면 어떻게 하나요?

wait_for를 .price 같은 CSS 선택자로 설정하세요. wait_for_timeout으로 최대 120000밀리초까지 타임아웃을 설정할 수 있습니다. 선택자가 끝내 일치하지 않으면 페이지가 X-Warning: RENDER_DEGRADED와 함께 그 시점 그대로 반환될 수 있습니다. 결과를 사용하기 전에 경고를 확인하세요.

JavaScript 렌더링은 비용이 얼마인가요?

Spicrawl은 베타 기간에 무료입니다. JavaScript 렌더링에 성공하면 3 크레딧, 전체 브라우저 렌더링은 8 크레딧을 사용합니다. 배포 환경에서 JavaScript 렌더링을 제공할 수 없으면 js_render가 전체 브라우저 렌더링으로 처리되어 그 가격으로 청구될 수 있습니다. 실패한 요청은 0 크레딧입니다. 무엇이 실행되었는지는 X-Engine(fetch, js 또는 browser)과 X-Credits-Charged로 확인하세요.

JavaScript 렌더링과 auto 모드를 함께 쓸 수 있나요?

아니요. mode: auto는 js_render와 함께 사용할 수 없습니다. auto 모드는 일반 요청으로 시작해, 결과를 쓸 수 없을 때 JavaScript 렌더링, 그다음 풀 브라우저 렌더링으로 올라갑니다. JavaScript가 필요하다고 알고 있는 페이지에는 대신 js_render: true를 사용하세요.

JavaScript 웹사이트를 크롤할 수 있나요?

아니요. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 읽고 싶은 페이지 URL을 보내세요. 사용할 권리가 있는 페이지만 가져오세요.