모든 웹사이트에서 구조화된 데이터 추출
필요한 필드를 고르면 깔끔한 JSON으로 돌려받습니다.
example.com/product/1


Wireless Mouse — Model X
$49.00재고 있음★ 4.6 (1,284)
저지연 2.4 GHz 수신기, 70일 배터리 수명, 무소음 스위치.
사양값
연결2.4 GHz, BT5배터리70일
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · 재고 있음 · 4.6 (리뷰 1,284개)-latency 2.4 GHz 수신기, 70-day 배터리 수명, 그리고 무인 설치 옵션.| Spec | Value || --------- | ------------ || 연결 | 2.4 GHz, BT5 || 배터리 | 70일 |페이지 읽기
원본 HTML토큰 12,480개
Markdown토큰 0개
메뉴, 푸터, 광고를 제거하면 원본 HTML 토큰의 3%에서 24%입니다. 예시 페이지.
전체 응답: 상태, URL, 엔진, 데이터. 예시 페이지.
페이지 정보, CSS 규칙 또는 선택자가 있는 JSON Schema. 예시 페이지.
풀 브라우저 렌더링에서 페이지에 실행할 단계.
작동 방식
- 필드에 이름 붙이기 각 필드에 CSS 선택자를 지정하세요.
- 보내세요 페이지 URL과 함께
extract로 보내세요. - JSON을 읽습니다. 필드는
data아래에 있습니다.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'json
{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields는 어떤 것과도 일치하지 않은 필드를 나열합니다. 사이트가 레이아웃을 바꿨다는 첫 신호인 경우가 많습니다.
데이터를 얻는 세 가지 방법
| 방식 | 보내는 것 | 제공되는 것 |
|---|---|---|
autoparse | "autoparse": true | 페이지 자체의 JSON-LD, OpenGraph, microdata, 메타데이터, 앱 상태 |
| 선택자 맵 | 필드 이름과 CSS 선택자 | 딱 그 필드만 텍스트로 |
| JSON Schema | 필드마다 선택자가 있는 스키마 | 타입이 지정되고 검증된 값이므로 "$1,234.56"이 1234.56이 됩니다 |
알아 두세요
- 추가 크레딧 없음 요청 비용만 내면 됩니다. 일반은 1 크레딧, JavaScript는 3 크레딧입니다.
- 곧 제공 예정: 일반 문장 프롬프트로 추출합니다. 현재는 선택자, 스키마 또는 autoparse를 사용하세요.
- 배치에서는 지원 안 됨. 추출은 단일 스크레이프에서만 실행됩니다.
- 사용자의 책임: 사용할 권리가 있는 데이터만 추출하세요. terms을 참고하세요.
자주 묻는 질문
웹사이트에서 데이터를 JSON으로 어떻게 추출하나요?
필드 이름과 CSS 선택자를 짝지은 맵을 extract로 보내세요. 예를 들면 "title": "h1", "price": ".price"입니다. 값은 JSON 응답의 data 아래에 담겨 돌아옵니다.
autoparse는 무엇을 하나요?
선택자 없이 페이지가 스스로 밝힌 정보를 반환합니다. JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, head 메타데이터, 내장 앱 상태가 포함됩니다.
텍스트 대신 숫자를 반환할 수 있나요?
예. 속성에 선택자가 있는 JSON Schema를 사용하세요. 값은 선언한 타입으로 변환되므로 "$1,234.56"이 1234.56이 되며, 결과는 스키마에 맞는지 검사됩니다.
사이트가 레이아웃을 바꿨는지 어떻게 알 수 있나요?
응답의 empty_fields를 확인하세요. 선택자가 아무것도 찾지 못한 필드가 나열되며, 마크업이 바뀌었다는 첫 신호인 경우가 많습니다.
선택자 대신 일반 문장으로 필드를 설명할 수 있나요?
아직은 아닙니다. 모델 프롬프트를 이용한 추출은 곧 제공될 예정입니다. 현재는 선택자, JSON Schema, autoparse를 사용하세요.