이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

모든 웹사이트에서 구조화된 데이터 추출

필요한 필드를 고르면 깔끔한 JSON으로 돌려받습니다.

example.com/product/1
Model X를 만나 보세요 — 클릭마다 정밀함
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00재고 있음★ 4.6 (1,284)
저지연 2.4 GHz 수신기, 70일 배터리 수명, 무소음 스위치.
사양값
연결2.4 GHz, BT5배터리70일
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · 재고 있음 · 4.6 (리뷰 1,284개)-latency 2.4 GHz 수신기, 70-day 배터리 수명, 그리고 무인 설치 옵션.| Spec      | Value        || --------- | ------------ || 연결 | 2.4 GHz, BT5 || 배터리 | 70일 |
페이지 읽기
원본 HTML토큰 12,480개
Markdown토큰 0개

메뉴, 푸터, 광고를 제거하면 원본 HTML 토큰의 3%에서 24%입니다. 예시 페이지.

작동 방식

  1. 필드에 이름 붙이기 각 필드에 CSS 선택자를 지정하세요.
  2. 보내세요 페이지 URL과 함께 extract로 보내세요.
  3. JSON을 읽습니다. 필드는 data 아래에 있습니다.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products/42",
    "extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
  }'
json
{
  "status": 200,
  "data": {
    "title": "Walnut Desk",
    "price": "$349.00"
  },
  "empty_fields": ["next_page"]
}

empty_fields는 어떤 것과도 일치하지 않은 필드를 나열합니다. 사이트가 레이아웃을 바꿨다는 첫 신호인 경우가 많습니다.

데이터를 얻는 세 가지 방법

방식보내는 것제공되는 것
autoparse"autoparse": true페이지 자체의 JSON-LD, OpenGraph, microdata, 메타데이터, 앱 상태
선택자 맵필드 이름과 CSS 선택자딱 그 필드만 텍스트로
JSON Schema필드마다 선택자가 있는 스키마타입이 지정되고 검증된 값이므로 "$1,234.56"이 1234.56이 됩니다

알아 두세요

  • 추가 크레딧 없음 요청 비용만 내면 됩니다. 일반은 1 크레딧, JavaScript는 3 크레딧입니다.
  • 곧 제공 예정: 일반 문장 프롬프트로 추출합니다. 현재는 선택자, 스키마 또는 autoparse를 사용하세요.
  • 배치에서는 지원 안 됨. 추출은 단일 스크레이프에서만 실행됩니다.
  • 사용자의 책임: 사용할 권리가 있는 데이터만 추출하세요. terms을 참고하세요.

자주 묻는 질문

웹사이트에서 데이터를 JSON으로 어떻게 추출하나요?

필드 이름과 CSS 선택자를 짝지은 맵을 extract로 보내세요. 예를 들면 "title": "h1", "price": ".price"입니다. 값은 JSON 응답의 data 아래에 담겨 돌아옵니다.

autoparse는 무엇을 하나요?

선택자 없이 페이지가 스스로 밝힌 정보를 반환합니다. JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, head 메타데이터, 내장 앱 상태가 포함됩니다.

텍스트 대신 숫자를 반환할 수 있나요?

예. 속성에 선택자가 있는 JSON Schema를 사용하세요. 값은 선언한 타입으로 변환되므로 "$1,234.56"이 1234.56이 되며, 결과는 스키마에 맞는지 검사됩니다.

사이트가 레이아웃을 바꿨는지 어떻게 알 수 있나요?

응답의 empty_fields를 확인하세요. 선택자가 아무것도 찾지 못한 필드가 나열되며, 마크업이 바뀌었다는 첫 신호인 경우가 많습니다.

선택자 대신 일반 문장으로 필드를 설명할 수 있나요?

아직은 아닙니다. 모델 프롬프트를 이용한 추출은 곧 제공될 예정입니다. 현재는 선택자, JSON Schema, autoparse를 사용하세요.