あらゆるウェブサイトから構造化データを抽出
必要なフィールドを選ぶと、クリーンな JSON で返ります。
example.com/product/1


ワイヤレスマウス — Model X
$49.00在庫あり★ 4.6 (1,284)
低遅延の 2.4 GHz レシーバー、70 日間持続するバッテリー、静音スイッチ。
仕様値
接続2.4 GHz, BT5バッテリー70 日
<script type="application/ld+json">
result.md
# ワイヤレスマウス — Model X**$49.00** · 在庫あり · 4.6(1,284 件のレビュー)Low-latency 2.4 GHz レシーバー、バッテリー駆動 70-day。そしてサイレントスイッチ。| Spec | Value || --------- | ------------ || 接続| 2.4 GHz, BT5 || バッテリー | 70 日 |ページの読み取り
生の HTML12,480 トークン
Markdown0 トークン
メニュー、フッター、広告を除去: 元の HTML のトークンの 3% から 24%。サンプルページ。
完全な応答: ステータス、URL、エンジン、データ。サンプルページ。
ページ情報、CSS ルール、セレクター付きの JSON Schema。サンプルページ。
ページ上で実行するステップ(フルブラウザレンダリング)。
仕組み
- フィールドに名前を付ける 各フィールドに CSS セレクターを指定します。
- 送信する ページの URL とともに
extractで送ります。 - JSON を読み取ります。 フィールドは
dataの下にあります。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'json
{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields は、何にも一致しなかったフィールドを一覧にします。サイトがレイアウトを変えた最初の兆候であることがよくあります。
データを得る 3 つの方法
| 方法 | 送るもの | 得られるもの |
|---|---|---|
autoparse | "autoparse": true | ページ自身の JSON-LD、OpenGraph、microdata、メタデータ、アプリの状態 |
| セレクタマップ | フィールド名と CSS セレクタ | まさにそれらのフィールドだけを、テキストで |
| JSON Schema | フィールドごとにセレクタを持つスキーマ | 型付きで検証された値。"$1,234.56" は 1234.56 になります |
知っておくべきこと
- 追加クレジットなし 抽出に追加のクレジットは不要です。支払うのはリクエスト分だけで、通常は 1 クレジット、JavaScript 付きは 3 です。
- 近日公開: 自然な言葉で書いたプロンプトからの抽出。現時点では、セレクター、スキーマ、autoparse を使ってください。
- バッチでは使えません。 抽出は単一のスクレイプでのみ実行されます。
- あなたの責任: 利用する権利のあるデータのみを抽出してください。terms を参照してください。
よくある質問
ウェブサイトのデータを JSON として抽出するにはどうすればいいですか?
"title": "h1" や "price": ".price" のように、フィールド名と CSS セレクタのマップを extract に指定して送ります。値は JSON レスポンスの data の下に入って返ります。
autoparse は何をしますか?
セレクタなしで、ページがすでに自分自身について述べている内容を返します。JSON-LD、OpenGraph、Twitter Card、microdata、RDFa、head のメタデータ、埋め込まれたアプリの状態です。
テキストではなく数値を返せますか?
はい。プロパティにセレクタを持つ JSON Schema を使ってください。値は宣言された型に変換され、"$1,234.56" は 1234.56 になり、結果はスキーマに照らして検証されます。
サイトがレイアウトを変えたことはどうすればわかりますか?
レスポンスの empty_fields を確認してください。セレクタが何にも一致しなかったフィールドが並び、マークアップが変わった最初の兆候であることがよくあります。
セレクタではなく、普通の言葉でフィールドを記述できますか?
まだありません。モデルのプロンプトによる抽出は近日公開です。現在は、セレクタ、JSON Schema、autoparse を使ってください。