Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

あらゆるウェブサイトから構造化データを抽出

必要なフィールドを選ぶと、クリーンな JSON で返ります。

example.com/product/1
Model X のご紹介 — クリックのたびに精度を
ワイヤレスマウス — Model X
ワイヤレスマウス — Model X
$49.00在庫あり★ 4.6 (1,284)
低遅延の 2.4 GHz レシーバー、70 日間持続するバッテリー、静音スイッチ。
仕様値
接続2.4 GHz, BT5バッテリー70 日
<script type="application/ld+json">
result.md
# ワイヤレスマウス — Model X**$49.00** · 在庫あり · 4.6(1,284 件のレビュー)Low-latency 2.4 GHz レシーバー、バッテリー駆動 70-day。そしてサイレントスイッチ。| Spec      | Value        || --------- | ------------ || 接続| 2.4 GHz, BT5 || バッテリー | 70 日 |
ページの読み取り
生の HTML12,480 トークン
Markdown0 トークン

メニュー、フッター、広告を除去: 元の HTML のトークンの 3% から 24%。サンプルページ。

仕組み

  1. フィールドに名前を付ける 各フィールドに CSS セレクターを指定します。
  2. 送信する ページの URL とともに extract で送ります。
  3. JSON を読み取ります。 フィールドは data の下にあります。
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products/42",
    "extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
  }'
json
{
  "status": 200,
  "data": {
    "title": "Walnut Desk",
    "price": "$349.00"
  },
  "empty_fields": ["next_page"]
}

empty_fields は、何にも一致しなかったフィールドを一覧にします。サイトがレイアウトを変えた最初の兆候であることがよくあります。

データを得る 3 つの方法

方法送るもの得られるもの
autoparse"autoparse": trueページ自身の JSON-LD、OpenGraph、microdata、メタデータ、アプリの状態
セレクタマップフィールド名と CSS セレクタまさにそれらのフィールドだけを、テキストで
JSON Schemaフィールドごとにセレクタを持つスキーマ型付きで検証された値。"$1,234.56" は 1234.56 になります

知っておくべきこと

  • 追加クレジットなし 抽出に追加のクレジットは不要です。支払うのはリクエスト分だけで、通常は 1 クレジット、JavaScript 付きは 3 です。
  • 近日公開: 自然な言葉で書いたプロンプトからの抽出。現時点では、セレクター、スキーマ、autoparse を使ってください。
  • バッチでは使えません。 抽出は単一のスクレイプでのみ実行されます。
  • あなたの責任: 利用する権利のあるデータのみを抽出してください。terms を参照してください。

よくある質問

ウェブサイトのデータを JSON として抽出するにはどうすればいいですか?

"title": "h1" や "price": ".price" のように、フィールド名と CSS セレクタのマップを extract に指定して送ります。値は JSON レスポンスの data の下に入って返ります。

autoparse は何をしますか?

セレクタなしで、ページがすでに自分自身について述べている内容を返します。JSON-LD、OpenGraph、Twitter Card、microdata、RDFa、head のメタデータ、埋め込まれたアプリの状態です。

テキストではなく数値を返せますか?

はい。プロパティにセレクタを持つ JSON Schema を使ってください。値は宣言された型に変換され、"$1,234.56" は 1234.56 になり、結果はスキーマに照らして検証されます。

サイトがレイアウトを変えたことはどうすればわかりますか?

レスポンスの empty_fields を確認してください。セレクタが何にも一致しなかったフィールドが並び、マークアップが変わった最初の兆候であることがよくあります。

セレクタではなく、普通の言葉でフィールドを記述できますか?

まだありません。モデルのプロンプトによる抽出は近日公開です。現在は、セレクタ、JSON Schema、autoparse を使ってください。