Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

RAG と LLM パイプライン向けのウェブスクレイピング

ウェブページを、メニュー、広告、スクリプトなしのクリーンな Markdown で取得でき、そのまま分割して埋め込めます。

RAG に Markdown を使う理由

  • 構造は保たれます。 見出し、リスト、テーブル、コードが保たれるので、任意の文字数ではなく、実際のセクションで分割できます。
  • トークンがはるかに少なくなります。 メニュー、フッター、広告を取り除くと、メインコンテンツは通常、元の HTML のトークンの 3% から 24% になります。
  • デフォルトは本文のみ。 include_tags と exclude_tags でさらに絞り込めます。

仕組み

  1. URL を送る POST /v1/scrape に response_format: "markdown" を付けて送ります。
  2. 分割して埋め込む Markdown は、ご自身のパイプラインで行います。この手順は Spicrawl では行いません。
  3. スケジュールに合わせて更新 同じ URL をもう一度送るだけです。多数のページには、最大 10,000 件の URL を含む 1 つのバッチジョブを使ってください。
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

キーは SPICRAWL_API_KEY に保管してください。

さらに必要な情報源

  • JavaScript ページ: js_render: true を設定してください。JavaScript ウェブサイトのスクレイピング を参照してください。
  • PDF: markdown または text を指定すると、プレーンテキストに変換されます。スキャンされた PDF や暗号化された PDF はテキストを返しません。
  • ログインが必要なページ: session を使ってください。ご自身が所有する、または利用が認められているアカウント向けです。

知っておくべきこと

  • クロールはありません。 Spicrawl は URL を探したり、リンクをたどったりしません。たとえばサイトマップのリストを送ってください。
  • キャッシュ: 結果はデフォルトで 48 時間キャッシュされます。新しく取得するには cache_ttl: 0 を設定してください。キャッシュヒットは、それを保存したフェッチと同じ料金です。
  • 料金: ベータ期間中は無料です。通常のページは 1 クレジット、JavaScript は 3、フルブラウザは 8 です。失敗したリクエストは 0 クレジットです。

よくある質問

RAG に Markdown を使う理由は?

Markdown は見出し、リスト、表、コードを保つため、チャンク分割を実際の構造に沿って行えます。また、生の HTML よりずっと小さくなります。メニュー、フッター、広告を除いた本文は、通常、HTML のトークンの 3% から 24% です。

Spicrawl はコンテンツを分割したり埋め込んだりしますか?

いいえ。Spicrawl はクリーンな Markdown を返します。分割、埋め込み、ベクトルデータベースへの保存は、ご自身のパイプラインやフレームワークで行います。

ナレッジベース用に多数のページをスクレイプするにはどうすればいいですか?

1 回のバッチジョブで最大 10,000 件の URL を送り、結果を JSON Lines として読み取れます。Spicrawl はクロールしません。サイトマップなどから得た URL のリストを送ってください。

JavaScript ページや PDF を読めますか?

はい。ブラウザでコンテンツを構築するページには、js_render を true に設定します。markdown または text を指定すると、PDF はプレーンテキストに変換されます。スキャンされた PDF や暗号化された PDF はテキストを返しません。

ナレッジベースを最新に保つにはどうすればいいですか?

同じ URL を、ご自身で決めたスケジュールで再度実行します。結果はデフォルトで 48 時間キャッシュされるため、新しく取得したいときは cache_ttl を 0 に設定してください。キャッシュヒットは、それを保存したフェッチと同じ料金で課金されます。

料金はいくらですか?

ベータ期間中は無料: 毎月 1,000 クレジット、クレジットカード不要。通常のページは 1 クレジット、JavaScript レンダリングは 3、フルブラウザは 8 です。失敗したリクエストは 0 です。