RAG と LLM パイプライン向けのウェブスクレイピング
ウェブページを、メニュー、広告、スクリプトなしのクリーンな Markdown で取得でき、そのまま分割して埋め込めます。
RAG に Markdown を使う理由
- 構造は保たれます。 見出し、リスト、テーブル、コードが保たれるので、任意の文字数ではなく、実際のセクションで分割できます。
- トークンがはるかに少なくなります。 メニュー、フッター、広告を取り除くと、メインコンテンツは通常、元の HTML のトークンの 3% から 24% になります。
- デフォルトは本文のみ。
include_tagsとexclude_tagsでさらに絞り込めます。
仕組み
- URL を送る
POST /v1/scrapeにresponse_format: "markdown"を付けて送ります。 - 分割して埋め込む Markdown は、ご自身のパイプラインで行います。この手順は Spicrawl では行いません。
- スケジュールに合わせて更新 同じ URL をもう一度送るだけです。多数のページには、最大 10,000 件の URL を含む 1 つのバッチジョブを使ってください。
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'キーは SPICRAWL_API_KEY に保管してください。
さらに必要な情報源
- JavaScript ページ:
js_render: trueを設定してください。JavaScript ウェブサイトのスクレイピング を参照してください。 - PDF:
markdownまたはtextを指定すると、プレーンテキストに変換されます。スキャンされた PDF や暗号化された PDF はテキストを返しません。 - ログインが必要なページ: session を使ってください。ご自身が所有する、または利用が認められているアカウント向けです。
知っておくべきこと
- クロールはありません。 Spicrawl は URL を探したり、リンクをたどったりしません。たとえばサイトマップのリストを送ってください。
- キャッシュ: 結果はデフォルトで 48 時間キャッシュされます。新しく取得するには
cache_ttl: 0を設定してください。キャッシュヒットは、それを保存したフェッチと同じ料金です。 - 料金: ベータ期間中は無料です。通常のページは 1 クレジット、JavaScript は 3、フルブラウザは 8 です。失敗したリクエストは 0 クレジットです。
よくある質問
RAG に Markdown を使う理由は?
Markdown は見出し、リスト、表、コードを保つため、チャンク分割を実際の構造に沿って行えます。また、生の HTML よりずっと小さくなります。メニュー、フッター、広告を除いた本文は、通常、HTML のトークンの 3% から 24% です。
Spicrawl はコンテンツを分割したり埋め込んだりしますか?
いいえ。Spicrawl はクリーンな Markdown を返します。分割、埋め込み、ベクトルデータベースへの保存は、ご自身のパイプラインやフレームワークで行います。
ナレッジベース用に多数のページをスクレイプするにはどうすればいいですか?
1 回のバッチジョブで最大 10,000 件の URL を送り、結果を JSON Lines として読み取れます。Spicrawl はクロールしません。サイトマップなどから得た URL のリストを送ってください。
JavaScript ページや PDF を読めますか?
はい。ブラウザでコンテンツを構築するページには、js_render を true に設定します。markdown または text を指定すると、PDF はプレーンテキストに変換されます。スキャンされた PDF や暗号化された PDF はテキストを返しません。
ナレッジベースを最新に保つにはどうすればいいですか?
同じ URL を、ご自身で決めたスケジュールで再度実行します。結果はデフォルトで 48 時間キャッシュされるため、新しく取得したいときは cache_ttl を 0 に設定してください。キャッシュヒットは、それを保存したフェッチと同じ料金で課金されます。
料金はいくらですか?
ベータ期間中は無料: 毎月 1,000 クレジット、クレジットカード不要。通常のページは 1 クレジット、JavaScript レンダリングは 3、フルブラウザは 8 です。失敗したリクエストは 0 です。