あらゆるウェブサイトを LLM 向けのクリーンな Markdown に変換
URL を送ると、ページの本文が Markdown で返ります。見出し、リスト、リンク、表、コードはそのままで、LLM のトークンを無駄にするナビゲーション、スクリプト、フッターは含まれません。
仕組み
- URL を送る スクレイプエンドポイントに
response_format: "markdown"を付けて送ります。 - Spicrawl はページを取得し、 指定すれば JavaScript をレンダリングし、メインコンテンツを残します。
- Markdown が返ります レスポンスボディとして返るので、プロンプト、RAG インデックス、ファイルにそのまま使えます。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownキーは SPICRAWL_API_KEY で一度設定し、コミットするコードには書き込まないでください。API のデフォルトの形式は HTML なので、必ず response_format を設定してください。
HTML から Markdown へ
一般的なページは、数段落の本文をナビゲーション、スクリプト、フッターのマークアップで包んでいます。Spicrawl はコンテンツとその構造を残します:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |見出し、リスト、リンク、テーブル、コードブロックは変換後も残ります。レイアウト、スタイル、インタラクティブな部分は残りません。実際の 6 ページでの当社の測定 では、Spicrawl の Markdown は同じページの HTML と比べてトークンが 53% から 97% 少なくなりました。
トークンを減らすオプション
| フィールド | できること |
|---|---|
response_format | markdown は見出し、リンク、テーブルを保ちます。text は Markdown の記法をすべて取り除きます。 |
main_content_only | Markdown ではデフォルトでオンです。ナビゲーション、フッター、サイドバーが除去されます。ページ全体を残すには false を設定してください。 |
include_tags | 残す CSS セレクタ。ページのうち一致する部分だけが変換されます。 |
exclude_tags | 除去する CSS セレクタ。Cookie バナーや関連記事リストなど。 |
js_render | JavaScript で作られたコンテンツのために、先にブラウザでページを読み込みます。 |
links | JSON レスポンスで、ページのリンクを別のリストとしても返します。 |
タグフィルタは変換の前に実行されるため、削除したものはモデルに届きません:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript ページと PDF
まず通常のリクエスト(1 クレジット)から始めます。結果が空のシェルや読み込み中のメッセージなら、js_render: true(3 クレジット)を付けて再送し、変換前にブラウザでページを実行します。max_cost を想定するステップに設定すると、リクエストが想定を超える料金になることはありません。
URL が PDF の場合、Spicrawl は通常の料金でプレーンテキストに解析します。見出しや表は再現されず、スキャンされた PDF や暗号化された PDF ではテキストが返されません。
多数のページを変換する
バッチジョブは 1 回の呼び出しで最大 10,000 件の URL を受け付け、並列に実行し、それぞれを Markdown で返せます。結果は 72 時間保持されます。
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl は、送られた URL を変換します。サイトをクロールしたり、ページを探したりはしないため、先にサイトのサイトマップなどから URL を集めてください。
AI エージェントから
エージェントは Spicrawl MCP サーバー から同じ変換を呼び出せます。spicrawl_scrape ツールは、デフォルトで Markdown を返します。spicrawl CLI は、ターミナルやスクリプトから同じことを行います。
コンバーター API か、HTML から Markdown への変換ライブラリか?
すでに HTML がある場合は、Turndown のようなオープンソースライブラリで、ご自身のコード内で無料で変換できます。ただし、ページの取得、JavaScript の実行、単純なリクエストを拒否するページの突破、ナビゲーションの除去は、ご自身で行う必要があります。Spicrawl はこれらの手順を 1 回のリクエストで行い、多数の異なるサイトのページを変換するときに特に役立ちます。
知っておくべきこと
- サイトのステータスを確認してください。 HTTP ステータスは Spicrawl のものです。ページ自身のステータスは
X-Target-Statusヘッダーにあります。403 を返すサイトでも HTTP 200 で返り、0 クレジットです。 - サンプルを確認してください。 メインコンテンツの分離はほとんどのページで機能しますが、特殊なレイアウトではナビゲーションが残ることがあります。数千ページをインデックスする前に、種類ごとに 1 ページずつ確認してください。
- 料金。 ベータ期間中は無料で、クレジットカードも不要です。通常のリクエストは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。Markdown 変換に追加料金はなく、失敗またはブロックされたリクエストは 0 クレジットです。
よくある質問
ウェブサイトを Markdown に変換するにはどうすればいいですか?
ページの URL と、markdown に設定した response_format を指定して、https://api.spicrawl.com/v1/scrape に POST リクエストを送ります。レスポンス本文が Markdown そのものです。spicrawl CLI(spicrawl scrape URL --format markdown)や、AI エージェントから spicrawl_scrape MCP ツールを使うこともできます。
ナビゲーション、広告、フッターは除去されますか?
はい。Markdown では、本文の分離がデフォルトでオンになっているため、ナビゲーション、フッター、補足部分は除去されます。include_tags と exclude_tags でさらに絞り込めるほか、main_content_only を false に設定するとページ全体を残せます。特殊なレイアウトではナビゲーションの一部が残ることがあるため、ページの種類ごとにサンプルを確認してください。
JavaScript が多いページも変換できますか?
はい。js_render を true にすると、変換前にブラウザでページを読み込みます。まず通常のリクエスト(1 クレジット)から始め、通常の結果が空または不完全な場合のみレンダリングしてください。レンダリングは 3 クレジットです。
PDF を Markdown に変換できますか?
markdown または text を指定すると、PDF は通常の料金でプレーンテキストに解析されます。見出しや表は再現されず、スキャンされた PDF や暗号化された PDF ではテキストが返されません。
料金はいくらですか?
Spicrawl はベータ期間中無料で、クレジットカードは不要です。リクエストはクレジットを使います。通常のリクエストは 1、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。Markdown への変換に追加料金はかからず、失敗またはブロックされたリクエストは 0 です。
多数のページを一度に変換できますか?
はい。バッチジョブは 1 回の呼び出しで最大 10,000 件の URL を受け付け、それぞれを Markdown で返せます。Spicrawl はページを探しません。サイトマップなどから、ほしい URL を送ってください。