Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

よくある質問

料金からプロキシまで、Spicrawl についての簡単な回答。

すべての質問

一般

Spicrawl とは?

Spicrawl は、API、CLI、MCP サーバーを通じて、あらゆる URL を、コードや AI エージェント向けのクリーンな Markdown、HTML、PDF、構造化 JSON に変換するウェブスクレイピング API です。

Spicrawl は無料ですか?

はい。ベータ期間中は無料で、毎月 1,000 クレジットが付き、クレジットカードは不要です。

Spicrawl とはどういう意味ですか?

名前は "spider"(クモ)と "crawl"(クロール)を組み合わせたもので、ロゴがクモなのはそのためです。綴りは S-P-I-C-R-A-W-L です。Spicrawl はウェブスクレイピング API です。ほしい URL を送ると、クリーンなデータが返ります。

AI アシスタント組み込みのウェブ取得を使わないのはなぜですか?

組み込みの fetch ツールは、ちょっと見るだけなら十分ですが、生のテキストや途中で切れたテキストを返すことが多く、JavaScript を実行しない場合もあります。Spicrawl はクリーンな Markdown または JSON を返し、必要なときは JavaScript をレンダリングし、ログインセッションを保持し、クリックやフォーム入力を実行し、1 つのジョブで最大 10,000 件の URL をバッチ処理します。エージェントが受け取るのは、メニューやスクリプトではなく、ページの中身です。

ウェブスクレイピングは合法ですか?

収集する内容、所在地、利用方法によります。一般に公開されているページのスクレイピングはよく行われていますが、各サイトの利用規約、著作権、GDPR などのデータ保護法を、特に個人データについて遵守する責任はあなたにあります。不明な場合は、具体的なケースについて弁護士に相談してください。

スクレイピングとデータ

JavaScript のウェブサイトをスクレイプできますか?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl は Cloudflare のようなボット対策を突破できますか?

多くの場合はそうですが、常にではありません。実際のブラウザのフィンガープリント、ブラウザレンダリング、またはご自身のプロキシを使ってください。ボットチャレンジは明確なエラーを返し、無料です。ステルスモードとマネージドプロキシはベータにはありません。

LLM 向けにウェブサイトを Markdown にするにはどうすればいいですか?

response_format を markdown に設定して URL を送ります。Spicrawl はページの本文を、メニュー、フッター、補足部分を除いた Markdown として返し、通常、生の HTML のトークンのごく一部で済みます。PDF も解析し、Markdown への変換に追加料金はかかりません。

構造化データを JSON として抽出できますか?

はい、3 つの方法があります。autoparse はページ自身のメタデータを読み取り、セレクタマップは正確なフィールドを取り出し、セレクタ付きの JSON Schema は型付きで検証された出力を返します。3 つともエンジン料金に上乗せなしで無料です。モデルを使った、普通の言葉の説明からの抽出は近日公開です。

多数の URL を一度にスクレイプできますか?

はい。バッチジョブは 1 回の呼び出しで最大 10,000 件の URL を受け付け、並列に実行します。進捗を確認してから、結果を JSON Lines としてダウンロードします。結果は 72 時間保持されます。

ログインセッションを保持できますか?

はい。セッションを作成して、各リクエストにその ID を渡すと、同じ Cookie、ブラウザストレージ、出口 IP が再利用され、ログインがページ間で引き継がれます。組織は、同時に最大 100 のライブセッションを保持できます。

クリックやフォームを自動化できますか?

はい。ブラウザアクションでは、レンダリングされたページがキャプチャされる前に、クリック、入力、選択、スクロール、待機、JavaScript の実行ができ、1 回のリクエストで最大 50 ステップです。

プロキシを使えますか?

はい。プロキシの追加料金なしで、ご自身のプロキシを持ち込めます。マネージドプロキシと組み込みの国指定は近日公開で、ベータ期間中は利用できません。

AI エージェントと開発者

Spicrawl を AI エージェントと使えますか?

はい。ホスト型 MCP サーバーにより、Claude Code、Cursor、Codex がページのスクレイプ、バッチの実行、セッションの再利用、ブラウザアクションの実行をできます。セットアップには spicrawl init を実行してください。

どのプログラミング言語を使えますか?

HTTP リクエストを送れるあらゆる言語。ドキュメントには cURL、Python、TypeScript の例があり、Node.js 18 以降向けの JavaScript / TypeScript SDK が npm(@spicrawl/sdk)にあります。spicrawl CLI は、任意のシェルやスクリプトから使えます。

CLI やダッシュボードはありますか?

両方あります。CLI はスクレイピング、バッチ、セッション、ログ、使用量をカバーし、ダッシュボードにはプレイグラウンド、アクティビティログ、使用量、キー管理があります。

クレジットと制限

失敗したリクエストにクレジットはかかりますか?

いいえ。成功したリクエストだけがクレジットを使います。通常は 1、JavaScript レンダリングは 3、フルブラウザは 8 です。エラー、ボットチャレンジ、タイムアウトは無料です。

レート制限はありますか?

はい。API キーごとにリクエストレートがあり、組織ごとに同時実行リクエスト数の上限があり、月間のクレジット枠もあります。すべてのレスポンスのヘッダーに現在の制限が示され、制限によって拒否されたリクエストは無料です。

まだ解決しませんか? ドキュメントを読むか、support@spicrawl.com にメールしてください。