よくある質問
料金からプロキシまで、Spicrawl についての簡単な回答。
すべての質問
一般
Spicrawl とは?
Spicrawl は、API、CLI、MCP サーバーを通じて、あらゆる URL を、コードや AI エージェント向けのクリーンな Markdown、HTML、PDF、構造化 JSON に変換するウェブスクレイピング API です。
Spicrawl は無料ですか?
はい。ベータ期間中は無料で、毎月 1,000 クレジットが付き、クレジットカードは不要です。
Spicrawl とはどういう意味ですか?
名前は "spider"(クモ)と "crawl"(クロール)を組み合わせたもので、ロゴがクモなのはそのためです。綴りは S-P-I-C-R-A-W-L です。Spicrawl はウェブスクレイピング API です。ほしい URL を送ると、クリーンなデータが返ります。
AI アシスタント組み込みのウェブ取得を使わないのはなぜですか?
組み込みの fetch ツールは、ちょっと見るだけなら十分ですが、生のテキストや途中で切れたテキストを返すことが多く、JavaScript を実行しない場合もあります。Spicrawl はクリーンな Markdown または JSON を返し、必要なときは JavaScript をレンダリングし、ログインセッションを保持し、クリックやフォーム入力を実行し、1 つのジョブで最大 10,000 件の URL をバッチ処理します。エージェントが受け取るのは、メニューやスクリプトではなく、ページの中身です。
ウェブスクレイピングは合法ですか?
収集する内容、所在地、利用方法によります。一般に公開されているページのスクレイピングはよく行われていますが、各サイトの利用規約、著作権、GDPR などのデータ保護法を、特に個人データについて遵守する責任はあなたにあります。不明な場合は、具体的なケースについて弁護士に相談してください。
スクレイピングとデータ
JavaScript のウェブサイトをスクレイプできますか?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl は Cloudflare のようなボット対策を突破できますか?
多くの場合はそうですが、常にではありません。実際のブラウザのフィンガープリント、ブラウザレンダリング、またはご自身のプロキシを使ってください。ボットチャレンジは明確なエラーを返し、無料です。ステルスモードとマネージドプロキシはベータにはありません。
LLM 向けにウェブサイトを Markdown にするにはどうすればいいですか?
response_format を markdown に設定して URL を送ります。Spicrawl はページの本文を、メニュー、フッター、補足部分を除いた Markdown として返し、通常、生の HTML のトークンのごく一部で済みます。PDF も解析し、Markdown への変換に追加料金はかかりません。
構造化データを JSON として抽出できますか?
はい、3 つの方法があります。autoparse はページ自身のメタデータを読み取り、セレクタマップは正確なフィールドを取り出し、セレクタ付きの JSON Schema は型付きで検証された出力を返します。3 つともエンジン料金に上乗せなしで無料です。モデルを使った、普通の言葉の説明からの抽出は近日公開です。
多数の URL を一度にスクレイプできますか?
はい。バッチジョブは 1 回の呼び出しで最大 10,000 件の URL を受け付け、並列に実行します。進捗を確認してから、結果を JSON Lines としてダウンロードします。結果は 72 時間保持されます。
ログインセッションを保持できますか?
はい。セッションを作成して、各リクエストにその ID を渡すと、同じ Cookie、ブラウザストレージ、出口 IP が再利用され、ログインがページ間で引き継がれます。組織は、同時に最大 100 のライブセッションを保持できます。
クリックやフォームを自動化できますか?
はい。ブラウザアクションでは、レンダリングされたページがキャプチャされる前に、クリック、入力、選択、スクロール、待機、JavaScript の実行ができ、1 回のリクエストで最大 50 ステップです。
プロキシを使えますか?
はい。プロキシの追加料金なしで、ご自身のプロキシを持ち込めます。マネージドプロキシと組み込みの国指定は近日公開で、ベータ期間中は利用できません。
AI エージェントと開発者
Spicrawl を AI エージェントと使えますか?
はい。ホスト型 MCP サーバーにより、Claude Code、Cursor、Codex がページのスクレイプ、バッチの実行、セッションの再利用、ブラウザアクションの実行をできます。セットアップには spicrawl init を実行してください。
どのプログラミング言語を使えますか?
HTTP リクエストを送れるあらゆる言語。ドキュメントには cURL、Python、TypeScript の例があり、Node.js 18 以降向けの JavaScript / TypeScript SDK が npm(@spicrawl/sdk)にあります。spicrawl CLI は、任意のシェルやスクリプトから使えます。
CLI やダッシュボードはありますか?
両方あります。CLI はスクレイピング、バッチ、セッション、ログ、使用量をカバーし、ダッシュボードにはプレイグラウンド、アクティビティログ、使用量、キー管理があります。
クレジットと制限
失敗したリクエストにクレジットはかかりますか?
いいえ。成功したリクエストだけがクレジットを使います。通常は 1、JavaScript レンダリングは 3、フルブラウザは 8 です。エラー、ボットチャレンジ、タイムアウトは無料です。
レート制限はありますか?
はい。API キーごとにリクエストレートがあり、組織ごとに同時実行リクエスト数の上限があり、月間のクレジット枠もあります。すべてのレスポンスのヘッダーに現在の制限が示され、制限によって拒否されたリクエストは無料です。
まだ解決しませんか? ドキュメントを読むか、support@spicrawl.com にメールしてください。