Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Часто задаваемые вопросы

Быстрые ответы о Spicrawl, от цен до прокси.

Все вопросы

Общее

Что такое Spicrawl?

Spicrawl — API для веб-скрейпинга, который превращает любой URL в чистый Markdown, HTML, PDF или структурированный JSON для вашего кода или ИИ-агента через API, CLI или MCP-сервер.

Бесплатен ли Spicrawl?

Да. Он бесплатен в бета-версии, с 1,000 кредитов в месяц и без банковской карты.

Что значит Spicrawl?

Название объединяет "spider" и "crawl", поэтому наш логотип — паук. Пишется S-P-I-C-R-A-W-L. Spicrawl — API для веб-скрейпинга: вы отправляете нужные URL, а он возвращает чистые данные.

Почему не использовать встроенную загрузку веб-страниц моего ИИ-ассистента?

Встроенные инструменты загрузки подходят для беглого просмотра, но часто возвращают сырой или обрезанный текст и могут не выполнять JavaScript. Spicrawl возвращает чистый Markdown или JSON, рендерит JavaScript, когда странице это нужно, сохраняет сессии входа, выполняет клики и ввод в формы и обрабатывает до 10,000 URL в одной пакетной задаче. Ваш агент получает содержимое страницы, а не её меню и скрипты.

Законен ли веб-скрейпинг?

Это зависит от того, что вы собираете, где находитесь и как это используете. Скрейпинг общедоступных страниц — обычное дело, но вы сами отвечаете за соблюдение условий каждого сайта, авторского права и законов о защите данных, таких как GDPR, особенно для персональных данных. Если вы не уверены, обратитесь к юристу по вашему конкретному случаю.

Скрейпинг и данные

Можно ли скрейпить JavaScript-сайты?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Может ли Spicrawl обходить защиту от ботов, например Cloudflare?

Часто, но не всегда. Используйте отпечаток настоящего браузера, рендеринг в браузере или собственный прокси. Проверка на бота возвращает понятную ошибку и ничего не стоит. Stealth-режима и управляемых прокси в бета-версии нет.

Как превратить сайт в Markdown для LLM?

Отправьте URL с response_format, равным markdown. Spicrawl возвращает основное содержимое страницы как Markdown, без меню, футеров и боковых блоков, что обычно требует малой доли токенов сырого HTML. Он также разбирает PDF, а преобразование в Markdown не стоит ничего сверху.

Можно ли извлекать структурированные данные в JSON?

Да, тремя способами: autoparse читает собственные метаданные страницы, карта селекторов извлекает точные поля, а JSON Schema с селекторами возвращает типизированный, проверенный вывод. Все три бесплатны сверх цены движка. Извлечение по описанию на обычном языке с помощью модели скоро появится.

Можно ли скрейпить много URL сразу?

Да. Пакетная задача принимает до 10,000 URL за вызов и выполняет их параллельно. Вы проверяете её ход, затем скачиваете результаты как JSON Lines. Результаты хранятся 72 часа.

Можно ли сохранить сессию входа?

Да. Создайте сессию и передавайте её ID в каждом запросе, чтобы использовать те же cookie, хранилище браузера и выходной IP, так что вход сохраняется между страницами. Организация может держать до 100 живых сессий одновременно.

Можно ли автоматизировать клики и формы?

Да. Действия в браузере могут кликать, вводить текст, выбирать, прокручивать, ждать и выполнять JavaScript на отрисованной странице до её захвата, до 50 шагов за запрос.

Можно ли использовать прокси?

Да. Используйте собственный прокси без надбавки за прокси. Управляемые прокси и встроенный выбор страны скоро появятся и недоступны в бета-версии.

ИИ-агенты и разработчики

Можно ли использовать Spicrawl с ИИ-агентами?

Да. Размещённый MCP-сервер позволяет Claude Code, Cursor и Codex скрейпить страницы, запускать пакеты, повторно использовать сессии и выполнять действия в браузере. Для настройки выполните spicrawl init.

Какие языки программирования можно использовать?

Любой язык, который умеет отправлять HTTP-запрос. В документации есть примеры на cURL, Python и TypeScript, а на npm есть SDK для JavaScript и TypeScript (@spicrawl/sdk) для Node.js 18 и новее. CLI spicrawl работает из любой оболочки или скрипта.

Есть ли CLI или дашборд?

Оба. CLI охватывает скрейпинг, пакеты, сессии, логи и использование, а в дашборде есть песочница, логи активности, использование и управление ключами.

Кредиты и лимиты

Стоят ли неудачные запросы кредитов?

Нет. Кредиты стоят только успешные запросы: 1 за обычный, 3 за рендеринг JavaScript и 8 за полноценный браузер. Ошибки, проверки на бота и тайм-ауты бесплатны.

Есть ли лимиты запросов?

Да. У каждого API-ключа есть частота запросов, у каждой организации — лимит одновременно выполняемых запросов, а также месячный лимит кредитов. Каждый ответ сообщает ваши текущие лимиты в заголовках, а запрос, отклонённый из-за лимита, ничего не стоит.

Всё ещё не получается? Читать документацию или напишите на support@spicrawl.com.