Часто задаваемые вопросы
Быстрые ответы о Spicrawl, от цен до прокси.
Все вопросы
Общее
Что такое Spicrawl?
Spicrawl — API для веб-скрейпинга, который превращает любой URL в чистый Markdown, HTML, PDF или структурированный JSON для вашего кода или ИИ-агента через API, CLI или MCP-сервер.
Бесплатен ли Spicrawl?
Да. Он бесплатен в бета-версии, с 1,000 кредитов в месяц и без банковской карты.
Что значит Spicrawl?
Название объединяет "spider" и "crawl", поэтому наш логотип — паук. Пишется S-P-I-C-R-A-W-L. Spicrawl — API для веб-скрейпинга: вы отправляете нужные URL, а он возвращает чистые данные.
Почему не использовать встроенную загрузку веб-страниц моего ИИ-ассистента?
Встроенные инструменты загрузки подходят для беглого просмотра, но часто возвращают сырой или обрезанный текст и могут не выполнять JavaScript. Spicrawl возвращает чистый Markdown или JSON, рендерит JavaScript, когда странице это нужно, сохраняет сессии входа, выполняет клики и ввод в формы и обрабатывает до 10,000 URL в одной пакетной задаче. Ваш агент получает содержимое страницы, а не её меню и скрипты.
Законен ли веб-скрейпинг?
Это зависит от того, что вы собираете, где находитесь и как это используете. Скрейпинг общедоступных страниц — обычное дело, но вы сами отвечаете за соблюдение условий каждого сайта, авторского права и законов о защите данных, таких как GDPR, особенно для персональных данных. Если вы не уверены, обратитесь к юристу по вашему конкретному случаю.
Скрейпинг и данные
Можно ли скрейпить JavaScript-сайты?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Может ли Spicrawl обходить защиту от ботов, например Cloudflare?
Часто, но не всегда. Используйте отпечаток настоящего браузера, рендеринг в браузере или собственный прокси. Проверка на бота возвращает понятную ошибку и ничего не стоит. Stealth-режима и управляемых прокси в бета-версии нет.
Как превратить сайт в Markdown для LLM?
Отправьте URL с response_format, равным markdown. Spicrawl возвращает основное содержимое страницы как Markdown, без меню, футеров и боковых блоков, что обычно требует малой доли токенов сырого HTML. Он также разбирает PDF, а преобразование в Markdown не стоит ничего сверху.
Можно ли извлекать структурированные данные в JSON?
Да, тремя способами: autoparse читает собственные метаданные страницы, карта селекторов извлекает точные поля, а JSON Schema с селекторами возвращает типизированный, проверенный вывод. Все три бесплатны сверх цены движка. Извлечение по описанию на обычном языке с помощью модели скоро появится.
Можно ли скрейпить много URL сразу?
Да. Пакетная задача принимает до 10,000 URL за вызов и выполняет их параллельно. Вы проверяете её ход, затем скачиваете результаты как JSON Lines. Результаты хранятся 72 часа.
Можно ли сохранить сессию входа?
Да. Создайте сессию и передавайте её ID в каждом запросе, чтобы использовать те же cookie, хранилище браузера и выходной IP, так что вход сохраняется между страницами. Организация может держать до 100 живых сессий одновременно.
Можно ли автоматизировать клики и формы?
Да. Действия в браузере могут кликать, вводить текст, выбирать, прокручивать, ждать и выполнять JavaScript на отрисованной странице до её захвата, до 50 шагов за запрос.
Можно ли использовать прокси?
Да. Используйте собственный прокси без надбавки за прокси. Управляемые прокси и встроенный выбор страны скоро появятся и недоступны в бета-версии.
ИИ-агенты и разработчики
Можно ли использовать Spicrawl с ИИ-агентами?
Да. Размещённый MCP-сервер позволяет Claude Code, Cursor и Codex скрейпить страницы, запускать пакеты, повторно использовать сессии и выполнять действия в браузере. Для настройки выполните spicrawl init.
Какие языки программирования можно использовать?
Любой язык, который умеет отправлять HTTP-запрос. В документации есть примеры на cURL, Python и TypeScript, а на npm есть SDK для JavaScript и TypeScript (@spicrawl/sdk) для Node.js 18 и новее. CLI spicrawl работает из любой оболочки или скрипта.
Есть ли CLI или дашборд?
Оба. CLI охватывает скрейпинг, пакеты, сессии, логи и использование, а в дашборде есть песочница, логи активности, использование и управление ключами.
Кредиты и лимиты
Стоят ли неудачные запросы кредитов?
Нет. Кредиты стоят только успешные запросы: 1 за обычный, 3 за рендеринг JavaScript и 8 за полноценный браузер. Ошибки, проверки на бота и тайм-ауты бесплатны.
Есть ли лимиты запросов?
Да. У каждого API-ключа есть частота запросов, у каждой организации — лимит одновременно выполняемых запросов, а также месячный лимит кредитов. Каждый ответ сообщает ваши текущие лимиты в заголовках, а запрос, отклонённый из-за лимита, ничего не стоит.
Всё ещё не получается? Читать документацию или напишите на support@spicrawl.com.