Spicrawl теперь работает с OpenAI Agents SDK, LangChain, Codex, Claude Code и другими.Смотреть интеграции
Перейти к содержимому

Извлекайте структурированные данные с любого сайта

Выберите нужные поля. Получите их в виде чистого JSON.

example.com/product/1
Знакомьтесь: Model X — точность в каждом клике
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00В наличии★ 4.6 (1,284)
Приёмник 2.4 GHz с низкой задержкой, 70 дней работы от батареи и бесшумные переключатели.
ХарактеристикиЗначение
Подключение2.4 GHz, BT5Батарея70 дней
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec      | Value        || --------- | ------------ || Связь     | 2.4 ГГц, BT5 || Батарея   | 70 дней     |
Чтение страницы
Сырой HTML12 480 токенов
Markdown0 токенов

Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.

Как это работает

  1. Назовите поля и задайте для каждого CSS-селектор.
  2. Отправьте их в extract вместе с URL страницы.
  3. Прочитайте JSON. Ваши поля находятся в data.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products/42",
    "extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
  }'
json
{
  "status": 200,
  "data": {
    "title": "Walnut Desk",
    "price": "$349.00"
  },
  "empty_fields": ["next_page"]
}

empty_fields перечисляет поля, которые ничему не соответствовали. Часто это первый признак того, что сайт изменил вёрстку.

Три способа получить данные

СпособЧто вы отправляетеЧто вы получаете
autoparse"autoparse": trueСобственные JSON-LD, OpenGraph, microdata, метаданные и состояние приложения страницы
Карта селекторовИмена полей и CSS-селекторыРовно эти поля, в виде текста
JSON SchemaСхема, в которой у полей есть селекторыТипизированные, проверенные значения, поэтому "$1,234.56" становится 1234.56

Полезно знать

  • Без дополнительных кредитов за извлечение. Вы платите только за запрос: 1 кредит за обычный, 3 с JavaScript.
  • Скоро: извлечение данных по запросу на обычном языке. Сейчас используйте селекторы, схему или autoparse.
  • Не для пакетов. Извлечение работает только при одиночном скрейпинге.
  • Ваша ответственность: извлекайте только те данные, которые вы вправе использовать. См. наши условия.

Часто задаваемые вопросы

Как извлечь данные с сайта в виде JSON?

Отправьте extract с картой имён полей и CSS-селекторов, например "title": "h1" и "price": ".price". Значения возвращаются в data в ответе JSON.

Что делает autoparse?

Он возвращает то, что страница уже сообщает о себе, без селекторов: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, метаданные head и встроенное состояние приложения.

Может ли он возвращать числа вместо текста?

Да. Используйте JSON Schema, у свойств которой есть селектор. Значения приводятся к объявленному типу, поэтому "$1,234.56" становится 1234.56, а результат проверяется по схеме.

Как узнать, что сайт изменил вёрстку?

Проверьте empty_fields в ответе. Там перечислены поля, чей селектор ничего не нашёл, и это часто первый признак того, что разметка изменилась.

Можно ли описать поля обычными словами вместо селекторов?

Пока нет. Извлечение по промпту модели скоро появится. Сегодня используйте селекторы, JSON Schema или autoparse.