Извлекайте структурированные данные с любого сайта
Выберите нужные поля. Получите их в виде чистого JSON.


# Wireless Mouse — Model X**$49.00** · В наличии · 4.6 (1 284 отзыва)Low-latency 2.4 GHz receiver, 70-day battery lifeи тихие переключатели.| Spec | Value || --------- | ------------ || Связь | 2.4 ГГц, BT5 || Батарея | 70 дней |Меню, футеры и реклама удалены: от 3% до 24% токенов исходного HTML. Пример страницы.
Полный ответ: статус, URL, движок и данные. Пример страницы.
Информация о странице, правила CSS или JSON Schema с селекторами. Пример страницы.
Шаги, которые нужно выполнить на странице, в рендеринге полноценным браузером.
Как это работает
- Назовите поля и задайте для каждого CSS-селектор.
- Отправьте их в
extractвместе с URL страницы. - Прочитайте JSON. Ваши поля находятся в
data.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields перечисляет поля, которые ничему не соответствовали. Часто это первый признак того, что сайт изменил вёрстку.
Три способа получить данные
| Способ | Что вы отправляете | Что вы получаете |
|---|---|---|
autoparse | "autoparse": true | Собственные JSON-LD, OpenGraph, microdata, метаданные и состояние приложения страницы |
| Карта селекторов | Имена полей и CSS-селекторы | Ровно эти поля, в виде текста |
| JSON Schema | Схема, в которой у полей есть селекторы | Типизированные, проверенные значения, поэтому "$1,234.56" становится 1234.56 |
Полезно знать
- Без дополнительных кредитов за извлечение. Вы платите только за запрос: 1 кредит за обычный, 3 с JavaScript.
- Скоро: извлечение данных по запросу на обычном языке. Сейчас используйте селекторы, схему или autoparse.
- Не для пакетов. Извлечение работает только при одиночном скрейпинге.
- Ваша ответственность: извлекайте только те данные, которые вы вправе использовать. См. наши условия.
Часто задаваемые вопросы
Как извлечь данные с сайта в виде JSON?
Отправьте extract с картой имён полей и CSS-селекторов, например "title": "h1" и "price": ".price". Значения возвращаются в data в ответе JSON.
Что делает autoparse?
Он возвращает то, что страница уже сообщает о себе, без селекторов: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, метаданные head и встроенное состояние приложения.
Может ли он возвращать числа вместо текста?
Да. Используйте JSON Schema, у свойств которой есть селектор. Значения приводятся к объявленному типу, поэтому "$1,234.56" становится 1234.56, а результат проверяется по схеме.
Как узнать, что сайт изменил вёрстку?
Проверьте empty_fields в ответе. Там перечислены поля, чей селектор ничего не нашёл, и это часто первый признак того, что разметка изменилась.
Можно ли описать поля обычными словами вместо селекторов?
Пока нет. Извлечение по промпту модели скоро появится. Сегодня используйте селекторы, JSON Schema или autoparse.