Как мы собираем данные о новостройках

1. Источники данных

Мы используем два источника, не пересекающихся между собой:

2. Как устроен парсинг

Под каждого застройщика мы пишем отдельный модуль (на Python), который ходит по тем же страницам, что и обычный покупатель. Принципы:

• Соблюдаем разумные интервалы между запросами и не нагружаем сайты застройщиков.
• Уважаем robots.txt — если сайт явно запрещает индексацию какого-то раздела, мы его не парсим.
• Не обходим капчи и защиту: если застройщик закрыл доступ, мы фиксируем это и приостанавливаем сбор.
• Все данные хранятся и публикуются в обезличенной форме — никаких персональных данных покупателей.

Для каждой квартиры извлекаем: ЖК, корпус, секцию, этаж, номер квартиры, количество комнат, площадь, актуальную цену, цену со скидкой (если есть), статус продажи. Эти атрибуты нормализуются (например, «1 комн.», «1-к», «1К» сводятся к одному виду) и попадают в единое хранилище.

3. Частота обновлений

Парсеры запускаются по расписанию ежедневно. Полный цикл по всем застройщикам занимает несколько часов; данные на сайте появляются обычно в течение того же дня. Если по какому-то застройщику парсинг не удался — мы оставляем последние корректные значения и помечаем дату последнего успешного сбора.

Динамика цен пересчитывается тоже ежедневно: для каждого жилого комплекса мы храним историю изменений цены по каждой квартире и заново считаем средние, минимумы и проценты роста/падения за последние 7 и 30 дней.

4. Как мы обрабатываем цены

1. Снятие среза. При каждом обходе сохраняем «фотографию» прайс-листа: какая квартира была доступна, по какой цене, со скидкой или без.
2. Сравнение с предыдущим срезом. Если цена поменялась — пишем запись в историю изменений (price_changes): что было, что стало, дата.
3. Учёт исчезнувших квартир. Если квартира пропала из прайса — фиксируем дату «снятия с продажи». Это важно для расчёта реальной активности продаж.
4. Учёт вернувшихся. Иногда квартиру ненадолго убирают из прайса и возвращают. Такие случаи мы помечаем отдельно, чтобы не считать их «новыми лотами».
5. Расчёт средней цены за квадратный метр. Берём только активные квартиры с ненулевой площадью; формула: сумма цен ÷ сумма площадей.

5. Открытые данные наш.дом.рф

Раздел «продажи и ДДУ» на страницах ЖК берётся из публичного API портала наш.дом.рф — государственного источника, обязательного для застройщиков по закону 214-ФЗ. Оттуда мы получаем число зарегистрированных договоров долевого участия, общий объём сделок за месяц и долю проданных квартир. Эти цифры идут «как есть» и обновляются ежемесячно вместе с публикацией от ДОМ.РФ.

Класс жилья (комфорт/бизнес/премиум), материал стен, этажность и сроки сдачи также берутся из проектной декларации на наш.дом.рф — это самые надёжные данные о строящемся объекте.

6. Расчёт динамики и статистики

Для каждого застройщика и для каждого ЖК мы считаем сводные показатели за последние 7 дней:

• up_count / down_count — число подорожавших и подешевевших квартир.
• up_pct / down_pct — суммарный рост и снижение в процентах от исходной стоимости тех квартир, цена которых изменилась.
• total_pct — итоговая динамика (нетто: рост минус падение, делённое на исходную сумму).
• avg_price_m2 — средневзвешенная цена квадратного метра по всем активным квартирам.

Эти показатели публикуются на страницах «Динамика цен», в карточках застройщиков (прайс-листы) и в карточках ЖК.

7. Контроль качества и ограничения

Что мы делаем. Для каждого парсера прописаны проверки на «аномалии»: если цена квартиры внезапно изменилась более чем на 30% или площадь стала отрицательной — запись помечается на ручную проверку, а не публикуется автоматически. По каждому застройщику отслеживаем дату последнего успешного сбора.

Чего мы не можем гарантировать. Цены на сайтах застройщиков иногда меняются несколько раз в день; мы фиксируем срез один раз в сутки. Скидки «по звонку» или индивидуальные коммерческие предложения, которые не публикуются открыто, в наших данных не отражены. По части ЖК наш.дом.рф публикует информацию с задержкой — мы перепроверяем эти данные при следующем обновлении.

Сайт носит исключительно информационно-аналитический характер. Все цифры — это срез публичных данных на дату сбора, а не оферта. Перед сделкой обязательно сверяйте цену напрямую у застройщика.

8. Как получить доступ к данным

Все основные данные — динамика, прайс-листы, страницы ЖК — доступны прямо на сайте без регистрации. Для удобной работы есть бесплатный Telegram-бот @radar_kvartir_bot, который умеет присылать еженедельные отчёты по выбранным ЖК и уведомлять об изменениях цен.

Профессиональным пользователям (риелторам, агентствам, аналитикам) доступны ежедневные XLSX-выгрузки и REST API — подробности на странице для риелторов и юр. лиц. Если вы заметили ошибку в наших данных или хотите предложить добавить нового застройщика — напишите на контактах.