Как машинное обучение помогает «Группе Лента» прогнозировать спрос

В современном ретейле точность прогноза спроса напрямую конвертируется в финансовый результат. Ошибка в оценке будущих продаж приводит либо к пустым полкам и упущенной выручке, либо к переизбытку товара и списаниям. Например, недооценка роста спроса на горошек в новогодний период может стать причиной не только значительной потери потенциальной прибыли, но и снижения лояльности клиентов. Мы в Lenta tech (ИТ-бренд «Группы Лента») построили систему прогнозирования, которая ежедневно пересчитывает около 15 млн временных рядов для 2500 магазинов и 50 товарных групп. В основе предлагаемого подхода лежат современные методы машинного обучения (Machine Learning, ML) — ансамбли градиентного бустинга с продвинутым feature-engineering (создание признаков модели) и их авторегрессионное применение, — а не традиционные статистические методы. О том, как устроена эта платформа и почему для прогноза овощей и фруктов потребовалось отдельное решение, расскажу далее.

Масштаб и бизнес-ценность

Прогнозирование спроса в «Группе Лента» (как и в любом ретейлере) — критически важная задача. Именно на основе этих прогнозов формируются рекомендации по заказам у поставщиков в масштабах всей компании. Речь идет о балансе между доступностью товара на полке и минимизацией списаний. Наша система охватывает примерно 15 млн DFU (data-forecasting unit, единиц прогнозирования), 50 товарных групп и 2500 магазинов.

Machine Learning на практике: зачем технологии бизнесу и когда их использовать

Внедрение машинного обучения не изменило процесс управления запасами кардинально, но заметно повысило его точность. Если раньше компания опиралась преимущественно на классические методы, то сегодня ML позволяет быстрее реагировать на изменение трендов, качественнее входить в сезон и выходить из него. Главное преимущество ML перед классикой — возможность учитывать значительно больше факторов и улавливать нетривиальные зависимости. Эффект от внедрения наиболее заметен в категориях с высокой сезонностью и во время маркетинговых акций. Благодаря более точным прогнозам сократился дефицит ключевых товаров в пиковые периоды, что улучшило доступность ассортимента и повысило удовлетворенность покупателей, снизились списания скоропортящихся позиций, что повышает рентабельность, а также оптимизировались страховые запасы, высвободив часть оборотных средств для других задач.

Архитектура прогнозной платформы

В основе системы лежат модели градиентного бустинга над деревьями решений из популярных библиотек LightGBM и XGBoost, а также регрессионные и авторегрессионные модели, дополненные быстродействующими линейными алгоритмами. Такой выбор обусловлен относительной простотой настройки, устойчивостью и стабильностью результата. Градиентный бустинг занял промежуточное положение между классическими методами и нейросетевыми решениями: на момент создания системы нейросети могли обеспечить более высокую точность только ценой чрезвычайно долгой и тонкой настройки.

Модели сегментированы по направлениям, формату магазина и товарной категории. Для каждого сегмента реализован собственный набор признаков (независимых переменных), правил формирования обучающих выборок и гиперпараметров с автооптимизацией по расписанию. Такая сегментация позволяет устранить лишний «шум» и обеспечить качественное обучение: большинство факторов спроса в сегменте подчиняется практически единой логике, что дает модели возможность острее реагировать на тонкие изменения. При этом необходимо избегать чрезмерного дробления данных, поскольку оно может привести к дефициту информации, необходимой для формирования правил генерализации.

В качестве признаков модели используют как очевидные факторы (цены, праздники, промоакции), так и более сложные производные. Один из наиболее интересных кейсов, давший ощутимый прирост точности, — явное задание продаж прошлых периодов по различным типам акций и праздникам, в дополнение к стандартным скользящим окнам по продажам. Например, как продавался и продавался ли товар в конкретные промо или праздники, что подчеркивает разность механик промоакций, а также обеспечивает дополнительную стабильность при оценке скидки в будущем периоде.

Для предсказания взрывного роста продаж существуют отдельные вероятностные модели, обученные именно на аномальных всплесках спроса. На финальном этапе прогноз уточняется дополнительными быстродействующими линейными моделями, которые обеспечивают оперативную реакцию на изменение тренда.

Контроль качества и переобучение

На этапе построения и переобучения модели ее качество оценивается по двум ключевым метрикам: коэффициенту детерминации R2 и смещению (bias). В продуктивной среде мониторинг качества осуществляется с помощью показателей: WAPE (взвешенная средняя процентная ошибка), MAPE (средняя абсолютная процентная ошибка), а также отношение прогнозных значений к фактическим — что помогает выявить систематические отклонения модели на верхнем уровне. Плановая частота переобучения составляет примерно раз в полтора месяца. При этом предусмотрены внеочередные пересчеты модели в случаях:

резкого изменения входных данных или бизнес-процессов; устойчивого превышения допустимых порогов ошибок на тестовой выборке; появления новых значимых факторов, влияющих на целевую переменную.

Прогнозирование овощей и фруктов через авторегрессию в XGBoost

Категория СОФ (свежие овощи и фрукты) требует отдельного подхода. Ее ключевые особенности — стабильный ровный спрос, который резко сменяется быстрым изменением тренда, ярко выраженная внутригодовая сезонность, а также зависимость от малейших отличий во вкусовых и визуальных характеристиках товара.

Для этого направления используется авторегрессия в XGBoost. Такой подход обеспечивает лучшую производительность при малом количестве данных, что критически важно при детальной сегментации на уровне «категория — магазин». Основные сложности, с которыми столкнулась команда, — сезонность, короткий срок хранения и колебания цен. Например, их удалось преодолеть с помощью учета большего количества разнообразных признаков расположения дня и недели в году, а также ценовых признаков (как абсолютных, так и относительных) в совокупности с тонкой настройкой гиперпараметров модели.

Главная задача, которую решал этот кейс, — существенно повысить подневную точность прогнозов по WAPE и обеспечить максимально быструю реакцию на изменяющийся тренд, чтобы «ловить» ранние и поздние входы и выходы из сезона.

Заключение

Система прогнозирования спроса в «Группе Лента» — пример того, как машинное обучение решает прикладную бизнес-задачу с огромным масштабом данных. Ансамбли градиентного бустинга, сегментация моделей, авторегрессионные подходы для свежей продукции и постоянная автооптимизация позволяют компании удерживать баланс между наличием товара на полке и уровнем списаний. А команда Lenta tech продолжает развивать платформу, и впереди новые архитектурные и алгоритмические улучшения, например, построение специализированных моделей под различные категории и периоды.