Распознавание пустот на полках с товарами в розничных магазинах

Выявление пустых полок, где уже раскупили все товары, для оперативного повторного заполнения со стороны мерчендайзеров торговой точки

01. Про заказчика

Сетевой продавец товаров массового потребления с более чем 1000 розничными торговыми точками по Российской Федерации.

02. Задача проекта

Оперативное выявление полок без товаров на них

Ценность решения направлена на сокращение времени заполнения товарами полок со стороны мерчендайзеров для снижения процента отказов со стороны покупателей (ряд позиций уникальны и клиенты могут хотеть приобрести именно их или уйти в другой магазин).

03. Как мы решали задачу

0 1

Сбор видеозаписей с полками, на которых специально убирались товары в большом количестве.

0 2

Разметка областей с товарами и без товаров на каждой полке для передачи информации в нейронную сеть.

0 3

Обучение модели распознавания пустот с учетом дополнительной карты глубины наличия товаров сзади на полке.

0 4

Интеграция системы с существующими приложениями клиента через API для генерации отчетов по пустотам.

0 5

Тестирование и настройка алгоритмов на основе полученных результатов распознавания.

0 6

Донастройка алгоритмов на новых торговых точках, мониторинг работы решения на дистанции.

Интересный факт

Для максимальной ценности на каждой полке был размечен каждый из товаров отдельно. Цель — понимание какого конкретно товара не хватает на полке для помощи сотрудникам магазина.

04. Как это работает

1 Система забирает RTSP поток с камер торговой точки и разбивает на кадры.

2 Кадры передаются нейросети, которая выделяет каждый товар по очертаниям и форме.

3 Нейросеть сверяет эталонные планограммы по количеству товаров на полке с тем, что реально в наличии.

4 Выявляет количество позиций, которые отсутствуют на полке и фиксирует длительность.

5 Клиент получает отчеты по каждой торговой точке в разрезе числа отсутствующих бутылок и длительности пустот.

05. Наша нейросеть vs ручная проверка

Количество товаров на полках после проверки ИИ
Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10
Ось Y - Количество товаров на полках после проверки ИИ Ось X - Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10
Количество товаров на полках после проверки ИИ
Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10
Ось Y - Количество товаров на полках после проверки ИИ Ось X - Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10
Количество товаров на полках после проверки ИИ
Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10
Ось Y - Количество товаров на полках после проверки ИИ Ось X - Месяцы после внедрения Системы
Максимум вмещается товаров на одной полке - 10

06. Проблемы и их решение

Низкое качество видео с камер

На этапе предпроектного исследования выявили, что часть камер работает корректно, а часть имеет очень мутное изображение, особенно когда появлялись динамические действия в кадре.

Фотографии

Решение: повышение битрейта

Выявили, что ряд камер имело низкий битрейт и дополнительно произвели аналогичные настройки камер, что помогло добиться нужных результатов при распознавании (снизить шум).

Фотографии

Острые углы, сложный ракурс

Часть камер исходно ставилась не для целей видеоаналитики, а в основной для службы безопасности, часть стеллажей с товарами не охватывалось вовсе существующими камерами или под очень острыми углами/большими расстояниями от объектива.

Решение: Корректировка ракурсов

Не меняя оборудования, частично передвинули существующие камеры для максимального покрытия стеллажей и полок. Зафиксировали ограничения на те стеллажи, которые будут являться предметом распознавания компьютерного зрения, а какие пока за кадром.

07. Ценность проекта

Универсальность

Нейронная сеть позволяет работать различными типами товаров для выявления пустот на полках.

Улучшение клиентского опыта

Значительное сокращение недовольных клиентов, потерь среди целевой аудитории за счет постоянного наличия товаров.

Повышение % выполнения плана

За счет товаров на полках, а не на складе повысился и процент выполнения плана торговых точек, где тестировалась данная технология.

Гибкость к доработкам

Система демонстрирует свою эффективность даже в сложных условиях, но также доступна возможность внесения изменений и адаптация под новые задачи.

08. Команда, которая
внедрила проект

Техлид

Константин Порошкин

Backend-Lead

Виктор Дупляков

Менеджер проекта

Олег Клебан

Аналитик

Федор Головин

Computer Vision инженер

Роман Гаев

DevOps

Дмитрий Соркин

Куратор команды разметки

Марк Яговкин

09. Планы на будущее

Готовые проекты

Наша команда с 2017 года успешно реализовала 54 проекта с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.