Интеллектуальная видеоаналитика для магазина самообслуживания
Разработали трекинг посетителей в реальном времени на потолочных fisheye-камерах. Система фиксирует вход, выход, движение по зонам, пребывание у кассы, групповые проходы, резкие перемещения — сценарии, которые связаны с потерями и безопасностью в магазине самообслуживания.



О проекте
Магазину самообслуживания нужно видеть полный путь посетителя: вход, движение по залу, кассовую зону и выход, потому что без продавца в зале потери, групповые проходы и нестандартное поведение становятся заметны только после разбора видео сотрудниками службы охраны.
Мы разработали модуль видеоаналитики на потолочных камерах «рыбий глаз»: система детектирует посетителей, удерживает их ID при перекрытиях, считает скорость движения и переводит координаты в бизнес-события. В основе — конвейер из детектора, трекера, ReID-модели, менеджера восстановления ID, менеджера треков и оценщика скорости.
Ключевое инженерное решение: детекция и отслеживание работают на исходном искажённом кадре, а выпрямление используется точечно — только там, где нужно посчитать реальную скорость и корректно проверить зоны.
На выходе платформа получает не видео "для просмотра", а события: вход, выход, кассовая зона, групповое посещение, резкое движение, длительная остановка и долгое пребывание в зоне. Эти события помогают контролировать риски магазина без продавца в зале: выход без кассы, групповой проход, нестандартное поведение и ситуации, которые требуют быстрой проверки.
7
Формализация событийной модели магазина
Разложили поведение посетителя на события, которые нужны платформе: вход, выход, нахождение у кассы, групповое посещение, резкое движение, длительная остановка и долгое пребывание в зонеРазметка зон и правил фиксации
Задали контролируемые области магазина: вход, торговый зал, кассовую зону и выход, чтобы система могла определять координаты посетителя и время нахождения в каждой зонеСбор конвейера обработки видеопотока
Разработали обработку потока с потолочных камер "рыбий глаз": обнаружение людей, отслеживание перемещений, удержание ID и расчёт скорости движенияРеализация логики событий и состояний
Реализация логики событий и состоянийЗапись данных для платформы клиента
Настроили сохранение событий, координат и параметров перемещения в базу данных, чтобы платформа клиента могла использовать эти данные для тревог, аналитики и дальнейшей бизнес-логикиИнтересный факт
Технологический стек
Backend
Логика обработки и базовые компоненты системыML
Модели и фреймворки для обученияВызовы и решения
Камера с широким углом искажает движение
Потолочная камера «рыбий глаз» покрывает почти весь магазин, но человек в центре и у края кадра выглядит по-разному, поэтому классические трекеры хуже удерживают траекторию.Обработка без полного выпрямления кадра
Мы оставили детекцию и отслеживание на исходном изображении, а коррекцию геометрии применили точечно — для расчёта скорости и проверки зонПосетители перекрывают друг друга
При виде сверху один посетитель может полностью закрыть другого, из-за чего система рискует потерять связь между входом, кассой и выходомВосстановление потерянных ID
Мы добавили ReID-логику: система сравнивает нового трека с недавно потерянными и возвращает прежний ID, если это тот же посетительКоординаты сами по себе не дают бизнес-смысла
Клиенту нужны понятные события: вход, выход, касса, групповое посещение, резкое движение, остановка и долгое пребываниеСобытийный слой поверх трекинга
Мы собрали логику, которая проверяет зоны, скорость и время нахождения посетителя и передаёт платформе готовые события для контроля рисковдо 15
FPS - обработка потока с потолочных камер на GPU уровня RTX 3060
85%
решений об ассоциации посетителя принимается по сходству внешности, а не только по движению
до 10
секунд - система удерживает ID посетителя даже при временной потере трека
Команда, которая внедрила проект
Владислав Калинин
Data Science Tech Lead
Константин Порошкин
ML-инженер
Алексей Цибульников
Python backend-разработчик
Дмитрий Соркин
DevOps-инженер
Никита Латышонок
CV-инженер
Бесплатный разбор вашей задачи
На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.
Рассмотрим технические ограничения и возможный первый этап проекта.
Готовые проекты
Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

















