Ритейл

Интеллектуальная видеоаналитика для магазина самообслуживания

Разработали трекинг посетителей в реальном времени на потолочных fisheye-камерах. Система фиксирует вход, выход, движение по зонам, пребывание у кассы, групповые проходы, резкие перемещения — сценарии, которые связаны с потерями и безопасностью в магазине самообслуживания.

self-service-store-video-analytics-1.png
self-service-store-video-analytics-2.png
self-service-store-video-analytics-1.png
NDA
ЗаказчикРазработчик платформы для магазинов самообслуживания.
ЗадачаРазработать модуль видеоаналитики, который отслеживает путь посетителя по магазину самообслуживания: вход, перемещение по зонам, кассовую зону и выход.

О проекте

Магазину самообслуживания нужно видеть полный путь посетителя: вход, движение по залу, кассовую зону и выход, потому что без продавца в зале потери, групповые проходы и нестандартное поведение становятся заметны только после разбора видео сотрудниками службы охраны.

 

Мы разработали модуль видеоаналитики на потолочных камерах «рыбий глаз»: система детектирует посетителей, удерживает их ID при перекрытиях, считает скорость движения и переводит координаты в бизнес-события. В основе — конвейер из детектора, трекера, ReID-модели, менеджера восстановления ID, менеджера треков и оценщика скорости. 

 

Ключевое инженерное решение: детекция и отслеживание работают на исходном искажённом кадре, а выпрямление используется точечно — только там, где нужно посчитать реальную скорость и корректно проверить зоны.

 

На выходе платформа получает не видео "для просмотра", а события: вход, выход, кассовая зона, групповое посещение, резкое движение, длительная остановка и долгое пребывание в зоне. Эти события помогают контролировать риски магазина без продавца в зале: выход без кассы, групповой проход, нестандартное поведение и ситуации, которые требуют быстрой проверки.

NDA
ЗаказчикРазработчик платформы для магазинов самообслуживания.
ЗадачаРазработать модуль видеоаналитики, который отслеживает путь посетителя по магазину самообслуживания: вход, перемещение по зонам, кассовую зону и выход.

7

типов событий для контроля поведения посетителей в магазине самообслуживания
1
Формализация событийной модели магазина
Разложили поведение посетителя на события, которые нужны платформе: вход, выход, нахождение у кассы, групповое посещение, резкое движение, длительная остановка и долгое пребывание в зоне
2
Разметка зон и правил фиксации
Задали контролируемые области магазина: вход, торговый зал, кассовую зону и выход, чтобы система могла определять координаты посетителя и время нахождения в каждой зоне
3
Сбор конвейера обработки видеопотока
Разработали обработку потока с потолочных камер "рыбий глаз": обнаружение людей, отслеживание перемещений, удержание ID и расчёт скорости движения
4
Реализация логики событий и состояний
Реализация логики событий и состояний
5
Запись данных для платформы клиента
Настроили сохранение событий, координат и параметров перемещения в базу данных, чтобы платформа клиента могла использовать эти данные для тревог, аналитики и дальнейшей бизнес-логики

Интересный факт

Одна ошибка ID может превратить нормальную покупку в ложный инцидент.

Если система потеряла посетителя у кассы и "увидела" другого посетителя на выходе, платформа может ошибочно посчитать, что человек вышел без оплаты.

Технологический стек

Backend

Логика обработки и базовые компоненты системы

ML

Модели и фреймворки для обучения

Вызовы и решения

Камера с широким углом искажает движение

Потолочная камера «рыбий глаз» покрывает почти весь магазин, но человек в центре и у края кадра выглядит по-разному, поэтому классические трекеры хуже удерживают траекторию.
РЕШЕНИЕ

Обработка без полного выпрямления кадра

Мы оставили детекцию и отслеживание на исходном изображении, а коррекцию геометрии применили точечно — для расчёта скорости и проверки зон

Посетители перекрывают друг друга

При виде сверху один посетитель может полностью закрыть другого, из-за чего система рискует потерять связь между входом, кассой и выходом
РЕШЕНИЕ

Восстановление потерянных ID

Мы добавили ReID-логику: система сравнивает нового трека с недавно потерянными и возвращает прежний ID, если это тот же посетитель

Координаты сами по себе не дают бизнес-смысла

Клиенту нужны понятные события: вход, выход, касса, групповое посещение, резкое движение, остановка и долгое пребывание
РЕШЕНИЕ

Событийный слой поверх трекинга

Мы собрали логику, которая проверяет зоны, скорость и время нахождения посетителя и передаёт платформе готовые события для контроля рисков

до 15

FPS - обработка потока с потолочных камер на GPU уровня RTX 3060

85%

решений об ассоциации посетителя принимается по сходству внешности, а не только по движению

до 10

секунд - система удерживает ID посетителя даже при временной потере трека

Команда, которая внедрила проект

Владислав Калинин
Data Science Tech Lead
Константин Порошкин
ML-инженер
Алексей Цибульников
Python backend-разработчик
Дмитрий Соркин
DevOps-инженер
Никита Латышонок
CV-инженер

Бесплатный разбор вашей задачи

На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.

Рассмотрим технические ограничения и возможный первый этап проекта.

О вашей задаче (по желанию)

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

bracket
Разработка крупной системы
Нейросеть для определения возраста: аналитика и безопасность в одном решении
age.webp
ИИ для образования
Распознавание рукописного текста на экзаменационных бланках с помощью нейросети
ocr-documents-case.png
Разработка крупной системы
ИИ-система для оценки повреждений автомобилей
damage-detection-case.png
Пилотный запуск
Интеллектуальная видеоаналитика для контроля периметра, выявления угроз на интроскопах и БПЛА
ai-video-security-industrial-sites.jpg
Видеоаналитика для ресторанов
ИИ-контроль времени сборки заказов
ai-tray-order-analysis-fast-food.jpg
AI-Mirror
ИИ-интерактив для бренд-зоны
ai-interactive-exhibition-stand.jpg