Измеряем фактическое время сборки заказов в ресторанах с помощью компьютерного зрения
Система сопоставляет подносы на видео с заказами из R-Keeper и фиксирует фактическую готовность к выдаче. Руководитель получает данные о скорости сборки и расхождениях с отметками сотрудников — с возможностью проверить конкретный заказ по видео.



О проекте
KPI скорости обслуживания в сети ресторанов быстрого питания зависели от отметок сотрудников в R-Keeper. Заказ могли отметить готовым до завершения сборки, что искажало показатели ресторана. Ручная сверка с видео требовала времени и ограничивала масштаб контроля.
Мы автоматизировали проверку: система сопоставляет поднос с заказом, фиксирует фактическое время готовности и выявляет расхождения с отметками персонала. Для идентификации использует состав визуально различимых категорий продуктов и упаковок.
Решение объединяет видео из Trassir с данными заказов из DWH. Руководитель получает статистику времени сборки и может проверить отклонения по конкретному заказу и видеофрагменту. Это позволяет оценивать выполнение KPI по фактическим событиям.
>98%
Подключение видео и данных заказов
Объединили видеозаписи из Trassir с данными заказов из DWH. Для сопоставления использовали состав заказа и временные отметки R-KeeperНастройка зон анализа
Для каждой камеры выделили область сборки и выдачи заказов. Настройки зон анализа задали отдельно для каждого ресторанаПодготовка обучающих данных
Подготовили более 20 тысяч размеченных образцов технических категорий и подносов на более чем 2 тысячах фрагментов кадров. Для обучения варьировали масштаб, освещённость и резкость изображенийВыбор модели распознавания
Сравнили YOLO26x, RT-DETR-x и D-FINE-M. В представленном сравнении D-FINE-M показала лучшие значения mAP50–95 и полноты обнаружения объектов, поэтому выбрали её для детекцииТрекинг подносов и состава
Объединили обнаружения по последовательности кадров, чтобы отслеживать подносы при перемещениях и перекрытиях и определять их состав по нескольким наблюдениямНормализация и сопоставление заказов
Перевели позиции меню в визуальные категории. По сочетанию категорий и временным отметкам связали распознанный поднос с заказом из кассовой системыРасчёт времени и проверка событий
Вывели в интерфейс временные отметки сотрудников, моменты сборки и появления заказа в зоне выдачи по видео. Добавили статистику и переход к видеофрагменту конкретного заказаИнтересный факт
Технологический стек
Frontend
Интерфейс пользователя: отчеты, графики, панели управленияBackend
Логика обработки и базовые компоненты системыML
Модели и фреймворки для обученияВызовы и решения
Состав заказа меняется от кадра к кадру
Руки перекрывают позиции, а соседние предметы временно попадают в зону подноса.Анализ последовательности кадров
Трекер объединяет наблюдения по времени и фиксирует состав только после его устойчивого подтвержденияПодносы теряются при перекрытиях
После исчезновения рамки один поднос может получить новый идентификатор или объединиться с соседнимТрекинг по геометрии и составу
Алгоритм учитывает положение подноса, набор позиций и короткую историю пропусковЧек и видео описывают заказ по-разному
Кассовая система содержит блюда и комбо, а камера различает типы упаковок и отдельные категории продуктовЕдиная система визуальных классов
Система разбивает такой заказ на отдельные позиции и сопоставляет их с тем, что распознано на подносеНесколько заказов собираются одновременно
Ближайший по времени чек не всегда относится к нужному подносу, особенно в часы пикОднозначное сопоставление заказов
Система связывает поднос с чеком по составу и времени, не создавая пару при недостаточной уверенности>38%
полнота детекции заказов в пилотной группе
28
технических категорий для сопоставления видео с заказами
>20 000
размеченных образцов технических категорий и подносов в обучающей выборке
Команда, которая внедрила проект
Владислав Калинин
Data Science Tech Lead
Марк Яговкин
Руководитель разметки данных
Дмитрий Соркин
DevOps-инженер
Дмитрий Палий
Frontend-разработчик
Никита Латышонок
CV-инженер
Бесплатный разбор вашей задачи
На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.
Рассмотрим технические ограничения и возможный первый этап проекта.
Готовые проекты
Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.
















