HoReCa

Измеряем фактическое время сборки заказов в ресторанах с помощью компьютерного зрения

Система сопоставляет подносы на видео с заказами из R-Keeper и фиксирует фактическую готовность к выдаче. Руководитель получает данные о скорости сборки и расхождениях с отметками сотрудников — с возможностью проверить конкретный заказ по видео.

ai-tray-order-analysis-fast-food-2.png
neurocore-chicken-nuggets-transparent.png
ai-tray-order-analysis-fast-food-2.png
NDA
ЗаказчикКрупная сеть ресторанов быстрого питания с распределёнными точками, едиными стандартами сборки заказов и централизованным контролем операционных показателей.
ЗадачаАвтоматизировать измерение фактического времени сборки заказов и проверку отметок о готовности в R-Keeper, чтобы ресторан мог оценивать скорость обслуживания по данным видеоконтроля.

О проекте

KPI скорости обслуживания в сети ресторанов быстрого питания зависели от отметок сотрудников в R-Keeper. Заказ могли отметить готовым до завершения сборки, что искажало показатели ресторана. Ручная сверка с видео требовала времени и ограничивала масштаб контроля.

Мы автоматизировали проверку: система сопоставляет поднос с заказом, фиксирует фактическое время готовности и выявляет расхождения с отметками персонала. Для идентификации использует состав визуально различимых категорий продуктов и упаковок.

Решение объединяет видео из Trassir с данными заказов из DWH. Руководитель получает статистику времени сборки и может проверить отклонения по конкретному заказу и видеофрагменту. Это позволяет оценивать выполнение KPI по фактическим событиям.
 

NDA
ЗаказчикКрупная сеть ресторанов быстрого питания с распределёнными точками, едиными стандартами сборки заказов и централизованным контролем операционных показателей.
ЗадачаАвтоматизировать измерение фактического времени сборки заказов и проверку отметок о готовности в R-Keeper, чтобы ресторан мог оценивать скорость обслуживания по данным видеоконтроля.

>98%

точность распознавания заказов в пилотной группе
1
Подключение видео и данных заказов
Объединили видеозаписи из Trassir с данными заказов из DWH. Для сопоставления использовали состав заказа и временные отметки R-Keeper
2
Настройка зон анализа
Для каждой камеры выделили область сборки и выдачи заказов. Настройки зон анализа задали отдельно для каждого ресторана
3
Подготовка обучающих данных
Подготовили более 20 тысяч размеченных образцов технических категорий и подносов на более чем 2 тысячах фрагментов кадров. Для обучения варьировали масштаб, освещённость и резкость изображений
4
Выбор модели распознавания
Сравнили YOLO26x, RT-DETR-x и D-FINE-M. В представленном сравнении D-FINE-M показала лучшие значения mAP50–95 и полноты обнаружения объектов, поэтому выбрали её для детекции
5
Трекинг подносов и состава
Объединили обнаружения по последовательности кадров, чтобы отслеживать подносы при перемещениях и перекрытиях и определять их состав по нескольким наблюдениям
6
Нормализация и сопоставление заказов
Перевели позиции меню в визуальные категории. По сочетанию категорий и временным отметкам связали распознанный поднос с заказом из кассовой системы
7
Расчёт времени и проверка событий
Вывели в интерфейс временные отметки сотрудников, моменты сборки и появления заказа в зоне выдачи по видео. Добавили статистику и переход к видеофрагменту конкретного заказа

Интересный факт

Одна визуальная категория в среднем соответствует 3,5 позициям меню: разные блюда могут иметь одинаковую упаковку

Технологический стек

Frontend

Интерфейс пользователя: отчеты, графики, панели управления

Backend

Логика обработки и базовые компоненты системы

ML

Модели и фреймворки для обучения

Вызовы и решения

Состав заказа меняется от кадра к кадру

Руки перекрывают позиции, а соседние предметы временно попадают в зону подноса.
РЕШЕНИЕ

Анализ последовательности кадров

Трекер объединяет наблюдения по времени и фиксирует состав только после его устойчивого подтверждения

Подносы теряются при перекрытиях

После исчезновения рамки один поднос может получить новый идентификатор или объединиться с соседним
РЕШЕНИЕ

Трекинг по геометрии и составу

Алгоритм учитывает положение подноса, набор позиций и короткую историю пропусков

Чек и видео описывают заказ по-разному

Кассовая система содержит блюда и комбо, а камера различает типы упаковок и отдельные категории продуктов
РЕШЕНИЕ

Единая система визуальных классов

Система разбивает такой заказ на отдельные позиции и сопоставляет их с тем, что распознано на подносе

Несколько заказов собираются одновременно

Ближайший по времени чек не всегда относится к нужному подносу, особенно в часы пик
РЕШЕНИЕ

Однозначное сопоставление заказов

Система связывает поднос с чеком по составу и времени, не создавая пару при недостаточной уверенности

>38%

полнота детекции заказов в пилотной группе

28

технических категорий для сопоставления видео с заказами

>20 000

размеченных образцов технических категорий и подносов в обучающей выборке

Команда, которая внедрила проект

Владислав Калинин
Data Science Tech Lead
Марк Яговкин
Руководитель разметки данных
Дмитрий Соркин
DevOps-инженер
Дмитрий Палий
Frontend-разработчик
Никита Латышонок
CV-инженер

Бесплатный разбор вашей задачи

На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.

Рассмотрим технические ограничения и возможный первый этап проекта.

О вашей задаче (по желанию)

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

bracket
Разработка ИИ-системы
ИИ-видеоконтроль упаковки и отгрузки товаров для маркетплейсов
marketplace-claims-video-evidence.jpg
Разработка крупной системы
Нейросеть для определения возраста: аналитика и безопасность в одном решении
age.webp
Пилотный запуск
Интеллектуальная видеоаналитика для контроля периметра, выявления угроз на интроскопах и БПЛА
ai-video-security-industrial-sites.jpg
Видеоаналитика для ресторанов
ИИ-контроль времени сборки заказов
ai-tray-order-analysis-fast-food.jpg
Разработка крупной системы
ИИ-контроль операций ко-пакинга
ai-copacking-automation.jpg
Разработка крупной системы
Автоматический подсчет рыбы в сложной производственной среде
fish-sorting-counting-ai.png