HoReCa, Ритейл

ИИ-контроль качества пиццы после печи

Система распознаёт вид, размер и тип теста каждой пиццы, проверяет пять основных дефектов и сразу сообщает сотруднику об отклонении от стандарта.

pizza-detection1.png
pizza-detection2.png
pizza-detection1.png
NDA
ЗаказчикСеть пиццерий с 70+ ресторанами, едиными стандартами приготовления и централизованным контролем качества продукции
ЗадачаРазработать систему, которая проверяет внешний вид каждой готовой пиццы, выявляет дефекты сразу после печи и формирует статистику по ресторанам и типам нарушений.

О проекте

В ресторанной сети проверка готовых пицц строилась с помощью тайного покупателя, такая проверка охватывала всего 1% продукции. При этом, в этой выборке 20–30% пицц не соответствовали стандартам, около 10% имели критичные отклонения.

 

 

Мы разработали систему компьютерного зрения с камерой над столом, куда выкладывают пиццу после печи. Сначала модель определяет вид пиццы, её размер, тип теста и вариант борта. Затем проверяет пять типов дефектов: неравномерное распределение ингредиентов, подгорелость, недостаточную пропечённость, отсутствие предусмотренного рецептом соуса и отклонение размера борта.

 

 

При обнаружении дефекта в ресторане срабатывает звуковой сигнал или приходит уведомление сотрудникам. Все события сохраняются в админ-панели и попадают в ежедневные и накопительные отчёты по ресторанам. 

NDA
ЗаказчикСеть пиццерий с 70+ ресторанами, едиными стандартами приготовления и централизованным контролем качества продукции
ЗадачаРазработать систему, которая проверяет внешний вид каждой готовой пиццы, выявляет дефекты сразу после печи и формирует статистику по ресторанам и типам нарушений.

35000

пицц в сутки - проектная производительность полной версии системы
1
Аудит видеосцены и подготовка ТЗ
Изучить столы после печи, направления движения продукции и пиковую нагрузку ресторанов. Определить количество и расположение камер, пользовательские роли, методы API и архитектуру решения.
2
Сбор и разметка данных
Собрать реальные изображения готовых пицц и разметить виды продукции, размеры, типы теста, варианты борта и пять групп дефектов
3
MVP на одной камере
Обучить модель, настроить обработку кадров и разработать backend-сервис с API. Система должна возвращать тип дефекта, подавать звуковой сигнал и формировать CSV-отчёт с целевой точностью не менее 80%
4
Веб-интерфейс и отчётность
Подключить модель к админ-панели. Добавить журнал инцидентов, подключение новых камер, настройку уведомлений, уровни доступа и отчёты по ресторанам и типам дефектов.
5
Масштабирование системы
Подготовить архитектуру для работы с 80 камерами, нагрузкой до 35 000 пицц в сутки и пиковым потоком до 7 000 пицц в час по всей сети
6
Дообучение и калибровка
Проверить систему на разных точках, камерах и условиях освещения. Дообучать модель на ошибках, новых видах пиццы и изменениях меню

Интересный факт

До 12 пицц могут одновременно находиться в одном кадре, и система должна проверить каждую отдельно

Технологический стек

Frontend

Интерфейс пользователя: отчеты, графики, панели управления

Backend

Логика обработки и базовые компоненты системы

ML

Модели и фреймворки для обучения

Вызовы и решения

Один продукт выглядит по-разному

Внешний вид пиццы меняется в зависимости от размера, типа теста и варианта борта.
РЕШЕНИЕ

Стандарт для каждого вида пиццы

Система сначала определяет вид пиццы, её размер, тип теста и вариант борта, а затем проверяет по стандартам именно для этой позиции.

Несколько пицц в одном кадре

На большом столе одновременно могут находиться до 10–12 пицц, которые частично перекрывают друг друга
РЕШЕНИЕ

Отдельная зона для каждой пиццы

Модель выделяет каждую пиццу как самостоятельный объект и проверяет её независимо от остальных

Требования зависят от рецепта

Соус сверху и конкретные ингредиенты предусмотрены только для определённых видов пиццы
РЕШЕНИЕ

Проверка по составу конкретного вида

Правила качества связываются с рецептом, поэтому система ищет только те элементы, которые должны присутствовать на этой пицце

Ассортимент регулярно меняется

Новые позиции требуют новых визуальных классов и контрольных параметров
РЕШЕНИЕ

Добавление новых позиций через систему

Для новинок собираются примеры, обновляется датасет и выпускается новая версия модели

30 видов

пицц в ассортименте распознает система

5 типов

дефектов контролирует система в MVP

70+

ресторанов - план масштабирования

Команда, которая внедрила проект

Андрей Панкратов
Python backend-разработчик
Дмитрий Долгин
Tech Lead
Дмитрий Палий
Frontend-разработчик
Владислав Калинин
Data Science Tech Lead
Даниил Фомин
Системный аналитик
Никита Латышонок
CV-инженер

Бесплатный разбор вашей задачи

На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.

Рассмотрим технические ограничения и возможный первый этап проекта.

О вашей задаче (по желанию)

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

bracket
Разработка крупной системы
ИИ-система для оценки повреждений автомобилей
damage-detection-case.png
Разработка крупной системы
ИИ-контроль операций ко-пакинга
ai-copacking-automation.jpg
Разработка крупной системы
Автоматический подсчет рыбы в сложной производственной среде
fish-sorting-counting-ai.png
Разработка крупной системы
ИИ-контроль качества печатных плат
pcb-quality-control-ai.jpg
Разработка крупной системы
AI-выявление запрещенного контента и символики
prohibited-content-symbol-detection.jpg
Генеративный ИИ
Автоматизации рутинных процессов в рекламном агентстве
advertising-agency-automation-ai.jpg