Распознавание погрузчиков на складах, снижаем риск травм работников

Отслеживание перемещений транспорта по территории производственного цеха/склада и предупреждение сотрудников через световую индикацию на светофоре

01. Про заказчика

Топ три в России по производству металлургической продукции, один из крупнейших в мире производителей глинозема и выплавке металлов

02. Задача проекта

Снижение травматичности на производстве

Ценность решения направлена на снижение несчастных случаев на производстве из-за передвижения погрузчиков по территории складских комплексов.

03. Как мы решали задачу

0 1

Сбор и разметка видеозаписей с привязкой к погодным условиям и состоянию ворот (открыты, закрыты).

0 2

Интеграция с интернет-реле и светофором для отправки индикации об опасности при появлении погрузчика в выделенной области.

0 3

Обучение модели распознавания погрузчика и человека в кадре, дообучение на 10 000 видео.

0 4

Настройка интеграции с почтовым сервисом заказчика для отправки агрегированных отчетов.

0 5

Добавление админ-панели для управления областями на камерах, просмотра журнала событий и управления пользователями.

0 6

Тестирование, развитие и поддержка стабильного продукта на дистанции.

Интересный факт

Для максимальной точности детекции погрузчика и человека подбирались оптимальные размеры объектов в кадре в пикселях для срабатывания ИИ.

04. Как это работает

1 Система забирает RTSP поток с камер со склада и разбивает его на кадры.

2 Происходит анализ QR-кода на предмет открытых ворот, чтобы погрузчик мог заехать.

3 Нейросеть в случае открытых ворот находит людей и погрузчик на кадрах.

4 Если они расположены близко друг к другу, то передается сигнал на светофор.

5 Клиент получает отчеты по каждому складскому цеху в части количества опасных ситуаций.

05. Наша нейросеть vs ручная проверка

Количество выявленных опасных ситуаций
Месяцы после внедрения Системы
Ось Y - Количество выявленных опасных ситуаций Ось X - Месяцы после внедрения Системы
Количество выявленных опасных ситуаций
Месяцы после внедрения Системы
Ось Y - Количество выявленных опасных ситуаций Ось X - Месяцы после внедрения Системы
Количество выявленных опасных ситуаций
Месяцы после внедрения Системы
Ось Y - Количество выявленных опасных ситуаций Ось X - Месяцы после внедрения Системы

06. Проблемы и их решение

Детекция открытых ворот

Для определения погрузчика на одной из камер важен сам факт того, что двери открыты, а значит погрузчик может туда заехать. Были разные подходы к выявлению факта открытых дверей.

Фотографии

Решение: статичный QR-код

Самым простым и надёжным оказался способ детекции QR-кода, если он есть в кадре — значит двери закрыты, а если эта открытая дверь его заслоняет, то значит погрузчик может заехать.

Фотографии

Схожие с погрузчиком объекты

В объектив часто попадали непонятные предметы по форме, которые отдаленно напоминали погрузчик и вызывали ложные срабатывания, в том числе влияли и погодные условия.

Решение: Дообучение + ROI на камерах

Добавили возможность выделения зон интересов на камерах, чтобы не учитывать лишние области в кадре для детекции. Также помогло дообучение системы распознавания на новых данных, точность близка к 98%.

07. Ценность проекта

Универсальность

Нейронная сеть позволяет работать различными типами оборудования, нет привязки к камерам.

Эффективность охраны труда

Значительное сокращение расходов на лечение сотрудников из-за травм в рабочем процессе.

Повышение % выполнения плана

За счет оперативных отчетов и уведомлений от системы в режиме онлайн повысилась эффективность рабочего процесса.

Гибкость к доработкам

Система демонстрирует свою эффективность даже в сложных условиях, но также доступна возможность внесения изменений и адаптация под новые задачи.

08. Команда, которая
внедрила проект

Техлид

Константин Порошкин

Backend-Lead

Виктор Дупляков

Менеджер проекта

Олег Клебан

Аналитик

Федор Головин

Computer Vision инженер

Роман Гаев

DevOps

Дмитрий Соркин

Куратор команды разметки

Марк Яговкин

09. Планы на будущее

Готовые проекты

Наша команда с 2017 года успешно реализовала 54 проекта с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.