Нейросеть для мониторинга и контроля усталости операторов

Система с интеграцией в рентген для блокировки ленты, когда оператора нет на месте или он отвлекается от анализа содержимого багажа

О проекте

На этом месте представлено видео, демонстрирующее работу нашей технологии. Визуализация показывает, как нейросеть следит за поведением операторов, устанавливая линии и оценивая степень внимания.

01. Про заказчика

Дистрибьютор оборудования для безопасности в аэропорты, метро и торговые центры. Компания, которые обслуживает данное оборудование и следит за уровнем безопасности.

02. Задача проекта

Задача по контролю усталости операторов

Поддерживать высокий уровень безопасности и внимание со стороны операторов, осматривающих багаж и иные грузы. Фиксировать факты отвлечения или отсутствия человека на рабочем месте, а также уведомлять о подобных нарушениях и сохранять в журнале с отчетами.

03. Как мы решали задачу

0 1

Провели детальный анализ нужны клиента и определили ключевые факторы усталости операторов.

0 2

Собрали и обработали данные для обучения нейросети, используя видеоматериалы с примерами различных состояний операторов.

0 3

Разработали систему мониторинга, использующую алгоритмы машинного обучения и компьютерного зрения для распознавания признаков усталости.

0 4

Интегрировали решение в существующую инфраструктуру, создавая удобный интерфейс для операторов и администраторов.

0 5

Осуществили многоуровневое тестирование и внесли улучшения на основе собранных данных.

0 6

Обучение персонала работе с новой Системой и ее запуск в эксплуатацию на всех объектах.

Интересный факт

Проект был пропилотирован почти во всех аэропортах федерального значения России. Проект также получил награду, как лучший инновационный продукт в области обеспечения транспортной безопасности.

04. Как это работает

1 Нейросеть получает видеоизображения оператора в реальном времени через камеры

2 С помощью алгоритмов машинного обучения осуществляется распознавание состояний операторов (например: сон, расфокусировка)

3 Полученные данные анализируются по различным критериям (положение головы, внимание)

4 При выявлении проблемных состояний система инициирует соответствующие действия (например, остановка ленты интроскопа)

5 Все данные о состояниях операторов выводятся в централизованный интерфейс для анализа и принятия решений

05. Проблемы и их решение

Сложности интеграции

В ходе разработки и внедрения системы возникли несколько ключевых проблем. Одной из них была сложная интеграция с имеющимся оборудованием, что потребовало детальной работы над интерфейсами и протоколами обмена данными.

Фотографии

Решение

Провели дополнительные тесты и адаптировали систему под разные производственные сценарии

Осуществили регулярные обновления и изменения в программном обеспечении для оптимизации работы с разными устройствами.

Фотографии

Точность распознавания

Во время разработки системы мы столкнулись с проблемой недостаточной точности распознавания усталости операторов в реальных условиях. В отличие от тестового окружения, в условиях производственной среды количество факторов, влияющих на результаты, значительно увеличивалось — освещение, фоновый шум и нерегулярные движения других сотрудников.

Решение

Для решения этой проблемы мы:

Провели дополнительные исследования и собрали данные в реальных условиях, включая видеозаписи операторов в разных ситуациях, для улучшения базы данных для обучения нейросети.

Оптимизировали алгоритмы машинного обучения, добавив новые параметры, такие как изменение выражения лица и поведение оператора в условиях стресса.

06. Ценность проекта

Безопасность

Система значительно повышает уровень безопасности объектов, минимизируя риски, связанные с человеческим фактором, что критически важно для защиты от потенциальных угроз.

Эффективность

Автоматический мониторинг состояния операторов способствует повышению рабочей производительности, что позволяет сократить время на досмотры и увеличивает общий объем работы.

Адаптивность

Система легко интегрируется с уже существующими технологиями и может адаптироваться под изменяющиеся условия работы, что делает ваши инвестиции более эффективными.

Отчетность

Постоянный мониторинг и детальная статистика по состояниям операторов обеспечивают прозрачность процессов и возможность оперативного анализа работы, что облегчает принятие управленческих решений.

07. Команда, которая
внедрила проект

Техлид

Константин Порошкин

Backend-Lead

Алексей Цибульников

Менеджер проекта

Илья Гуреев

Аналитик

Роман Федоров

Computer Vision инжерер

Роман Мазников

DevOps

Дмитрий Соркин

Куратор команды разметки

Марк Яговкин

08. Планы на будущее

Готовые проекты

Наша команда с 2017 года успешно реализовала 54 проекта с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.