Транспорт, безопасность

Мониторинг усталости операторов на объектах транспортной безопасности

Интеллектуальная система контроля состояния операторов рентгеновских установок на критически важных объектах (аэропорты, жд вокзалы, пункты досмотра).

Заказчик Дистрибьютор и интегратор оборудования для систем безопасности на объектах с повышенными требованиями к контролю и надёжности: аэропорты, транспортные узлы, метро и крупные общественные пространства.

Задача Снизить риски, связанные с человеческим фактором при досмотре багажа, за счёт автоматического контроля состояния операторов рентгеновских установок. Решение должно выявлять признаки усталости, потери внимания и отсутствия оператора на рабочем месте в реальном времени, интегрироваться в существующую инфраструктуру и помогать заказчику поддерживать стабильный уровень безопасности без увеличения нагрузки на персонал.

О проекте

Внедрение ИИ-контроля операторов рентгенотелевизионных установок на объектах транспортной безопасности. Система в реальном времени отслеживает признаки усталости, потери внимания и отсутствия оператора на рабочем месте и автоматически фиксирует критические состояния. Ожидаемый эффект — снижение рисков пропуска запрещённых предметов, повышение надёжности контроля и устойчивости работы службы безопасности без увеличения нагрузки на персонал.

≥85%

точность распознавания состояний оператора: сон, потеря внимания и отсутствие оператора при досмотре багажа

Формализация требований и профилей состояний операторов

Зафиксировали бизнес- и эксплуатационные требования к системе: перечень контролируемых состояний, пороговые временные параметры, сценарии реакции и требования к журналированию событий.

Проектирование архитектуры АРМ контроля состояния

Спроектировали модульную архитектуру АРМ КС, AI-модуль анализа состояния оператора, модуль взаимодействия с РТУ и подсистему хранения и экспорта данных.

Разработка и обучение AI-модуля анализа состояния

Реализовали модуль компьютерного зрения для детекции лица, глаз и направления взгляда оператора, формирования тепловых карт внимания и классификации состояний с шагом анализа 2 секунды и учетом морганий.

Интеграция с РТУ и реализация реакций системы

Обеспечили интеграцию АРМ КС с рентгенотелевизионной установкой: звуко-световая сигнализация, управление блокировкой РТУ и автоматическая фиксация инцидентов в журнале безопасности.

Тестирование, валидация метрик и подготовка к эксплуатации

Многоэтапное тестирование на стенде и в условиях, приближенных к реальным. Подготовка технической и пользовательской документации и передача системы в эксплуатацию.

Масштаб проекта

Проект был пропилотирован почти во всех аэропортах федерального значения России и получил отраслевую награду как лучшее инновационное решение в области транспортной безопасности.

Технологический стек

Frontend

Интерфейс пользователя: отчеты, графики, панели управления

Backend

Логика обработки и базовые компоненты системы

ML

Модели и фреймворки для обучения

Вызовы и решения

Интеграция с рентгенотелевизионной установкой (РТУ)

Система контроля усталости должна не просто фиксировать состояние оператора, а влиять на работу РТУ в реальном времени. Любая ошибка или задержка в интеграции с оборудованием напрямую создает риски безопасности и простои на пункте досмотра.

РЕШЕНИЕ

Реализовали прямое взаимодействие системы с РТУ

Управление реле блокировки через «сухие контакты», звуко-световую сигнализацию и синхронизацию со статусами оборудования. Все инциденты автоматически фиксируются в журнале безопасности, а при критических состояниях система самостоятельно приостанавливает процесс досмотра.

Точность распознавания в реальных условиях эксплуатации

В реальной рабочей среде условия далеки от лабораторных: меняется освещение, оператор двигается, в кадре появляются посторонние объекты. Это снижает точность распознавания состояний и может приводить к ложным срабатываниям.

РЕШЕНИЕ

Построили AI-модуль на базе двух нейросетей:

Одна определяет положение лица и глаз, вторая — направление взгляда и состояние оператора. Использовали агрегацию по видеокадрам, исключение морганий и тепловые карты экрана, что обеспечило стабильное распознавание усталости в условиях реальной загрузки и визуального шума.

Надёжность и автономность АРМ оператора

АРМ контроля состояния должен работать непрерывно и автономно, без постоянного вмешательства персонала и без зависимости от центральных сервисов. Любой сбой — это остановка досмотра и операционные потери.

РЕШЕНИЕ

Спроектировали АРМ как автономный программно-аппаратный модуль

С локальной обработкой видеопотока, автозапуском и встроенной самодиагностикой. Система сохраняет журналы и видеоданные локально и продолжает работу без зависимости от центральных сервисов.

до 95%

точности при распознавании критических состояний оператора: сон, отсутствие на рабочем месте, потеря бдительности.

до 90%

точности при определении состояний внимания оператора в реальных условиях, включая очки и производственные помехи

≤ 5%

ложных срабатываний: стабильная работа системы

Команда, которая внедрила проект

Алексей Цибульников

Python backend-разработчик

Константин Порошкин

ML-инженер

Роман Фёдоров

Бизнес-аналитик

Михаил Моисеев

CV-инженер

Дмитрий Соркин

DevOps-инженер

Марк Яговкин

Руководитель разметки данных

Планы на будущее:
Расширение сценариев распознавания состояний операторов и адаптация системы под новые типы оборудования.

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.