Мониторинг усталости операторов на объектах транспортной безопасности
Интеллектуальная система контроля состояния операторов рентгеновских установок на критически важных объектах (аэропорты, жд вокзалы, пункты досмотра).
Заказчик Дистрибьютор и интегратор оборудования для систем безопасности на объектах с повышенными требованиями к контролю и надёжности: аэропорты, транспортные узлы, метро и крупные общественные пространства.
Задача Снизить риски, связанные с человеческим фактором при досмотре багажа, за счёт автоматического контроля состояния операторов рентгеновских установок.
Решение должно выявлять признаки усталости, потери внимания и отсутствия оператора на рабочем месте в реальном времени, интегрироваться в существующую инфраструктуру и помогать заказчику поддерживать стабильный уровень безопасности без увеличения нагрузки на персонал.
О проекте
Внедрение ИИ-контроля операторов рентгенотелевизионных установок на объектах транспортной безопасности. Система в реальном времени отслеживает признаки усталости, потери внимания и отсутствия оператора на рабочем месте и автоматически фиксирует критические состояния. Ожидаемый эффект — снижение рисков пропуска запрещённых предметов, повышение надёжности контроля и устойчивости работы службы безопасности без увеличения нагрузки на персонал.
Заказчик Дистрибьютор и интегратор оборудования для систем безопасности на объектах с повышенными требованиями к контролю и надёжности: аэропорты, транспортные узлы, метро и крупные общественные пространства.
Задача Снизить риски, связанные с человеческим фактором при досмотре багажа, за счёт автоматического контроля состояния операторов рентгеновских установок.
Решение должно выявлять признаки усталости, потери внимания и отсутствия оператора на рабочем месте в реальном времени, интегрироваться в существующую инфраструктуру и помогать заказчику поддерживать стабильный уровень безопасности без увеличения нагрузки на персонал.
≥85%
1
Формализация требований и профилей состояний операторов
Зафиксировали бизнес- и эксплуатационные требования к системе: перечень контролируемых состояний, пороговые временные параметры, сценарии реакции и требования к журналированию событий.
2
Проектирование архитектуры АРМ контроля состояния
Спроектировали модульную архитектуру АРМ КС, AI-модуль анализа состояния оператора, модуль взаимодействия с РТУ и подсистему хранения и экспорта данных.
3
Разработка и обучение AI-модуля анализа состояния
Реализовали модуль компьютерного зрения для детекции лица, глаз и направления взгляда оператора, формирования тепловых карт внимания и классификации состояний с шагом анализа 2 секунды и учетом морганий.
4
Интеграция с РТУ и реализация реакций системы
Обеспечили интеграцию АРМ КС с рентгенотелевизионной установкой: звуко-световая сигнализация, управление блокировкой РТУ и автоматическая фиксация инцидентов в журнале безопасности.
5
Тестирование, валидация метрик и подготовка к эксплуатации
Многоэтапное тестирование на стенде и в условиях, приближенных к реальным. Подготовка технической и пользовательской документации и передача системы в эксплуатацию.
Масштаб проекта
Технологический стек
Frontend
Интерфейс пользователя: отчеты, графики, панели управления
Backend
Логика обработки и базовые компоненты системы
ML
Модели и фреймворки для обучения
Вызовы и решения
Интеграция с рентгенотелевизионной установкой (РТУ)
Система контроля усталости должна не просто фиксировать состояние оператора, а влиять на работу РТУ в реальном времени. Любая ошибка или задержка в интеграции с оборудованием напрямую создает риски безопасности и простои на пункте досмотра.РЕШЕНИЕ
Реализовали прямое взаимодействие системы с РТУ
Управление реле блокировки через «сухие контакты», звуко-световую сигнализацию и синхронизацию со статусами оборудования. Все инциденты автоматически фиксируются в журнале безопасности, а при критических состояниях система самостоятельно приостанавливает процесс досмотра.Точность распознавания в реальных условиях эксплуатации
В реальной рабочей среде условия далеки от лабораторных: меняется освещение, оператор двигается, в кадре появляются посторонние объекты. Это снижает точность распознавания состояний и может приводить к ложным срабатываниям.РЕШЕНИЕ
Построили AI-модуль на базе двух нейросетей:
Одна определяет положение лица и глаз, вторая — направление взгляда и состояние оператора. Использовали агрегацию по видеокадрам, исключение морганий и тепловые карты экрана, что обеспечило стабильное распознавание усталости в условиях реальной загрузки и визуального шума.Надёжность и автономность АРМ оператора
АРМ контроля состояния должен работать непрерывно и автономно, без постоянного вмешательства персонала и без зависимости от центральных сервисов. Любой сбой — это остановка досмотра и операционные потери.РЕШЕНИЕ
Спроектировали АРМ как автономный программно-аппаратный модуль
С локальной обработкой видеопотока, автозапуском и встроенной самодиагностикой. Система сохраняет журналы и видеоданные локально и продолжает работу без зависимости от центральных сервисов.до 95%
точности при распознавании критических состояний оператора: сон, отсутствие на рабочем месте, потеря бдительности.
до 90%
точности при определении состояний внимания оператора в реальных условиях, включая очки и производственные помехи
≤ 5%
ложных срабатываний: стабильная работа системы
Команда, которая внедрила проект
Алексей Цибульников
Python backend-разработчик
Константин Порошкин
ML-инженер
Роман Фёдоров
Бизнес-аналитик
Михаил Моисеев
CV-инженер
Дмитрий Соркин
DevOps-инженер
Марк Яговкин
Руководитель разметки данных
Планы на будущее:
Расширение сценариев распознавания состояний операторов и адаптация системы под новые типы оборудования.
Готовые проекты
Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.
Разработка крупной системы
Компьютерное зрение в метрологии
ИИ для промышленности
ИИ-отбор качественных снимков с дронов
Разработка крупной системы
Распознавание QR для контроля сборки и упаковки заказов
Разработка крупной системы
Платформа для регистрации рекламы блогеров и ЕРИР
Разработка крупной системы
Нейросеть для определения возраста: аналитика и безопасность в одном решении
Разработка крупной системы
AI-контроль выкладки свежей рыбы + соблюдение FIFO
Разработка крупной системы
Нейросеть распознаёт пустые полки в магазинах и помогает вовремя их заполнить
Разработка крупной системы
Контроль ношения СИЗ на производстве рыбы
Разработка крупной системы
Автоматизация досмотра багажа и анализа X-ray снимков с помощью ИИ
Разработка крупной системы
ИИ-контроль опасных ситуаций при движении погрузчиков
Сбор и разметка данных для ИИ
Собрали датасет оружия в 1000+ видео
Разработка крупной системы
Машинное зрение измеряет паллеты и передает данные в WMS
Сбор и разметка данных для ИИ
Учим нейросеть распознавать драки, чтобы в вашем городе стало безопаснее
Сбор и разметка данных для ИИ
Разметка данных для беспилотных комбайнов
Экспертная разметка данных
Медицинский датасет МРТ позвоночника для обучения AI
Разработка крупной системы
Как контролировать брак этикетки на работающем конвейере
Экспертная разметка данных для ИИ
Разметка 7000 исследований совместно с врачами-экспертами
Разработка крупной системы
Распознавание номеров автомобиля для въезда на парковку
Разработка крупной системы
ИИ расставляет стеллажи в 10 раз быстрее
Операционный ИТ-аутсорсинг
Команда разметчиков как сервис для маркетплейса
ИИ для образования
Распознавание рукописного текста на экзаменационных бланках с помощью нейросети
Разработка крупной системы
ИИ-система для оценки повреждений автомобилей
Сбор данных для ML и ИИ
Собрали 10 000 уникальных лошадей для биометрии
Разработка крупной системы
ИИ-учет индивидуальной выработки на конвейере
Разработка крупной системы
Цифровой контроль движения вагонов
Разработка крупной системы
От цветка к идеальному букету: ИИ распознает качество роз
Разработка крупной системы
Нейросеть для распознавания 2D чертежей
Разработка крупной системы
Платформа, объединившая поиск блогеров, целевой аудитории и аналитику
Разработка для ритейла
Внедрение видеоаналитики для контроля комплектации товаров на складе
Разработка крупной системы
Нейросеть, которая контролирует бодрость сотрудников аэропорта, чтобы вы улетели в отпуск вовремя
Разработка крупной системы
ИИ контролирует опасные зоны конвейера 24/7
Сбор и разметка данных
AI-мониторинг вечной мерзлоты
Разработка крупной системы
Нейросеть контролирует качество чипсов прямо на конвейере
Разработка для сельского хозяйства
Нейросеть для мониторинга здроровья коров
