Мультимодальная ИИ-система для контроля событий на объектах
Система объединяет компьютерное зрение, распознавание речи, FaceID и LLM-саммари, чтобы превращать аудио- и видеопотоки в структурированные события.



О проекте
Проект решал задачу централизованной управляемости распределённых объектов: аудио- и видеоданные с площадок должны были превращаться не в архив записей, а в проверяемые события для ответственных служб. Система фиксирует значимые сигналы — речь, триггерные фразы, присутствие сотрудников, действия в помещении — и связывает их с объектом, временем, участниками, видеофрагментом и транскрибацией.
Диагностика показала, что действующая реализация не выдерживает этой задачи на уровне архитектуры: модули взаимодействовали не по целевой схеме, обработка аудио- и видеопотоков была недостаточно производительной, уведомления были встроены в основной backend, а часть ML-модулей дублировала обращения к моделям и расходовала GPU-ресурсы.
NeuroCore предложила целевую архитектуру, в которой потоковые данные, ML-обработка, алерты, хранение, интерфейс, роли и мониторинг разделены на управляемые сервисы. Это даёт бизнесу не отдельный набор ИИ-функций, а систему ситуационной осведомлённости: значимые события автоматически фиксируются, подтверждаются данными и передаются ответственным без ручного просмотра записей и зависимости от сводок с мест.
до 40
Аудит архитектуры и точек риска
Проверили текущее решение и зафиксировали узкие места: несоответствие схемы фактической реализации, неэффективную обработку видео, нестабильный аудиомодуль, алерты внутри backend и дублирование ML-задачЗамеры точности и производительности моделей
Провели оценку текущих моделей и алгоритмов: распознавание лиц, детекция человека и лица, действия сотрудников, распознавание речи, FPS, RTF, VRAM и GPU Util — чтобы доработки опирались на измеримые показателиПересборка обработки аудио- и видеопотоков
Вынесли получение и декодирование потоков в отдельные модули: видеопоток — через GStreamer и MediaMTX, аудиопоток — отдельно, с передачей данных в сервисы распознавания и событийной обработкиВыделение сервиса алертов и хранения событий
Разнесли логику уведомлений, событий и хранения: алерты уходят через отдельный сервис, события сохраняются в БД, а связанные аудио-, видеофрагменты и транскрибации становятся доступными для проверки в интерфейсеОбновление ML-пайплайнов и интерфейса для эксплуатации
Объединили детекцию человека и FaceID в единый пайплайн, доработали распознавание речи, добавили саммари, ролевую модель, мониторинг, отчёты и интерфейсные разделы, чтобы систему можно было поддерживать и переносить на новые объектыИнтересный факт
Технологический стек
Frontend
Интерфейс пользователя: отчеты, графики, панели управленияBackend
Логика обработки и базовые компоненты системыLLM
Языковые модели и AI-инструментыВызовы и решения
Потоки с объектов нельзя было масштабировать предсказуемо
Фактическая схема работы модулей не совпадала с описанной в ТЗ, видеопотоки декодировались неэффективно, а часть обработки была собрана так, что запуск новых объектов усложнял поддержку и повышал нагрузку на систему.Отдельный слой получения и декодирования потоков
Мы предложили вынести работу с аудио- и видеопотоками в самостоятельные модули: MediaMTX для приёма потоков, GStreamer для стабильного декодирования, отдельные процессы для обработки камер и передачу данных в сервисы распознавания.Уведомления были частью основного backend
Логика уведомлений была встроена в основной backend, поэтому рост числа событий или изменение каналов отправки могло затрагивать всю систему и усложнять поддержку.Отдельный сервис алертов
Мы выделили уведомления в отдельный сервис: он получает события через RabbitMQ, отправляет алерты в почту и Express, поддерживает повторную отправку и хранит данные по событиям отдельно от основной логикиДетекция человека выполнялась несколько раз на одних данных
Модули детекции действий и FaceID отдельно обращались к модели детекции людей, из-за чего система тратила больше GPU-ресурсов и хуже соотносила людей на последовательных кадрахЕдиный CV-пайплайн для человека, лица и событий
Мы предложили объединить детекцию человека и FaceID в один пайплайн: сначала один раз находить людей в кадре, затем выделять лица, распознавать сотрудников, улучшать трекинг и отправлять события дальше в backend5
минут - видеофрагмент к каждому событию
365
дней - хранение транскрибаций
7
дней - хранение медиа по алертам
Команда, которая внедрила проект
Константин Порошкин
ML-инженер
Алексей Цибульников
Python backend-разработчик
Дмитрий Соркин
DevOps-инженер
Дмитрий Палий
Frontend-разработчик
Никита Болдырев
ML-инженер
Бесплатный разбор вашей задачи
На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.
Рассмотрим технические ограничения и возможный первый этап проекта.
Готовые проекты
Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.














