Финансовый сектор

Мультимодальная ИИ-система для контроля событий на объектах

Система объединяет компьютерное зрение, распознавание речи, FaceID и LLM-саммари, чтобы превращать аудио- и видеопотоки в структурированные события. 

multimodal-ai-event-control-1.png
multimodal-ai-event-control-2.png
multimodal-ai-event-control-1.png
NDA
ЗаказчикКомпания в сфере управленческого и кадрового консалтинга с распределёнными объектами
ЗадачаРазработать ИИ-систему, которая анализирует аудио- и видеопотоки с объектов и превращает их в карточки событий для ответственных служб.

О проекте

Проект решал задачу централизованной управляемости распределённых объектов: аудио- и видеоданные с площадок должны были превращаться не в архив записей, а в проверяемые события для ответственных служб. Система фиксирует значимые сигналы — речь, триггерные фразы, присутствие сотрудников, действия в помещении — и связывает их с объектом, временем, участниками, видеофрагментом и транскрибацией.

 


Диагностика показала, что действующая реализация не выдерживает этой задачи на уровне архитектуры: модули взаимодействовали не по целевой схеме, обработка аудио- и видеопотоков была недостаточно производительной, уведомления были встроены в основной backend, а часть ML-модулей дублировала обращения к моделям и расходовала GPU-ресурсы.

 


NeuroCore предложила целевую архитектуру, в которой потоковые данные, ML-обработка, алерты, хранение, интерфейс, роли и мониторинг разделены на управляемые сервисы. Это даёт бизнесу не отдельный набор ИИ-функций, а систему ситуационной осведомлённости: значимые события автоматически фиксируются, подтверждаются данными и передаются ответственным без ручного просмотра записей и зависимости от сводок с мест.
 

NDA
ЗаказчикКомпания в сфере управленческого и кадрового консалтинга с распределёнными объектами
ЗадачаРазработать ИИ-систему, которая анализирует аудио- и видеопотоки с объектов и превращает их в карточки событий для ответственных служб.

до 40

часов на подключение нового объекта к системе контроля событий
1
Аудит архитектуры и точек риска
Проверили текущее решение и зафиксировали узкие места: несоответствие схемы фактической реализации, неэффективную обработку видео, нестабильный аудиомодуль, алерты внутри backend и дублирование ML-задач
2
Замеры точности и производительности моделей
Провели оценку текущих моделей и алгоритмов: распознавание лиц, детекция человека и лица, действия сотрудников, распознавание речи, FPS, RTF, VRAM и GPU Util — чтобы доработки опирались на измеримые показатели
3
Пересборка обработки аудио- и видеопотоков
Вынесли получение и декодирование потоков в отдельные модули: видеопоток — через GStreamer и MediaMTX, аудиопоток — отдельно, с передачей данных в сервисы распознавания и событийной обработки
4
Выделение сервиса алертов и хранения событий
Разнесли логику уведомлений, событий и хранения: алерты уходят через отдельный сервис, события сохраняются в БД, а связанные аудио-, видеофрагменты и транскрибации становятся доступными для проверки в интерфейсе
5
Обновление ML-пайплайнов и интерфейса для эксплуатации
Объединили детекцию человека и FaceID в единый пайплайн, доработали распознавание речи, добавили саммари, ролевую модель, мониторинг, отчёты и интерфейсные разделы, чтобы систему можно было поддерживать и переносить на новые объекты

Интересный факт

Система фиксирует не "сработал триггер", а весь контекст события: кто был рядом, где это произошло, что прозвучало и какой фрагмент аудио/видео это подтверждает. 

Технологический стек

Frontend

Интерфейс пользователя: отчеты, графики, панели управления

Backend

Логика обработки и базовые компоненты системы

LLM

Языковые модели и AI-инструменты

Вызовы и решения

Потоки с объектов нельзя было масштабировать предсказуемо

Фактическая схема работы модулей не совпадала с описанной в ТЗ, видеопотоки декодировались неэффективно, а часть обработки была собрана так, что запуск новых объектов усложнял поддержку и повышал нагрузку на систему.
РЕШЕНИЕ

Отдельный слой получения и декодирования потоков

Мы предложили вынести работу с аудио- и видеопотоками в самостоятельные модули: MediaMTX для приёма потоков, GStreamer для стабильного декодирования, отдельные процессы для обработки камер и передачу данных в сервисы распознавания.

Уведомления были частью основного backend

Логика уведомлений была встроена в основной backend, поэтому рост числа событий или изменение каналов отправки могло затрагивать всю систему и усложнять поддержку.
РЕШЕНИЕ

Отдельный сервис алертов

Мы выделили уведомления в отдельный сервис: он получает события через RabbitMQ, отправляет алерты в почту и Express, поддерживает повторную отправку и хранит данные по событиям отдельно от основной логики

Детекция человека выполнялась несколько раз на одних данных

Модули детекции действий и FaceID отдельно обращались к модели детекции людей, из-за чего система тратила больше GPU-ресурсов и хуже соотносила людей на последовательных кадрах
РЕШЕНИЕ

Единый CV-пайплайн для человека, лица и событий

Мы предложили объединить детекцию человека и FaceID в один пайплайн: сначала один раз находить людей в кадре, затем выделять лица, распознавать сотрудников, улучшать трекинг и отправлять события дальше в backend

5

минут - видеофрагмент к каждому событию

365

дней - хранение транскрибаций

7

дней - хранение медиа по алертам

Команда, которая внедрила проект

Константин Порошкин
ML-инженер
Алексей Цибульников
Python backend-разработчик
Дмитрий Соркин
DevOps-инженер
Дмитрий Палий
Frontend-разработчик
Никита Болдырев
ML-инженер

Бесплатный разбор вашей задачи

На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.

Рассмотрим технические ограничения и возможный первый этап проекта.

О вашей задаче (по желанию)

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

bracket
Разработка ИИ-системы
ИИ-видеоконтроль упаковки и отгрузки товаров для маркетплейсов
marketplace-claims-video-evidence.jpg
Разработка крупной системы
Нейросеть для определения возраста: аналитика и безопасность в одном решении
age.webp
ИИ для образования
Распознавание рукописного текста на экзаменационных бланках с помощью нейросети
ocr-documents-case.png
Разработка крупной системы
ИИ-система для оценки повреждений автомобилей
damage-detection-case.png
Пилотный запуск
Интеллектуальная видеоаналитика для контроля периметра, выявления угроз на интроскопах и БПЛА
ai-video-security-industrial-sites.jpg
Видеоаналитика для ресторанов
ИИ-контроль времени сборки заказов
ai-tray-order-analysis-fast-food.jpg