Видеоаналитика + LLM: что меняется, когда система начинает объяснять, а не только фиксировать

Разбираем, как компьютерное зрение плюс LLM-слой превращают поток тревог в управленческие выводы — и где это уже работает в реальных проектах

Видеоаналитика с LLM как устроена как работает.jpg

Компания тратит на видеонаблюдение от нескольких сотен тысяч до нескольких миллионов рублей в год: камеры, серверы, VMS, техобслуживание, хранение. При этом почти все отснятые видео не просматриваются до выявленного инцидента. Вот тогда и открывается архив и начинается поиск интересующего момента в видео. Найдется этот момент или нет — это еще вопрос, ведь нужная камера могла смотреть в другую сторону.

Так работает большинство систем видеонаблюдения. Они фиксируют, но не анализируют, потому что между потоком видео и управленческим решением нет никакой автоматики. Этот разрыв и закрывает связка компьютерного зрения с LLM.

Видеоаналитика на основе компьютерного зрения работает так: система смотрит поток в реальном времени, распознаёт события: работник без каски или СИЗ, дефект на производственной линии, транспорт в запрещённой зоне, пересечение периметра, очередь на кассе — и фиксирует события в журнал. Уже больше, чем просто камера.

Однако поток событий — ещё не управленческое решение. Сотня тревог за смену, распределённых по двадцати камерам, без контекста, без связки с данными из ERP или WMS, без понимания, повторялось ли это раньше, — всё равно требует участия человека, который должен вникнуть и разобраться.. Система зафиксировала. Но не интерпретировала.

LLM-слой закрывает именно этот разрыв: между событием и выводом. Между "что произошло" и "что с этим делать".

Что меняется, когда к видеоаналитике добавляется LLM

Детектор компьютерного зрения говорит: “объект класса "человек" обнаружен в зоне без атрибута "каска".

LLM опишет это иначе: “Сотрудник Участка №2 нарушил ТБ третий раз за смену. Предыдущие нарушения — в 10:14 и 13:47. Зона совпадает с участком, где на прошлой неделе был зафиксирован схожий инцидент. При троекратном нарушении за одну смену инструктаж, как правило, уже не является достаточной мерой — рекомендуется дисциплинарное разбирательство и проверка условий работы на участке”.

Первое сообщение в примере выше — это данные. 
Второе — это вывод, с которым уже можно работать.

LLM не заменяет компьютерное зрение, а обрабатывает то, что CV-модель уже распознала, и добавляет контекст: данные из WMS, ERP, журнала смен, регламентов, истории событий. Потом формирует понятный вывод: отчёт, рекомендацию, задачу, сигнал ответственному.

Три уровня: без видеоаналитики, с видеоаналитикой, с видеоаналитикой + LLM

СценарийБез видеоаналитикиВидеоаналитика (CV)Видеоаналитика + LLM
Контроль ТБ на производствеОбходчик раз в смену, просмотр архива после инцидентаАвтоматическая фиксация нарушений в реальном времени, журнал событийСводка по нарушениям за смену: зоны, повторяемость, сотрудники, рекомендация для руководителя
Склад: ошибки комплектацииРучная сверка, спор с клиентом, поиск виновногоРаспознавание действий, привязка видеофрагмента к заказу и времениОбъяснение расхождения: "Заказ №4712, оператор Иванов, 14:32, ячейка C-14. Коробка была взята не из той ячейки. Видеофрагмент прикреплён"
Контроль качества на линииВизуальный контроль оператора, пропуски из-за усталостиДетекция дефектов в потоке, передача в систему контроля качествОтчёт: "3,2% изделий с отклонением за смену. Пик — с 14:00 до 16:00. Возможная причина: смена заготовки. Рекомендация: проверить параметры линии"
Ритейл: качество обслуживанияТайный покупатель, выборочные проверкиДетекция длины очереди, подсчёт времени обслуживанияАнализ по сессиям: "В кассах 3 и 4 среднее время обслуживания на 40% выше. Скрипт нарушался в 6 из 17 сессий. Критичные фрагменты выделены"
Досмотр и безопасностьРучной просмотр, зависимость от внимательности оператораАвтоматическое выделение подозрительных объектов на X-rayСводка по смене: сколько объектов проверено, сколько тревог, статистика по операторам, журнал событий с доказательной базой


Как это устроено технически

Пайплайн выглядит так:

Видеопоток → CV-модель → событие → контекстный слой → LLM → вывод → действие

  • Камеры или RTSP-потоки подают изображение на CV-модель.
  • Модель распознаёт объекты, классы, зоны, действия, атрибуты — в зависимости от задачи.
  • Распознанные события фиксируются с меткой времени, камеры, зоны.
  • Дальше к событию добавляется контекст: данные из WMS (какой заказ шёл в это время), из ERP (кто работал в этой смене), из справочника (какой регламент действует в этой зоне). Это делает событие не анонимным — у него появляется привязка к процессу.
  • LLM принимает событие с контекстом и формирует вывод на человеческом языке. Он может сверить произошедшее с регламентом, оценить повторяемость, найти паттерн, написать рекомендацию, сформировать отчёт или поставить задачу.
  • Вывод уходит туда, где его ждут: в интерфейс оператора, в Telegram-бота, в почту, в WMS, в журнал событий, в систему контроля качества — в зависимости от архитектуры.

LLM не нужен в каждом проекте. Там, где достаточно детекции и журнала событий, его нет. Он нужен тогда, когда события требуют интерпретации, а не только записи.

Видеоаналитика + LLM.jpg

Где связка Видеоаналитика+LLM работает лучше всего: кейсы из практики

Производство: контроль соблюдения регламентов и ТБ

Производственная площадка с несколькими рабочими зонами, постоянной ротацией сотрудников и требованием соблюдать регламенты по СИЗ и перемещению. Нарушения фиксировались только тогда, когда их видел мастер или обходчик — то есть выборочно, нерегулярно и без доказательной базы.

Было: камеры на объекте стояли, но работали как архив. После инцидента супервайзер открывал запись, искал нужный момент, составлял акт вручную. Систематической картины по зонам, сменам и типам нарушений не было — только отдельные случаи, которые кто-то успел заметить.

Стало: CV-модель в реальном времени распознаёт наличие СИЗ, пересечение опасных зон, позы и действия. Каждое событие фиксируется с меткой времени, камеры и зоны. LLM-слой собирает сводку по смене: какие зоны дали больше нарушений, в какое время суток они концентрировались, какие участки повторяются из смены в смену. Руководитель получает не журнал из 47 строк, а три пункта для разбора на планёрке.

Мировой контекст: Toyota встраивает компьютерное зрение в производственный контур как стандартный инструмент контроля операций — система сравнивает фактические действия сборщика с эталонным регламентом и фиксирует отклонение до того, как деталь уходит дальше по линии. Никакого ручного просмотра, никакого разбора после факта.

Вывод: автоматизация здесь оправдана не потому, что "так современнее", а потому что ручной контроль на потоке физически не масштабируется. Один мастер не может одновременно следить за восемью зонами в трёх сменах.

Видеоаналитика + LLM на транспорте.jpg

Досмотровые системы: аэропорты и объекты безопасности

Операторы рентгеновских установок в аэропортах работают в условиях высокой проходимости и монотонной нагрузки. К концу смены концентрация падает — это физиология, а не халатность. Стандартный контроль качества работы оператора — выборочные проверки супервайзером — не покрывает реальный поток.

Было: оператор работал самостоятельно, без системной поддержки. Пропуск опасного предмета фиксировался только если кто-то его заметил постфактум. Статистики по операторам, типам ошибок и временным паттернам не существовало.

Стало: NeuroCore разработал программно-аппаратный комплекс, который решал две задачи параллельно. Первая — мониторинг состояния оператора: система фиксирует сон, взгляд за пределы монитора, отсутствие на рабочем месте, потерю концентрации. Вторая — анализ изображений багажа: модель выделяет потенциально опасные предметы — ножи, огнестрел, ёмкости, аккумуляторы — и подсвечивает их оператору. Комплекс прошёл внедрение в аэропортах, получил награду Национальной премии "Транспортная безопасность — 2018" и был установлен на заводе одного из трёх крупнейших мировых производителей досмотрового оборудования. LLM-слой поверх этого даёт статистику по сменам и операторам: сколько тревог, в какое время, какие типы объектов — и позволяет выявлять паттерны без ручного разбора журнала.

Мировой контекст: Smiths Detection и аналогичные вендоры досмотрового оборудования интегрируют AI-ассистенты в рабочее место оператора как стандарт — не для замены человека, а для снижения когнитивной нагрузки в условиях высокого потока. Логика та же: оператор принимает финальное решение, система снимает с него часть рутинной работы по выявлению.

Вывод: в задачах безопасности LLM особенно ценен не как детектор, а как инструмент накопления знаний о процессе — кто ошибается, когда, при каких условиях. Это позволяет управлять рисками системно, а не реагировать на каждый инцидент отдельно.

Склад и логистика: пересорт и разбор претензий

Крупный логистический объект, тысячи заказов в день, несколько рабочих зон, операторы меняются посменно. Пересорт — неизбежная статистика при таком объёме. Вопрос не в том, будет ли он, а в том, сколько времени уйдёт на разбор, когда он случится.

Было: клиент звонит с претензией. Супервайзер открывает архив, пытается восстановить, в какой зоне и в какое время собирался заказ, находит нужную камеру, мотает запись. В лучшем случае — час. В худшем — камера смотрела не туда, или архив уже перезаписан. Претензия закрывается либо отказом, либо компенсацией без понимания причины.

Стало: NeuroCore связывает видеопоток с WMS — система знает, какой заказ обрабатывался в конкретной зоне в конкретное время, кто из операторов работал, какие коробы и SKU участвовали. При расхождении система выдаёт не архив, а готовый срез: заказ, время, оператор, видеофрагмент. LLM описывает произошедшее, сравнивает с регламентом сборки и предлагает следующий шаг — перепроверить заказ, передать на разбор, закрыть без претензий. Разбор, который занимал час, укладывается в две минуты.

Мировой контекст: Ocado — британский онлайн-ретейлер с полностью роботизированными складами — использует видеоаналитику как стандартный инструмент контроля качества сборки. Каждая рабочая станция покрыта камерами, привязанными к заказу и конвейерной ленте. Инцидент автоматически получает контекст — без ручного поиска по архиву.

Вывод: ценность здесь не в самой детекции, а в связке видео с бизнес-данными. Камера без WMS-контекста показывает человека с коробкой. Камера с WMS-контекстом показывает, чей это заказ, что в нём должно быть и где именно возникло расхождение.

Видеоаналитика + LLM на складе.jpg

Страхование: оценка ущерба и подбор запчастей

При урегулировании страхового случая нужно сделать два независимых действия: оценить степень повреждений автомобиля и найти запчасти по актуальным ценам. Оба шага традиционно требовали участия эксперта и ручной работы с прайс-листами.

Было: страховщик приглашал оценщика, тот осматривал автомобиль, составлял акт. Параллельно сотрудник вручную собирал цены из более чем 100 источников, искал аналоги, сверял позиции. Процесс занимал дни, стоил дорого и давал результат, который зависел от конкретного эксперта.

Стало: NeuroCore разработал систему для Российского союза автостраховщиков. CV-модель анализирует фотографии автомобиля и классифицирует повреждения по степени критичности — от царапины до структурного ущерба. Аналитический слой одновременно агрегирует цены из более чем 100 источников, находит аналоги запчастей и рассчитывает ценовые метрики с учётом региона и наличия. Итог — воспроизводимый расчёт, который не зависит от того, кто именно вёл дело.

Мировой контекст: Mitchell International и CCC Intelligent Solutions — крупнейшие платформы для автостраховщиков в США — давно используют компьютерное зрение для оценки ущерба по фото. Логика та же: убрать из процесса эксперта там, где решение можно формализовать, и оставить его только там, где нужна финальная верификация спорного случая.

Вывод: страхование — один из немногих случаев, где экономический эффект от автоматизации считается прямо: меньше экспертных выездов, быстрее урегулирование, ниже стоимость обработки одного случая. Здесь CV и аналитический слой дают измеримый результат уже на этапе пилота.

Агропромышленность: мониторинг состояния поголовья

Ферма с поголовьем более 3000 голов крупного рогатого скота. Упитанность животного — ключевой показатель здоровья и продуктивности. Отклонение от нормы нужно замечать рано: если животное начало худеть, причину важно найти до того, как состояние ухудшится критически.

Было: сотрудники фермы визуально оценивали состояние животных при обходе. На 3000 голов это физически невозможно делать системно — осматривали выборочно, фиксировали вручную, реагировали постфактум. Никакой динамики по отдельным животным не было.

Стало: NeuroCore внедрил систему на базе камеры с 3D-лидаром. Лидар строит карту глубины тела животного, модель рассчитывает индекс массы — точнее, чем визуальная оценка, и без необходимости останавливать животное или взаимодействовать с ним. Система генерирует отчёты за выбранные периоды и отдаёт их по API — ферма видит динамику по каждому животному, а не только срез на сегодня.

Мировой контекст: Connecterra (Нидерланды) и Cainthus (Ирландия, поглощён Ever.Ag) строят системы мониторинга животных на той же логике: компьютерное зрение снимает с персонала рутинное наблюдение и переводит его в структурированные данные. Cainthus, в частности, работал с молочными фермами Cargill — система распознавала каждое животное по морде и отслеживала его поведение и состояние в динамике.

Вывод: в агропромышленности ценность системы определяется не тем, что она видит сейчас, а тем, что она помнит и сравнивает. Разовый замер упитанности даёт меньше, чем тренд за три недели — именно он позволяет вмешаться до того, как проблема стала дорогостоящей.

Видеоаналитика + LLM в логистике.jpg

Где LLM не нужен

Этот вопрос задают часто, и на него есть честный ответ.

LLM не нужен, если:

  • задача — детекция с простым правилом (есть каска / нет каски → тревога);
  • поток событий невелик и оператор справляется с журналом;
  • интерпретации не требуется — нужна только фиксация;
  • данных из внешних систем нет и добавлять их не планируется.

В этих случаях хорошо обученная CV-модель с нормальным интерфейсом закрывает задачу. Добавлять LLM ради самого LLM — неоправданное усложнение.

LLM нужен тогда, когда событий много, у каждого есть контекст, и кто-то должен этот контекст собрать и объяснить. Когда бизнес-вопрос звучит не "было ли нарушение?", а "почему это повторяется, где концентрируется проблема и что нужно сделать?"

Что нужно для внедрения

Видеоаналитика с LLM — это не коробочный продукт, который подключается за день. Здесь есть несколько обязательных условий, без которых система не даст результата.

  • Качество видеопотока. Камеры должны давать приемлемое изображение в тех условиях, где нужно распознавание: свет, ракурс, разрешение, частота кадров. Плохое видео — плохая детекция, и никакой LLM это не исправит.
  • Размеченные данные. CV-модель учится на примерах. Чем специфичнее задача (нестандартный дефект, редкий объект, узкий производственный процесс), тем важнее качество и объём разметки. NeuroCore занимается сбором и разметкой данных как отдельным направлением — включая выезд специалистов на объекты.
  • Интеграция с бизнес-системами. LLM-слой работает с контекстом. Если контекста нет — данных из WMS, ERP, CRM, журнала смен — он просто перефразирует то, что сказала CV-модель. Интеграция определяет, насколько ценным будет вывод.
  • Чёткая формализация события. Система должна знать, что именно считать событием: пересечение зоны, отсутствие атрибута, отклонение от эталона, длина очереди сверх порога. Это определяется до разработки, не после.
  • On-prem или контролируемый контур. Для промышленных и security-проектов данные, как правило, не уходят в облако. NeuroCore развёртывает системы локально — на серверах заказчика или в его инфраструктуре, с контролем доступа и хранения. Это важно для соответствия требованиям безопасности и 152-ФЗ.

Что получает бизнес от внедрения видеоаналитики + LLM

Бизнес платит за видеонаблюдение постоянно: камеры, серверы, лицензии VMS, техобслуживание, хранение архива. Это операционные расходы, которые есть независимо от того, используется ли видео как-то кроме архива.

Видеоаналитика с LLM — это не отдельная статья бюджета поверх существующего, а способ получить отдачу от инфраструктуры, которая уже оплачена. Вот где эта отдача конкретна.

  1. Время на разбор инцидентов. 

    Супервайзер на складе тратит от 40 минут до двух часов на ручной поиск по архиву, когда нужно разобрать претензию по заказу. При 10–15 спорных ситуациях в месяц это полноценная рабочая неделя в год — только на поиск по видео, без учёта самого разбора. Система с привязкой к WMS выдаёт нужный фрагмент за секунды: заказ, время, оператор, что произошло.
     
  2. Стоимость неконтролируемого нарушения. 

    Штраф за нарушение требований охраны труда по статье 5.27.1 КоАП — до 150 000 рублей на организацию за один выявленный факт, при повторном нарушении — до 200 000 рублей или приостановление деятельности. Это не считая производственной травмы, которая обходится дороже в любом сценарии. Система, которая фиксирует нарушение в реальном времени и формирует доказательную базу, меняет логику: нарушение перестаёт быть случайностью, которую заметили или не заметили.
     
  3. Качество управленческого решения. 

    Руководитель, который видит "47 тревог за смену", не может принять решение на основе этих данных. Руководитель, который видит "участок №3 дал 60% всех нарушений, пик — с 15:00 до 17:00, три из пяти нарушителей работают вторую смену подряд", — уже может. LLM-слой превращает поток событий в управленческую аналитику без того, чтобы кто-то это агрегировал вручную.
     
  4. Воспроизводимость контроля. 

    Ручная проверка — это всегда выборка. Контролёр обходит зону раз в час, смотрит на одно, не замечает другое, устаёт к концу смены. Система проверяет всё, всегда, по одним правилам. Для бизнеса это означает, что результат контроля не зависит от того, кто именно работал в эту смену и насколько он был внимателен.
     
  5. Скорость реакции. 

    В ритейле каждая минута очереди сверх порогового времени — это часть покупателей, которые ушли. В логистике задержка в обнаружении ошибки комплектации означает, что заказ уже отгружен и претензия придёт от клиента, а не от внутреннего контроля. Система, которая фиксирует событие в момент его возникновения и сразу передаёт сигнал ответственному, сокращает окно между проблемой и реакцией с часов до минут.

Общий итог: меньше времени на ручную работу с архивом, меньше штрафов из-за незафиксированных нарушений, быстрее разбор претензий, точнее управленческие решения. Это не про "новый уровень цифровизации" — это про то, что уже оплаченная инфраструктура начинает работать на результат.

Как начать

На странице вы можете ознакомиться с примерами задач, отраслями внедрения и кейсами, там же представили форматы работы: от экспресс-оценки до полного промышленного внедрения.

Чтобы понять, применима ли видеоаналитика к вашей задаче и что из неё можно получить без замены оборудования, достаточно описать процесс и показать примеры видеоматериалов. Оценим, какие сценарии подходят, где есть ограничения и с чего лучше начать пилот:

 Оставьте заявку в форме ниже |  Напишите нам в ТГ

Читайте так же

NeuroCore · ИИ для бизнеса

Есть задача для ИИ?

Планируете внедрение ИИ, разработку модели или подготовку данных? Расскажите о задаче — обсудим возможные подходы, исходные условия и первый этап проекта.

Обсудить ваш проект

О вашей задаче (по желанию)

Первое обращение — без готового ТЗ