Разметка видео с трекингом: как данные определяют успех ML-модели

Разметка видео с отслеживанием множества объектов (Multi-Object Tracking) — одна из самых сложных задач в машинном зрении. Задача такой разметки — не просто найти все объекты в каждом кадре, но и присвоить им постоянный ID, чтобы понимать, как они перемещаются во времени. Это основа для аналитики поведения покупателей, мониторинга производственных линий или анализа дорожного трафика.

Классический подход — полностью ручная разметка — точен, но весьма долог и дорог. Поэтому бизнес постоянно ищет способы ускорить процесс, чаще всего — с помощью предварительной разметки нейросетью. Но всегда ли это оправдано?

В этой статье мы, опираясь на реальные кейсы NeuroCore, разберем разные пайплайны работы, их стоимость и подводные камни. А также расскажем, почему мы скептически относимся к некоторым «революционным» технологиям и всегда проверяем их на практике.

Два подхода к ускорению: как на самом деле работает предразметка

Когда клиент приходит с задачей на трекинг, например, разметить перемещение покупателей по торговому залу, мы видим два основных сценария работы с предварительной разметкой. И их стоимость принципиально разная.

Сценарий 1: Клиент предоставляет свою предразметку

Вы уже использовали свою модель для детекции объектов и теперь вам нужно, чтобы живые люди исправили ошибки: поправили кривые боксы, удалили ложные срабатывания и, самое главное, выстроили правильные треки между объектами.

Как мы работаем: наши специалисты по разметке получают ваши данные и начинают вычищать их. Это чисто операционная работа, которая не требует привлечения наших ML-разработчиков.
Стоимость: оценивается как работа по верификации и исправлению. Это дешевле, чем разметка с нуля, но итоговая цена сильно зависит от качества вашей модели. Если ошибок много, экономия может оказаться мнимой.

Сценарий 2: Мы делаем предразметку своими силами

У вас есть только "сырое" видео, но вы хотите ускорить процесс за счет наших технологий.

Как мы работаем: здесь подключается наша внутренняя ML-команда. Мы подбираем или дообучаем модель под вашу задачу, делаем предразметку, и только потом наша команда разметчиков доводит результат до идеала.
Стоимость: оценивается как комплексная услуга, включающая в себя затраты на ML-разработку. Это дороже, чем просто исправление, но может дать более качественный результат на старте и, как следствие, сэкономить время на ручной доработке.

Ключевой вопрос, который нужно себе задать: не окажется ли стоимость (предразметка + исправление) выше, чем стоимость классической ручной разметки? Наш опыт показывает, что предразметка оправдана в основном на больших объемах данных с однотипными и легко распознаваемыми объектами.

Хотите больше интересных историй из наших реальных кейсов? Заглядывайте в наш Телеграм-канал. Там мы делимся тем, что обычно остается за кадром.

Agentic Object Detection: почему мы не спешим верить в магию

В 2024–2025 годах в профессиональном сообществе активно обсуждается подход Agentic Object Detection — архитектура, в которой система не просто применяет заранее обученную модель, а действует как агент: анализирует сцену, сопоставляет контекст, форму, цвет и взаимное расположение объектов, имитируя логику человеческого восприятия. В теории это выглядит как следующий шаг эволюции: меньше обучения, выше обобщающая способность, меньше ручной разметки.

Однако на практике подобные заявления требуют проверки на реальных данных, а не на демонстрационных примерах.

Agentic Object Detection.png
В NeuroCore мы провели внутреннее тестирование Agentic Object Detection на клиентских видеоданных, характерных для production-сценариев: плотные сцены, перекрытия объектов, вариативное освещение, нестабильные ракурсы, требования к консистентному трекингу во времени. Тестирование проводилось командой разметки и ML-специалистов под руководством руководителя направления, с повторной валидацией результатов спустя несколько месяцев.

Результаты показали следующее. Подход действительно способен корректно работать в простых условиях: ограниченное количество однотипных объектов, низкая динамика сцены, отсутствие строгих требований к точности контуров и стабильности идентификаторов. Но при усложнении сцены начинают проявляться системные ограничения: нестабильность идентификации объектов между кадрами, деградация качества при частичных перекрытиях, чувствительность к визуальному шуму и отсутствие предсказуемости в граничных случаях.

Ключевая проблема заключается в том, что «рассуждение» агента не заменяет формализованную логику пайплайна. Для задач, где важны воспроизводимость, контроль качества, строгие метрики и пиксельная точность, текущие реализации Agentic Object Detection не обеспечивают необходимого уровня надёжности. Повторное тестирование спустя полгода не показало качественного скачка, который позволил бы рассматривать этот подход как полноценную альтернативу классическим схемам разметки и трекинга.

На сегодняшний день такие решения могут быть уместны в нишевых сценариях — например, в быстрых прототипах или низкобюджетных проектах с минимальными требованиями к качеству. Но для промышленных ML-задач, где ошибка в данных напрямую масштабируется в ошибку модели, полагаться на «агентную магию» преждевременно.

Этот пример хорошо иллюстрирует общий принцип работы с новыми технологиями в разметке и обучении моделей: любые обещания эффективности должны подтверждаться тестами на ваших данных и в вашем контексте, а не на универсальных демо-наборах.

Форматы разметки для трекинга.jpg

Форматы разметки для трекинга: COCO, MOT, YOLO

Когда речь заходит о практической реализации, важно определиться с форматом данных. Наиболее популярные для задач трекинга:

MOT (Multiple Object Tracking): специализированный и, пожалуй, самый удобный формат. Каждая строка в файле описывает один бокс в одном кадре: <frame_id>, <track_id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <confidence>, .... Он интуитивно понятен и создан именно для отслеживания.
COCO: универсальный JSON-формат, который может быть адаптирован для трекинга через добавление track_id в аннотации. Его плюс — гибкость и широкая поддержка в фреймворках.
YOLO: простой текстовый формат, где каждая строка — это <class_id> <x_center> <y_center> <width> <height>. Для трекинга к нему обычно добавляют track_id либо создают отдельную структуру файлов, где имя папки или файла указывает на ID трека.

Выбор формата зависит от вашей модели и дальнейшего пайплайна обработки данных. Мы в NeuroCore умеем работать со всеми этими форматами и можем помочь с конвертацией, если это необходимо.

Что подготовить для оценки проекта по разметке видео с трекингом

Корректная оценка сроков, стоимости и рисков в задачах multi-object tracking невозможна «по описанию задачи на словах». В отличие от простой разметки изображений, трекинг сильно зависит от характеристик исходного видеопотока и сценариев поведения объектов в кадре. Поэтому первый шаг — зафиксировать параметры входных данных.

Для первичной оценки проекта достаточно подготовить и ответить на следующие вопросы:

Тип видео: стационарная камера, PTZ, дрон, bodycam, мобильная съёмка
Разрешение и FPS: фактические параметры, а не номинальные
Длительность роликов: средняя и максимальная
Условия съёмки: день/ночь, засветы, блики, тени, дождь, снег, дым, пыль
Плотность объектов: сколько объектов одновременно находится в кадре
Перекрытия (occlusion): частичные и полные, кратковременные или длительные
Динамика сцены: скорость движения объектов, вход/выход из кадра
Типы объектов: классы, подклассы, возможные визуальные сходства
Цель трекинга: аналитика, безопасность, подсчёт, поведенческие сценарии
Формат результата: MOT, COCO, YOLO, кастомная схема

На практике именно эти параметры определяют, будет ли проект линейным и предсказуемым или потребует дополнительного QA, сложных гайдлайнов и многоэтапной валидации. Чем точнее зафиксированы входные данные на старте, тем меньше «сюрпризов» в бюджете и сроках.

Что считается качественным треком и где возникают спорные случаи

Качественный трекинг — это не просто набор bounding box’ов, связанных ID. Это строгое соблюдение правил идентификации объектов во времени, согласованное с задачей модели и бизнес-контекстом.
В основе качественного трека лежат три принципа:

Стабильность ID

Один и тот же физический объект должен сохранять идентификатор на всём протяжении наблюдения, пока это логически оправдано сценарием.

Предсказуемость поведения

Правила трекинга должны быть одинаковыми для всех разметчиков и воспроизводимыми — без «интуитивных» решений.

Контролируемые допущения

В заранее описанных граничных случаях допускаются отклонения, но они фиксируются и учитываются при приёмке.

Наиболее частые спорные ситуации в проектах MOT:

Перекрытие объектов
Например, человек полностью скрывается за колонной или автомобилем. Важно заранее определить: сохраняется ли ID при повторном появлении и через какое количество кадров допускается его сброс.
Временное исчезновение из кадра
Объект вышел за границу кадра и вернулся через несколько секунд. Это тот же объект или новый? Ответ зависит от задачи и должен быть формализован в правилах.
Слияние и разделение объектов
Люди идут группой, затем расходятся. Тележка с грузом движется вместе с оператором. Что считается отдельным объектом, а что — составным?
Отражения, тени, экраны, манекены
Камеры в реальных условиях часто «видят» то, что не является физическим объектом. Качественный трек требует чётких критериев исключения.
Частичная видимость
Объект виден не полностью (верх туловища, фрагмент транспорта). Решение о продолжении трека должно быть единообразным.

Именно проработка таких граничных сценариев отличает формальную разметку от промышленного датасета, пригодного для обучения и валидации моделей. На практике правила работы с этими случаями фиксируются в гайдлайне и проверяются отдельными метриками качества.

Заключение

Разметка видео с трекингом — это комплексная задача, где нет универсального решения. Попытка сэкономить с помощью сырых технологий или некачественной предразметки часто приводит лишь к увеличению итоговой стоимости проекта.

Наш подход — это прозрачность и экспертиза. Мы всегда готовы проанализировать вашу задачу и честно сказать, какой пайплайн будет наиболее эффективным: полная ручная разметка, исправление вашей предразметки или комплексная работа с привлечением нашей ML-команды.