Экспертная разметка данных: когда без отраслевого эксперта датасет не имеет ценности

Бывает так, что без экспертизы разметка превращается в красивый, но бесполезный датасет: модель уверенно учится на ошибках людей, которые не разбираются в предмете.

экспертная разметка данных.jpg

Датасет может выглядеть безупречно: границы размечены пиксель в пиксель, теги проставлены, работа сдана строго в срок. Но при этом он учит модель ошибаться. 

Так происходит, когда разметку делают люди, не понимающие сути каких-то специфичных процессов, для которых и размечается датасет. Разметчик работает аккуратно, но визуально цепляется не за те признаки. Нейросеть добросовестно впитывает эту логику и обучается на некорректных данных.

В момент приёмки данных эту проблему не видно. Она "ударит" по проекту через несколько месяцев — на этапе валидации или при запуске пилота на реальном объекте. В этот момент выясняется, что алгоритм непригоден, дедлайны сорваны, а переразметка и переобучение съедят ещё один бюджет.

Если задача типовая — отличить пешехода от автомобиля или найти на скане паспорт, — риска нет. С этим справятся массовые исполнители на краудсорсинге. Но как только для установки правильной метки требуется профессиональное суждение, пускать к данным случайных людей нельзя. Здесь начинается территория экспертной разметки.

Ниже разбираем, где проходит чёткая граница между массовой и экспертной разметкой, где брать профильных специалистов для обучения ИИ, как выстраивать контроль качества их работы и в какие суммы это выливается.

Что такое экспертная разметка данных

Стандартная разметка данных — механическая операция. Специалист-разметчик обводит на кадре машину, пешехода, номерной знак: что считать объектом, ясно без специальных знаний, и качество держится на эталоне разметки и контроле. Такую работу выполняет обученный человек без профильного образования.

У экспертной разметки инструмент тот же: рамки, маски и полигоны рисуют теми же средствами. Разница в том, кто вправе решить, что на кадре правда. 

В обычной задаче разметчик отвечает на вопрос «где объект». В экспертной — сначала на вопрос «есть ли он здесь вообще и что находится в кадре». Что считать всплеском газа в расплавленном металле на почти белом фоне с десятками бликов? Где на МРТ заканчивается диск и начинается жировая ткань? Что на рентгене багажа угроза, а что безобидное наложение предметов? Сигнал от шума на таких кадрах отделяет только тот, кто годами работает с этим типом данных.

Решение здесь распадается на три слоя. 

  • Обнаружение — присутствует ли признак вообще. 

  • Классификация — к какому из близких классов он относится. 

  • Отбраковка — что считать артефактом съёмки, бликом или дефектом данных и не размечать совсем. 

Обычный разметчик уверенно закрывает только обнаружение на простых объектах; остальное держится на профессиональном суждении, и инструкцией из пары строк его не заменить.

Поэтому экспертная разметка не означает, что эксперт рисует каждую рамку сам. Он переводит свой опыт в проверяемые правила, разбирает пограничные случаи и формирует эталон, по которому работает уже обученная команда. Без эталона два одинаково квалифицированных специалиста размечают один кадр по-разному, и датасет наполняется их разногласиями. Хуже того, ошибки в сложных классах коррелируют: разметчик путает одну и ту же пару признаков снова и снова — и модель усваивает устойчивое смещение вместо чистого сигнала.

экспертная разметка данных в медицине.jpg

Когда экспертиза в разметке обязательна

Экспертиза нужна там, где ошибка в метке переходит в ошибку модели, а та измеряется здоровьем, безопасностью, деньгами или юридическими последствиями. Приводим сферы, для которых чаще всего требуется именно экспертная разметка:

  • Медицинская визуализация и клинические данные. МРТ, КТ, рентген, УЗИ, гистология, врачебные записи. Класс на снимке размечает только врач — рентгенолог или патоморфолог. Один пропущенный признак означает пропущенный диагноз, поэтому работают сертифицированные специалисты, данные анонимизируют и держат в закрытом контуре, а процесс подгоняют под регуляторные требования к медицинским ИИ-продуктам. У нас в NeuroCore есть кейс о том, как в проекте на 500 000 МРТ-срезов позвоночника спорные случаи разбирали на консилиуме из двух-трёх врачей.
  • Досмотр и безопасность. Рентген багажа и грузов, поиск скрытых угроз. Что считать оружием или запрещённым предметом на интроскопическом снимке, определяет специалист по досмотру. В нашем проекте по автоматизации рентгеновского досмотра мы прогоняли через сканер реальное оружие и десятки бытовых предметов, меняя их положение, чтобы охватить всю вариативность.
  • Геопространственные и спутниковые данные. Дешифровка аэро- и космоснимков: техника, инфраструктура, изменения местности. Тонкие признаки на снимке низкого разрешения различает дешифровщик, а в оборонных и мониторинговых задачах цена ошибки высокая.
  • Промышленность и контроль качества. Дефекты, износ, нарушения технологического режима. Чтобы отличить дефект от блика или штатного шва, нужно понимать физику процесса — как в задаче с всплесками газа в металле.
  • Юридические и финансовые тексты. Разметка пунктов договоров, условий, нормативных требований. Критерий задают юрист или финансовый аналитик: разметчик, не являющийся специалистом, может спутать близкие по форме, но разные по смыслу формулировки.
  • Обучение и оценка языковых моделей. В RLHF, ранжировании ответов и red-teaming эксперт оценивает, какой ответ модели корректнее в его домене — в программировании, медицине, праве, финансах. Масштаб тут не заменяет квалификацию: тысяча оценок от неспециалиста усиливает неверную логику, а не исправляет её.

Общий признак у всех этих задач один: правильную метку нельзя получить голосованием толпы. Её даёт человек, который понимает предмет. Дальше вопрос в том, как его найти, проверить его квалификацию и встроить в рабочий процесс по экспертной разметке.

Где искать экспертов: опыт NeuroCore

Сильного специалиста не найти на бирже фриланса. Там работают универсалы, готовые взяться за любую разметку, а нужен врач, дешифровщик или технолог, который годами работает именно с этим типом данных. Такие люди заняты основной профессией и на общие объявления о подработке не реагируют — подобных предложений им приходит достаточно. Искать их нужно там, где они уже собраны по специальности: в профессиональных ассоциациях, на отраслевых конференциях, в сообществах практикующих специалистов, через рекомендации коллег. Отклик даёт конкретное предложение — с понятным объёмом работы, сроками и оплатой, а не размытая просьба «поучаствовать в проекте».

Дальше идёт отбор, и он отсеивает большинство. В проекте про разметку 7000 рентгенологических исследований мы начали с 25+ кандидатов с подтверждённой специализацией. Каждый проходил тестовое задание на реальных снимках, проверку квалификации и сбор полного пакета документов для службы безопасности заказчика. До работы дошли трое — из двенадцати, кто добрался до финального этапа. Весь отбор занял 14 дней. Для экспертных задач это нормальное соотношение, и его закладывают в план заранее: расчёт «подходящий врач найдётся за день» срывает сроки на старте.

Найти специалиста — половина дела. Дальше нужно организовать его работу в чужой системе. В этом проекте врачи размечали в собственном интерфейсе заказчика, в его изолированной защищённой сети, среда незнакомая, и без сопровождения первые дни уходят не на разметку, а на освоение программы. Мы взяли это на себя: обучили работе в интерфейсе, держали методологическую поддержку и были единым окном между врачами и заказчиком по всем вопросам. Специалист с первого дня занимался разметкой и не тратил время на чужую систему.

Как зафиксировать критерий до старта

До массовой разметки эксперт собирает эталон — образец того, как выглядит правильно размеченный кадр, с разбором классов и спорных случаев. Это документ, по которому потом работает и сверяется вся команда.

В нашем проекте, о котором мы писали выше, мы размечали больше 500 000 МРТ-срезов позвоночника. Сложные и неоднозначные кадры разобрали отдельно: для них сделали гиф-анимации, которые показывали разметчику, где проходит граница между классами. Тяжелее всего давалась жировая ткань — на снимках разных аппаратов и у разных пациентов она выглядит настолько по-разному, что под неё пришлось собрать отдельный визуальный гайд с десятками примеров. В эталон вошло и правило отбраковки: около 15% исходных снимков мы не размечали вообще, потому что даже опытный врач не мог уверенно разглядеть на них все нужные структуры. Что оставить за рамками разметки, мы решили заранее — до того, как команда взялась за основной объём.

Когда критерий записан и проиллюстрирован, он перестаёт зависеть от одного человека: если эксперт уходит, сменщик входит в готовую методологию и продолжает с того же места, а не переразмечает всё под свою трактовку.

Как эксперты проверяют разметку

Один проход разметки не считается готовым результатом по двум причинам. Первая — усталость: ещё в 1948 году Норман Маккворт показал, что точность обнаружения редких сигналов падает уже в первые десятки минут однообразного наблюдения. На 500 000 снимков это гарантированные пропуски. Вторая — расхождения между экспертами: даже квалифицированные специалисты трактуют пограничные случаи по-разному, поэтому согласованность между ними измеряют, а не предполагают.

Рабочая схема — многоступенчатая проверка. Работу разметчика сверяет старший разметчик, сложные и ключевые кадры — врач-куратор, спорные случаи уходят на консилиум. Финал — независимый аудит со стороны заказчика: например, в нашем проекте про разметку МРТ врачи клиента подтвердили точность разметки 87,5%.

Жёсткость здесь не лишняя. Разметка задаёт калиброванный эталон, на котором учится модель. Если эталон смещён, ошибка не гасится при обучении, а тиражируется на весь датасет. Поэтому эксперт не размечает всё подряд: он задаёт стандарт, обучает разметчиков и проверяет результат. Дорогой специалист закрывает методологию и контроль, объёмную механику делает обученная команда — без оплаты часа эксперта за каждую рамку.

Сроки и цену называем после пробной разметки

Скорость работы эксперта-разметчика сложно предугадать. Один рентгенолог размечает снимок за минуту, другой — за пять, и пока конкретный врач не начнет работать с реальными задачами, его темп неизвестен. Назвать заказчику сроки и цену до пробной разметки — значит пообещать наугад.

Мы делаем иначе. Сначала эксперт размечает небольшую контрольную партию снимков, и на ней мы замеряем две вещи: сколько кадров он обрабатывает за час и насколько точно. На эти цифры и опирается расчёт — сколько займёт весь объём и сколько он будет стоить. Заказчик получает срок, построенный на реальной скорости конкретных людей, а не на оптимистичной прикидке.

Так снимается главный риск таких проектов — зависимость от редких специалистов, у которых и без того мало времени. Когда производительность измерена заранее, проект перестаёт быть лотереей: тот же датасет на 7000 исследований мы сдали за 3 месяца вместо четырёх запланированных.

чем отличается экспертная оценка данных.jpg

Как бывает, когда разметка проводится без зафиксированного критерия

Антикейс из нашей практики. Задача звучала несложно: найти на видео всплески газа в расплавленном металле. На деле это случай, когда разметка сложнее самой модели. Фон почти белый, по поверхности идут десятки бликов, и всплеск газа по яркости и форме мало отличается от обычного отражения. Отделить событие от блика можно только по совокупности признаков — размеру области, перепаду яркости относительно фона и поведению пятна на соседних кадрах: блик дрожит на месте, всплеск возникает и гаснет. Эти признаки нужно описать заранее в измеримых порогах, иначе каждый разметчик проводит границу по-своему.

Финальные правила фиксации всплеска до старта не закрепили — критерий уточняли по ходу. Когда на стороне заказчика сменился эксперт, сменилась и трактовка признака: то, что раньше относили к всплескам, новый специалист считал бликами, и наоборот. Размеченные данные перестали соответствовать новому пониманию, и работу переделали с нуля.

Результат получился слабее ожидаемого, и причина не в исполнителях. 

Критерий разметки задаёт саму цель обучения: меняя, что считать всплеском, заказчик менял задачу, которую решает модель. Датасет, размеченный по двум разным критериям, не наполовину полезен — он учит модель противоречию и потому хуже меньшего, но согласованного набора. 

Второй просчёт — критерий жил в голове одного эксперта, без эталона на бумаге, и его уход обнулил уже сделанное. 

Оба сбоя управленческие: правильный признак сначала описывают в проверяемых правилах и закрепляют, и только потом берутся за объём работ.

когда экспертная разметка не нужна.jpg

Когда экспертиза не нужна

Не каждой задаче нужен дорогой специалист-эксперт.

Если объект разметки очевиден обученному разметчику: машины, пешеходы, номера, дорожная разметка, каски и спецодежда, — экспертиза только "раздувает" бюджет.

Например, в проекте для системы автопилота мы собрали и разметили 400 000 изображений из четырёх регионов мира силами команды 60+ человек: полилинии, сегментация дорожного полотна и знаков. Врачи и технологи там не требовались. Сложность сместилась в логистику съёмки, учёт потока данных и единые критерии у десятков разметчиков — под это мы внедрили собственную систему учёта, чтобы отслеживать каждый файл и его статус.

Граница простая. 

Где критерий очевиден — нужен сильный эталон и контроль качества. 

Где критерий определяет профессионал — нужен эксперт. Платить за экспертизу там, где она не нужна, так же нерационально, как экономить на ней там, где без неё датасет учит модель ошибаться.

Вывод

Узкое место разметки — не сама операция аннотирования. Проставить bounding box, обвести маску или полигон — механика, которую закрывает обученный разметчик. Проект может сломаться уровнем выше: на определении эталона — что считать правильной меткой и зафиксировано ли это до того, как размечен первый кадр. Здесь проходит граница между датасетом, на котором модель учится верному, и датасетом, который закрепляет в ней систематическую ошибку.

Поэтому первое решение в проекте — не выбор инструмента или сроков, а оценка того, требует ли определение целевых классов профессионального суждения. Если требует, критерий формализуют в эталон до старта аннотирования: именно он задаёт верхнюю границу качества модели; объём выборки — нет. Подбор экспертов, контроль согласованности и оплата выстраиваются уже вокруг него.

Обсудить задачу

Мы в NeuroCore собираем и размечаем датасеты под ключ, включая проекты с привлечением внешних экспертов — в медицине, промышленности, безопасности и сельском хозяйстве. Если вам нужен датасет, а браться за поиск, проверку и координацию специалистов внутри не хочется, обсудим задачу и оценим, что для неё реально потребуется:

  Оставить заявку в форме ниже |  Написать нам в ТГ

Читайте так же

NeuroCore · ИИ для бизнеса

Есть задача для ИИ?

Планируете внедрение ИИ, разработку модели или подготовку данных? Расскажите о задаче — обсудим возможные подходы, исходные условия и первый этап проекта.

Обсудить ваш проект

О вашей задаче (по желанию)

Первое обращение — без готового ТЗ