Представьте: вы заказали разметку 1000 изображений для вашего проекта. Подрядчик, основываясь на тестовой выборке, назвал цену готового датасета для ML. Но в реальности на каждой фотографии в датасете оказалось не по одному объекту, а по нескольку десятков. В итоге — сорванные сроки, непредвиденные расходы и разочарование в результате.

Чтобы избежать таких ситуаций и с самого начала выстроить прозрачные отношения с подрядчиком по сбору и разметке, важно понимать, из чего складывается стоимость работ. Об этом и поговорим в статье.

Слово эксперту по разметке данных в NeuroCore

Я — Роман Федоров, руководитель команды разметки данных в NeuroCore. За годы работы я реализовал сотни проектов по созданию датасетов для обучения нейросетей. Весь опыт, которым я делюсь в этой статье, основан на реальных кейсах и ошибках, через которые прошла наша команда. Наша цель — сделать процесс работы над данными для ИИ максимально прозрачным для вас, наших клиентов.

Итак, основные ошибки при заказе сбора и разметки данных:

Ошибка №1: Оценка по количеству картинок, а не объектов

Самая частая ошибка — привязывать стоимость к количеству изображений в датасете. Правильно — к количеству объектов (полигонов, боксов, тегов), которые нужно разметить.

Пример: вы договорились о цене в 5 рублей за картинку с изображением коров. Но на одной картинке может быть одна корова, а на другой — целое стадо из 60 животных.

Во втором случае,  работа займет в 60 раз больше времени. Разумеется, разный объем работы не может стоить одинаково.

Решение от NeuroCore: мы всегда привязываем стоимость работ к четким и измеримым показателям: количеству полигонов, точек, тегов. Так вы платите за конкретный результат, а не за «картинку». Это защищает ваш бюджет и гарантирует понятный результат и предсказуемость.

Ошибка №2: Недооценка важности тестовых заданий

Как правило, компания, которая оценивает проект по разметке без «теста», недостаточно опытна или не сталкивалась ранее с непредвиденными ситуациями. Тестовое задание - это страховка и для заказчика, и для команды разметки (именно поэтому мы открыто говорим, что даем 20% разметки в качестве теста бесплатно).

Что «тест» дает вам, как клиенту:

• Прозрачность процесса: вы видите, как будет вестись работа.
• Оценка качества: вы можете оценить, подходит ли вам рабочий процесс и точность разметки.
• Синхронизация: на этом этапе мы с вами окончательно согласовываем требования и убеждаемся, что одинаково понимаем задачу.

Нюансы оценки для разных типов задач: что нужно знать заказчику

Чтобы вы могли говорить с подрядчиком на одном языке, вот краткий чек-лист от NeuroCore по разным типам задач:

Сегментация (Полигоны) и Детекция (Bounding Box):

Ваш контроль: Всегда требуйте оплату за количество объектов, а не изображений. Проверяйте, сколько времени уходит на сложные и простые случаи.

Классификация аудио и текста:

Ваш контроль: Обычно это задача с наличием субъективных оценок в ней. Убедитесь, что на этапе теста вы и команда разметки одинаково понимаете, что такое «токсичный комментарий» или «агрессивный звонок». Важна калибровка.

Разметка по ключевым точкам (Keypoints) и LIDAR:

Ваш контроль: Если точек на объекте много (например, 200 точек на одном человеке), интерфейс разметки среднестатистического разметчика может тормозить. Попросите подрядчика проверить это на тесте, чтобы убедиться, что производительность его команды разметки не упадет.

Сбор данных с участием людей (респондентов):
Ваш контроль: Спросите, заложены ли в смету расходы на реквизит (если нужен), логистику и оплату времени участников. Это должно быть прозрачно.

Сбор данных из открытых источников (парсинг):
Ваш контроль: Критически важна предварительная оценка источников сбора данных. Запросите у подрядчика подтверждение, что данных в этих источниках действительно хватит для сбора всего датасета.

Что дальше? Помогите нам выбрать следующую тему!

Мы в NeuroCore хотим делиться полезной и применимой на практике информацией. В планах — разобрать следующие темы:

• Как правильно составить ТЗ на разметку, чтобы вас поняли с первого раза.
• Топ-5 самых дорогих ошибок при сборе данных.
• Автоматизация разметки: когда она нужна, а когда — вредит.
• Жизненный цикл датасета: от сбора до дообучения модели.

Сделайте первый шаг к качественному датасету

Надеемся, это руководство было для вас полезным. Правильная оценка и прозрачный процесс — залог успеха вашего AI-проекта.

Готовы начать работу над вашими данными?

[Закажите сбор и разметку данных в NeuroCore]

Наша команда готова помочь вам создать качественный датасет для вашей AI модели.