Что такое метрики качества в задачах видеоаналитики:

Знание того, как оценить производительность модели распознавания образов, очень важно для самых разных задач в области искусственного интеллекта, машинного обучения и компьютерного зрения. Ниже я расскажу о некоторых наиболее широко используемых критериях хороших систем распознавания образов.

Предположим, вы работаете над простой задачей классификации изображений для распознавания образов: определить, есть ли на фотографии машина. У вас есть 100 изображений каждого типа (машина или отсутствие машины) в тестовом наборе данных. Первый шаг — разделить результаты вашей модели на четыре типа:

Когда у вас есть цифры для каждого из этих четырех типов, вы можете построить матрицу. Предположим, ваша матрица выглядит так:

С помощью этой информации вы можете использовать следующие показатели для оценки производительности вашей модели:

Точность: количество истинных положительных результатов, разделенное на общее количество положительных результатов, которые предсказывает модель. Здесь точность модели для обнаружения машин составляет 98/(98+5) = 95,1%.

Полнота: количество истинных положительных результатов, деленное на общее количество положительных результатов в исходном наборе данных. Здесь полнота модели для обнаружения машин составляет 98/(98+2) = 98%.

Оценка F1: среднее гармоническое точности и полноты, т.е. 2*(точность*полнота)/(точность+полнота). Здесь оценка модели F1 составляет 2 * (95,1 * 98) / (95,1 + 98) = 96,5.

Помимо точности, полноты и оценки F1, еще одним критерием, используемым для оценки моделей машинного обучения и компьютерного зрения, является ROC-AUC. Кривая ROC используется для визуализации производительности модели бинарного классификатора, а AUC («Площадь под кривой») представляет собой показатель для измерения того, насколько хорошо классификатор может отделять сигнал от шума. Если AUC равен 1, модель может идеально разделить положительные и отрицательные классы; если он равен 0, модель неправильно предсказывает все положительные значения как отрицательные, и наоборот. Подробнее о терминах искусственного интеллекта в нашей статье.