Каковы параметры для хорошего качества работы системы распознавания?
Разбираем на примере, как определить метрики качества и что это такое.
Что такое метрики качества в задачах видеоаналитики:
Знание того, как оценить производительность модели распознавания образов, очень важно для самых разных задач в области искусственного интеллекта, машинного обучения и компьютерного зрения. Ниже я расскажу о некоторых наиболее широко используемых критериях хороших систем распознавания образов.
Предположим, вы работаете над простой задачей классификации изображений для распознавания образов: определить, есть ли на фотографии машина. У вас есть 100 изображений каждого типа (машина или отсутствие машины) в тестовом наборе данных. Первый шаг — разделить результаты вашей модели на четыре типа:
Верные положительные предсказания: модель правильно предсказывает, что на изображении есть машина (TP);
Ложноположительные срабатывания: модель предсказывает, что изображение содержит машину, а на самом деле нет (FP);
Верные отрицательные предсказания: модель правильно предсказывает, что на изображении нет машины (TN);
Ложноотрицательные срабатывания: модель неправильно предсказывает, что на изображении нет машины, а она там есть (FN).
Когда у вас есть цифры для каждого из этих четырех типов, вы можете построить матрицу. Предположим, ваша матрица выглядит так:
True Positive: 98
False Positive: 5
True Negative: 95
False Negative: 2
С помощью этой информации вы можете использовать следующие показатели для оценки производительности вашей модели:
Точность: количество истинных положительных результатов, разделенное на общее количество положительных результатов, которые предсказывает модель. Здесь точность модели для обнаружения машин составляет 98/(98+5) = 95,1%.
Полнота: количество истинных положительных результатов, деленное на общее количество положительных результатов в исходном наборе данных. Здесь полнота модели для обнаружения машин составляет 98/(98+2) = 98%.
Оценка F1: среднее гармоническое точности и полноты, т.е. 2*(точность*полнота)/(точность+полнота). Здесь оценка модели F1 составляет 2 * (95,1 * 98) / (95,1 + 98) = 96,5.
Помимо точности, полноты и оценки F1, еще одним критерием, используемым для оценки моделей машинного обучения и компьютерного зрения, является ROC-AUC. Кривая ROC используется для визуализации производительности модели бинарного классификатора, а AUC («Площадь под кривой») представляет собой показатель для измерения того, насколько хорошо классификатор может отделять сигнал от шума. Если AUC равен 1, модель может идеально разделить положительные и отрицательные классы; если он равен 0, модель неправильно предсказывает все положительные значения как отрицательные, и наоборот. Подробнее о терминах искусственного интеллекта в нашей статье.
