Разбираем на примере, как определить метрики качества и что это такое.
Знание того, как оценить производительность модели распознавания образов, очень важно для самых разных задач в области искусственного интеллекта, машинного обучения и компьютерного зрения. Ниже я расскажу о некоторых наиболее широко используемых критериях хороших систем распознавания образов.
Предположим, вы работаете над простой задачей классификации изображений для распознавания образов: определить, есть ли на фотографии машина. У вас есть 100 изображений каждого типа (машина или отсутствие машины) в тестовом наборе данных. Первый шаг — разделить результаты вашей модели на четыре типа:
Когда у вас есть цифры для каждого из этих четырех типов, вы можете построить матрицу. Предположим, ваша матрица выглядит так:
С помощью этой информации вы можете использовать следующие показатели для оценки производительности вашей модели:
Точность: количество истинных положительных результатов, разделенное на общее количество положительных результатов, которые предсказывает модель. Здесь точность модели для обнаружения машин составляет 98/(98+5) = 95,1%.
Полнота: количество истинных положительных результатов, деленное на общее количество положительных результатов в исходном наборе данных. Здесь полнота модели для обнаружения машин составляет 98/(98+2) = 98%.
Оценка F1: среднее гармоническое точности и полноты, т.е. 2*(точность*полнота)/(точность+полнота). Здесь оценка модели F1 составляет 2 * (95,1 * 98) / (95,1 + 98) = 96,5.
Помимо точности, полноты и оценки F1, еще одним критерием, используемым для оценки моделей машинного обучения и компьютерного зрения, является ROC-AUC. Кривая ROC используется для визуализации производительности модели бинарного классификатора, а AUC («Площадь под кривой») представляет собой показатель для измерения того, насколько хорошо классификатор может отделять сигнал от шума. Если AUC равен 1, модель может идеально разделить положительные и отрицательные классы; если он равен 0, модель неправильно предсказывает все положительные значения как отрицательные, и наоборот. Подробнее о терминах искусственного интеллекта в нашей статье.
Наша команда с 2017 года успешно реализовала 54 проекта с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.