Матрица путаницы — это матрица N x N, используемая для оценки производительности модели классификации, где N — количество целевых классов. Матрица сравнивает фактические целевые значения с предсказанными моделью машинного обучения. Эта матрица показывает ошибки в производительности модели в форме матрицы, поэтому также известна как матрица ошибок.

Для задачи классификации бинарных классов у нас будет матрица 2 x 2:

Истинный положительный результат (TP):

  • Прогнозируемое значение соответствует фактическому значению
  • Фактическое значение было положительным, и модель предсказала положительное значение.

Истинно отрицательный результат (TN):

  • Прогнозируемое значение соответствует фактическому значению
  • Фактическое значение было отрицательным, и модель предсказала отрицательное значение.

Ложное срабатывание (FP):

  • Прогнозируемое значение было неверно предсказано
  • Фактическое значение было отрицательным, но модель предсказала положительное значение.
  • Также известна как ошибка первого типа.

Ложноотрицательный результат (FN):

  • Прогнозируемое значение было неверно предсказано
  • Фактическое значение было положительным, но модель предсказала отрицательное значение.
  • Также известна как ошибка типа 2.

Он оценивает производительность моделей классификации, когда они делают прогнозы на тестовых данных, и сообщает, насколько хороша наша модель классификации. Он не только сообщает об ошибке, допущенной классификаторами, но и о типе ошибки, например, об ошибке типа I или типа II.

Оценка — это показатель в матрице путаницы. Он также имеет 4 типа: TPR, FPR, TNR, FNR.

Чувствительность / доля истинно положительных результатов / отзыв

Специфичность / доля истинно отрицательных результатов

Для повышения производительности TPR, TNRдолжны быть высокими и FNR, FPRдолжны быть низким.

Расчеты с использованием матрицы путаницы:

Точность классификации. Определяет, как часто модель предсказывает правильный результат. Его можно рассчитать как отношение количества правильных прогнозов, сделанных классификатором, ко всему количеству прогнозов, сделанных классификаторами.

Коэффициент ошибочной классификации. Он также называется Коэффициент ошибок и определяет, насколько часто модель дает неверные прогнозы. Значение частоты ошибок может быть рассчитано как количество неправильных предсказаний ко всему количеству предсказаний, сделанных классификатором.

Точность. Ее можно определить как количество правильных выходных данных, предоставленных моделью, или количество из всех положительных классов, правильно предсказанных моделью, которые были на самом деле верными. Его можно рассчитать по:

Напомнить: он определяется как количество положительных классов, правильное предсказание нашей модели. Отзыв должен быть как можно выше.

Оценка F1:напоминание и точность — это две оценки. Совокупность этих двух показателей и есть F1-Score. Он вычисляется как среднее гармоническое точности и полноты. Он сообщает вам, насколько точен ваш классификатор, а также насколько он надежен.

Он максимален, когда Точность равна Отзыву.

Высокая точность, но более низкий отзыв, дает вам чрезвычайно точную информацию, но затем пропускает большое количество случаев, которые трудно классифицировать.

Чем выше показатель F1, тем лучше производительность нашей модели. Математически это можно выразить так:

Ссылки:

  • Прикладной ИИ
  • javapoint
  • Аналитикавидья