模型效果评估方法常见问题

这是我参与8月更文挑战的第12天，活动详情查看：8月更文挑战

模型效果评估方法

分为预测问题和分类问题进行阐述

1. 对于预测问题常用的评估方法有哪些?
   MSE（均方误差）[Mean squared Error]：数据的变化程度 – 越小 – 模型的精确度越高
   （参数估计值 – 参数真值）²的期望值

   MSE = Σ（估计值-真值）² /N

   RMSE（均方根误差）：
   均方误差的算术平方根

   MAE（平均绝对误差）：
   绝对误差的平均值 预测值误差的实际情况

2. 对于二分类问题常用的评估方法有哪些？
   分类问题：二分类问题和多分类问题
   二分类问题：

1. 解释准确率和召回率 – 二分类重要的评估指标

   准确率：精度 – 判断为正例且实际为正例的数量/判断为正例的数量 – TP/(TP+FP)

   召回率：查全率 – 判断为正例且实际为正例的数量/实际上所有正例的数量 – TP/(TP+FN)

PR曲线 – 可视化模型准确率和召回率的图形 – 固定某一个指标，提高另一个率

1. 简要解释正确率，并阐述正确率与准确率的区别

   正确率：判断正确的数量 – (TP+TN)/(TP+TN+FP+FN) – 同时考虑了正负样本预测的情况

   准确率使用频率更高

2. 用简洁的语言或者举例解释准确率和召回率

   警察抓小偷：关注小偷 – 小偷样本作为正例

   准确率：抓到的人中小偷的占比

   召回率：在所有小偷中被抓到的占比

   ROC曲线：
   召回率 – FPR(False Positive Rate):TP/TP+FN
   准确率 – TPR(True Positive Rate): TP/TP+FP

1. 简单介绍ROC与AUC的概念及相互之间的关联
   ROC曲线一定会经过(0, 0)和(1, 1)这两个点，在此基础上让曲线下方所围成的面积最大化 – AUC

   AUC – 衡量二分类模型效果的指标

2. 多分类问题的评估方法有哪些?

   1. 多分类问题 – 二分类问题 – 最关心的分类作为正例，其他均作为负例 – PR曲线
   2. 混淆矩阵 – 22预测值与实际结果之间对应的矩阵进行扩展 – nn矩阵 – n分类数量
      对角线 – 正确的结果

多分类问题中 – 如果特别关注某一分类 – 转换成二分类 – 如果关注模型整体的分类效果 – 正确率描述

二分类：多分类问题的一种特殊情况