前言

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

---

回归

在回归任务上，目前最常用的性能度量方式是均方误差 (Mean Squared Error, MSE)：
$$\text{MSE}=\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2$$

其余还有均方根误差 (Root Mean Squared Error, RMSE)：
$$\text{RMSE}=\sqrt{\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2}$$

平均绝对误差 (Mean Absolute Error, MAE)：
$$\text{MAE}=\frac{1}{m}\sum _{i=1}^m\left|f({\mathbf{x}}_i)-y_i\right|$$

平均绝对百分比误差 (Mean Absolute Percentage Error, MAPE)：
$$\text{MAPE}=\frac{100\%}{m}\sum _{i=1}^m\left|\frac{f({\mathbf{x}}_i)-y_i}{y_i}\right|$$

R-squared 又称决定系数 (Coefficient of Determination)，在统计学中用于度量因变量的变异中可由自变量解释部分所占的比例，以此来判断回归模型的解释力：
$${\text{R}}^2=1-\frac{\text{MSE}}{\text{Var}}=1-\frac{{\sum }_{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2}{{\sum }_{i=1}^m(\bar{y}-y_i{)}^2}$$

该数值越大越好，但当数据分布方差较大时，即使预测不准，${\text{R}}^2$ 依然较大，此时该评价指标效果就不太好。

---

分类

在分类任务上，最常用的性能度量方式是错误率 (Error Rate, Err) 与精度 (Accuracy, Acc)，其同时适用于二分类与多分类：
$$\begin{array}{c}\text{Err}=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f({\mathbf{x}}_i)\ne y_i)\\ \text{Acc}=1-\text{Err}=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f({\mathbf{x}}_i)=y_i)\end{array}$$

二分类

在信息检索、Web 搜索等应用中，我们会更关心查准率、查全率等相关指标，由此引出混淆矩阵 (Confusion Matrix)，具体定义如下所示：

依据混淆矩阵，我们可以定义查准率 (Precision, P)、查全率 (Recall, R)：
$$\begin{array}{c}P=\frac{TP}{TP+FP}\\ R=\frac{TP}{TP+FN}\end{array}$$

进而定义 $F1\text{-}score$ ($F1$)、$F_{\beta }$-score ($F_{\beta }$)，其中 $\beta >0$ 度量了查全率对查准率的相对重要性，当 $\beta >1$ 时查全率有更大影响，当 $\beta <1$ 时查准率有更大影响。
$$\begin{array}{c}F1=\frac{2\times P\times R}{P+R}\\ F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}\end{array}$$

另外，在许多关注排序本身质量的应用中，AUC (Area Under ROC Curve) 是一种常见的指标，计算方式如引理 1 所示，其对应的 ROC 曲线如下图所示。

多分类

在多分类任务上，通常会对应 $n$ 个混淆矩阵，此时可以直接对各混淆矩阵求均值，定义宏查准率 ($macro\text{-}P$)、宏查全率 ($macro\text{-}R$) 以及宏 $F1$ ($macro\text{-}F1$):
$$\begin{array}{c}\text{macro-}P=\frac{1}{n}\sum _{i=1}^n{P}_i\\ \text{macro-}R=\frac{1}{n}\sum _{i=1}^n{R}_i\\ \text{macro-}F1=\frac{2\times \text{macro-}P\times \text{macro-}R}{\text{macro-}P+\text{macro-}R}\end{array}$$

也可以先对混淆矩阵中各元素求平均，得到 $TP$、$FP$、$TN$、$FN$ 的均值 $\overline{TP}$、$\overline{FP}$、$\overline{TN}$、$\overline{FN}$，进而定义微查准率 ($micro\text{-}P$)、微查全率 ($micro\text{-}R$)、微 $F1$ ($micro\text{-}F1$):
$$\begin{array}{c}\text{micro-}P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}\\ \text{micro-}R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}\\ \text{micro-}F1=\frac{2\times \text{micro-}P\times \text{micro-}R}{\text{micro-}P+\text{micro-}R}\end{array}$$