目录
- 前言
- 各类指标
- 分类指标(Classification metrics)
- sklearn.metrics.accuracy_score
- sklearn.metrics.auc
- average_precision_score (AP)
- 回归指标(Regression metrics)
- 多标签排序指标(Multilabel ranking metrics)
- 聚类指标(Clustering metrics)
- 双聚类指标(Biclustering metrics)
- 距离指标(Distance metrics)
- Pairwise metrics
- 绘图
前言
平时训练模型,会写一些评估函数,简单的评估函数如准确率等很容易实现,当使用AUC、NDCG等指标时,调用sklearn.metrics不仅准确可靠,而且速度飞快。
sklearn有三种不同的度量:
- Estimator score method:估计器有一个评分方法,为他们要解决的问题提供默认的评估标准。
- Scoring parameter:模型评估工具使用交叉验证(如
model_selection.cross_val_score
和model_selection.GridSearchCV
)依赖于内部评分策略。 - Metric functions:
sklearn.metrics
模块实现了为特定目的评估预测误差的功能。这些指标在分类指标(Classification metrics)、多标签排名指标(Multilabel ranking metrics)、回归指标(Regression metrics)和聚类指标(Clustering metrics)部分中有详细说明。
本节主要就是介绍Metric functions。
参考资料:
sklearn.metrics官方文档
各类指标
sklearn.metrics一个package,包含评分函数(score functions)、性能指标(性能指标)、pairwise metrics和距离计算(distance computations)。
分类指标(Classification metrics)
sklearn.metrics.accuracy_score
准确度分类得分。为样本预测的标签集必须与y_true中的相应标签集完全匹配。也可以给样本加权,详见sklearn.metrics.accuracy_score文档
accuracy_score(y_true, y_pred)
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
accuracy_score(y_true, y_pred)
"""
输出:
0.5
"""
sklearn.metrics.auc
使用梯形法则(trapezoidal rule)求曲线下的面积“Area Under the Curve (AUC) ”。这是一个通用的求曲线下面积的函数,只需要给定曲线上的点。要计算ROC曲线下的面积,使用roc_auc_score
。
简单来说,这就是一个根据梯形法则逼近曲线在区间内的积分,比如我们计算 y=x2y=x^2y=x2 在区间 [0,2][0,2][0,2] 内的面积,通过牛顿-莱布尼茨公式可以计算出其面积为 83{\frac 8 3}38,我们只需要给定 y=x2y=x^2y=x2 曲线在 [0,1][0,1][0,1] 上的点,就可以用梯形法则逼近其区间内的面积,见如下图片及代码部分(图片来源于南安普顿大学)。
sklearn.metrics.auc(x, y)
x:x坐标,要么是单调递增,要么是单调递减。
y:y坐标。
import numpy as np
from sklearn import metrics
# n越大,结果越精确
n = 10000000
x = np.linspace(0,2,n)
y = x**2
metrics.auc(x, y)
"""
输出:
2.6666666666666803
"""
average_precision_score (AP)
计算平均查准率(average precision, AP)。
AP=∑n(Rn−Rn−1)Pn\text{AP} = \sum_n (R_n - R_{n-1}) P_n AP=n∑(Rn−Rn−1)Pn