sklearn分类任务模型评价指标汇总与AUC-ROC曲线及代码示例

1. 分类指标

二分类可以参考下图：

准确率 = 预测对的样本数 / 全部样本数
精确率 = 被预测出的正例样本数 / 预测为正例的样本数
召回率 = 预测且真的是正例的样本数 / 正例的样本数
二分类F1 = 2 * 精确率 * 召回率 /(精确率 + 召回率)

多分类中F1一般用Macro F1或Micro F1：

• Macro F1：将n分类的评价拆成n个二分类的评价，计算每个二分类任务的F1 score，这些计算出来的F1 score求平均即为Macro F1
• Micro F1：将n分类的评价拆成n个二分类的评价，将n个二分类评价的TP、FP、RN对应相加（看混淆矩阵），计算得出每组的准确率与召回率，最后按照二分类计算F1的方法，代入公式得出的F1值即为Micro F1

因为Macro F1计算时每个样本的F1权重相同，最后求平均会受样本数量少的类别影响大，在数据各类样本不均衡的情况下，采用Micro F1较为合理，其他情况两者都行，都是F1越大越好

2. 整合工具函数

使用工具方法：

import matplotlib.pyplot as plt


def get_score(true_data, result_prediction, save_roc_path=None, model_name=None):
    """
    分类问题的得分辅助函数
    :param true_data: 真实值，是要预测的目标
    :param result_prediction: 预测值，用模型预测出来的值
    :param save_roc_path: 保存roc曲线的路径
    :param model_name: 模型名
    :return:
    """
    from sklearn.metrics import accuracy_score
    from sklearn.metrics import precision_score
    from sklearn.metrics import recall_score, f1_score
    from sklearn.metrics import roc_curve, auc

    acc = accuracy_score(true_data, result_prediction) # 准确率
    prec = precision_score(true_data, result_prediction) # 精确率
    recall = recall_score(true_data, result_prediction) # 召回率
    f1 = f1_score(true_data, result_prediction) # F1

    fpr, tpr, thersholds = roc_curve(true_data, result_prediction)
    roc_auc = auc(fpr, tpr)

    plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc), lw=2)
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('ROC Curve')
    plt.legend(loc="lower right")
    if save_roc_path:
        plt.savefig(save_roc_path)
    plt.show()
    score_list = [acc, prec, recall, f1, roc_auc]
    print('模型{}：'.format(model_name), score_list)
    return score_list

3. 使用示例

import matplotlib.pyplot as plt
import numpy as np


def get_score(true_data, result_prediction, save_roc_path=None, model_name=None):
    """
    分类问题的得分辅助函数
    :param true_data: 真实值，是要预测的目标
    :param result_prediction: 预测值，用模型预测出来的值
    :param save_roc_path: 保存roc曲线的路径
    :param model_name: 模型名
    :return:
    """
    from sklearn.metrics import accuracy_score
    from sklearn.metrics import precision_score
    from sklearn.metrics import recall_score, f1_score
    from sklearn.metrics import roc_curve, auc

    acc = accuracy_score(true_data, result_prediction)
    prec = precision_score(true_data, result_prediction)
    recall = recall_score(true_data, result_prediction)
    f1 = f1_score(true_data, result_prediction)

    fpr, tpr, thersholds = roc_curve(true_data, result_prediction)
    roc_auc = auc(fpr, tpr)

    plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc), lw=2)
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('ROC Curve')
    plt.legend(loc="lower right")
    if save_roc_path:
        plt.savefig(save_roc_path)
    plt.show()
    score_list = [acc, prec, recall, f1, roc_auc]
    print('模型{}：'.format(model_name), score_list)
    return score_list


if __name__ == '__main__':
    my_score = get_score(
        true_data=np.random.randint(0, 2, size=100),  # 假设为真实值
        result_prediction=np.random.randint(0, 2, size=100),  # 假设为预测值
    )

返回值为：

模型None： [0.53, 0.6136363636363636, 0.47368421052631576, 0.5346534653465346, 0.5391676866585067]

这里列表中的值依次为：[准确率，精确率，召回率，F1，roc-auc]，并且得到ROC曲线：