程序员经验分享-hwhale

图解机器学习：分类模型性能评估指标

2023-05-16

人间出现一种怪病，患病人群平时正常，但偶尔暴饮暴食，这种病从外观和现有医学手段无法分辨。

为了应对疫情，准备派齐天大圣去下界了解情况。事先神官从人间挑选了一些健康人和患病者来对大圣的业务能力进行测试，按下面规则来区分人群：

  • 健康人站在绿色区域
  • 患病者站在橙色区域

img

齐天大圣出场用他的火眼金睛识别哪些是健康人，哪些又是患病者。

随后画一个圈，告诉神官：圈里的是我认为健康的人，圈外的就是患病者。

img

接下来，我们画个图来看看大圣火眼金睛的识别效果：

为了区分识别是否正确，我们让大圣识别正确的人站在深色区域，错误的站浅色区域，也就是：

  • 深绿色（TP）：正确识别为健康人
  • 深橙色（TN）：正确识别为患病者
  • 浅绿色（FN）：健康人错误识别为患者
  • 浅橙色（FP）：患者错误识别为健康人

我们发现大圣画的圈里大部分是正确的，但是也有少量错误。话说应该是大圣年纪大了。

img

一、混淆矩阵 Confusion Matrix

现在回到机器学习的监督学习中，为了方便绘制和展示，我们常用表格形式的混淆矩阵（Confusion Matrix）作为评估模式。这在无监督学习中一般叫做匹配矩阵。

img

其中，

  • 行代表真实数据：包含真实的健康者和患病者数目
  • 列代表预测数据：包含预测的健康者和患病者数目

为了方便理解记忆，这里将健康者称为 Positive，患病者称为 Negative：

  • True Positive（TP）：本身为健康，预测为健康 （对健康人拿捏了）
  • False Negative（FN）：本身为健康，预测为患病（老倒霉蛋了）
  • False positive（FP）：本身为患病，预测为健康 （漏网之鱼了属于是）
  • True Negative（TN）：本身为患病，预测为患病 （对患病者拿捏了）

二、准确率 Accuracy

Accuracy：指模型识别正确的样本数占样本总数的比例。

也就是，正确识别的健康人和患者占全部人群的比例。

img

用公式表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rxkqere4-1651725986989)(https://cdn.nlark.com/yuque/__latex/148a7f222cf675c78eb886c0b9215065.svg)]

Accuracy 是最常用的评估指标，可以总体上衡量一个预测的性能。

一般情况在数据类别均衡的情况下，模型的精度越高，说明模型的效果越好。

需要注意的是，但是在严重不平衡的数据中，这个评估指标并不合理。比如这个病毒的发病率为 0.1％，模型可以把所有人判定为健康人，模型 Accuracy 直接高达99.9%，但这个模型并不适用。

为了更好地应对上述问题，衍生出了一系列其他评估指标。

三、精度 Precision

Precision：在模型识别为 Positive 的样本中，真正为 Positive 的样本所占的比例。

也就是说，在识别为的健康人群中，有多少是真正健康的。

img

公式表示为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XoZbeWBo-1651725986990)(https://cdn.nlark.com/yuque/__latex/cb23f4ec83e30b7e91bb509abe4e2353.svg)]

如果模型目标是：宁愿漏掉，不可错杀，我们应该更关注 Precision 指标。一般情况下，Precision 越高，说明模型的效果越好。

在识别垃圾邮件时，为了避免正常邮件被误杀，就需要模型有较高的 Percision。

四、召回率 Recall

Recall：模型正确识别出为 Positive 的样本数量占 Positive 数量的比值。

也就是说，在实际的健康人中，识别出的健康人比值。

Recall越高，代表模型从健康人群中识别出的健康人的比例越高。

img

公式表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-79ZNhZbE-1651725986992)(https://cdn.nlark.com/yuque/__latex/9f557d7c881df224be1389a6c9408b8f.svg)]

如果模型目标是：宁愿错杀，不可漏掉，我们应该更关注 Recall 指标。一般情况下，Recall 越高，说明模型的效果越好。

在金融风控领域中，目标是尽可能筛选出所有的风险行为或用户，避免造成灾难性后果。因此，需要更高的 Recall 值。

五、Fβ-Score 与 F1-Score

Precision和Recall都是越高越好，但这个两个指标间相互矛盾，此消彼长，因此无法保证二者都很高。

为了综合考虑 Precision 与 Recall，需要引入一个新指标 Fβ-Score：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NcEPCqwP-1651725986993)(https://cdn.nlark.com/yuque/__latex/25c96bc728f2420cafa058166dbba944.svg)]

更具不同的场景来调整 β值。

  • β<1 时，更关注Precision。
  • β>1 时，更关注Recall。
  • β=1 时，Fβ-Score 就是 F1-Score，

当 F1-Score 值较高时则说明模型性能较好。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WdhLC3Bq-1651725986994)(https://cdn.nlark.com/yuque/__latex/55e3ddf7d2665455579f509c02dff962.svg)]

六、真正例率 True Positive Rate，TPR

**TPR：**在实际的 Positive 样本中，识别出的 Positive 样本比值。

也就是说，大圣在实际的健康人群中，识别出的健康人比值。

TPR 越高，代表模型从健康人群中识别出的健康人的比例越高。

TPR 值越高，模型性能越好。

img

公式表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2fKZGuug-1651725986998)(https://cdn.nlark.com/yuque/__latex/edb477ff28540cb8ca888b131e5f901f.svg)]

七、假正例率 False Positive Rate，FPR

**FPR：**在实际的 Negative 样本中，错误识别为 Positive 的比值。

也就是说，在实际的患者中，错误识别为健康人的比值。

FPR 越高，代表模型从患病人群中识别出的健康人的比例越高。

FPR 越低，代表模型性能越好。

img

公式表示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MHYZKdSw-1651725987000)(https://cdn.nlark.com/yuque/__latex/9edd061fecffd6f8d702216f2cecd33b.svg)]

八、ROC 曲线

ROC曲线（Receiver Operating Characteristic Curve）通过 True Positive Rate（TPR，真正例率）和False Positive Rate（FPR，假正例率）两个指标的反映模型综合性能。

接下来，我们利用 TPR 和 FPR 绘制 ROC 曲线：

  • ROC 不同颜色的曲线代表不同的模型
  • 对角线的虚线代表随机分类，如果ROC位于左上角代表比随机分类好的模型，右下角为比随机分类差的模型
  • 四个角分别代表不同的分类效果

img

九、AUC 面积

ROC 曲线可以直观的反应模型性能，但是难以比较不同模型的差异。

计算ROC曲线右下角面积得到AUC，该指标可以实现对模型性能的定量化描述。

img

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

图解机器学习：分类模型性能评估指标 的相关文章

  • 亚马逊，一个沉睡广告巨人的苏醒（虎嗅网）

    虽然拥有令无数广告主羡慕的高质量用户数据和巨大的网站流量 xff0c 但是在很长的一段时间内亚马逊还是将主要的精力集中在商品销售上 xff0c 广告只是作为自身业务的补充可有可无的存在 不过最近两年 xff0c 亚马逊对广告这种不屑的态度正

  • 大数据案例分析：电信业Hadoop应用分析 原文出自【比特网】，转载请保留原文链接：http://do.chinabyte.com/228/12410228.shtml

    电信业Hadoop应用分析 昨日 xff0c 联通研究院处长王志军在第七届 开源中国 开源世界 高峰论坛上分享了Hadoop在电信行业大数据应用的经验 随着国内3G网络的发展 xff0c 或者移动通信网络的发展 xff0c 中国联通 600

  • Vue富文本编辑器Tinymce内容导出Pdf、Word

    一 Tinymce导出Pdf 使用VueHtml2pdf插件 xff0c 安装插件 xff0c VueHtml2pdf详情见vue html2pdf npm npm i VueHtml2pdf 引入和注册 引入 import VueHtml

  • 大腕出手看门道，谈BAT的投资战略差异 三家战略投资的思考原点并不相同虎嗅网)

    中国互联网的收购之战 xff0c 比娱乐圈的明星离婚更一波三折和猜不透结局 当所有人以为搜狗被360牵回山寨只是早晚的事的时候 xff0c 搜狗和腾讯宣布好上了 眼瞅着今年第三季度即将结束 xff0c 中国互联网巨头们在2013年的 军备竞

  • JDK6的安装

    http www java net download jdk6 6u10 promoted b32 binaries jdk 6u10 rc2 bin b32 windows i586 p 12 sep 2008 exe XP 下 JDK6

  • 如何利用大数据进行价值兑现才是正经事(虎嗅网)

    如果有一天你可以预测未来 xff0c 你要做的第一件事情是什么 xff1f 买彩票 xff1f 第二件 第三件事情呢 xff1f 先卖个关子 xff0c 我们后面再说这件事情 大数据是个产业 xff0c 广义上指的是在这个信息过载时代围绕着

  • 多图震撼！数字的未来，2013报告(虎嗅网)

    新媒体 完爆 旧媒体 从市值上来看 xff0c 以苹果 谷歌 亚马逊 Facebook 雅虎等为首的新媒体公司市值已超过1万亿美元 xff0c 而以迪斯尼 Comcast 时代华纳 Viacom CBS 新闻集团 21世纪福克斯等为首的旧媒

  • 网页采集器-八爪鱼采集器

    八爪鱼采集器下载地址 xff1a http www bazhuayu cc download 八爪鱼采集器的注册地址 xff1a http www bazhuayu cc signup id 61 0e492e9c 6d80 4c2a a2

  • 考研书单与技巧

    书尽量在网上搞活动时买正版的 xff0c 这样也不贵 每科研究透一到两本书 xff0c 不要贪多 xff01 1 英语 xff1a xff08 积累的过程 xff0c 可以现在开始 xff0c 正好把六级过了 xff09 xff08 看好所

  • Ubuntu下程序进程堆栈信息——gstack

    前言 在Ubuntu下调试程序 xff0c 大部分是启动前使用gdb进行调试 xff0c 当然也有其他方法 xff0c 程序在运行中 xff0c 为了不打断程序正常运行 xff0c 也有一些工具进行调试 当前本文章旨在说明不安装其他额外程序

  • 9.针对Linux的8种最佳免费防病毒程序

    虽然Linux操作系统相当稳定和安全 xff0c 但它们可能不完全免疫威胁 所有计算机系统都可能遭受恶意软件和病毒攻击 xff0c 其中包括运行基于Linux的操作系统的系统 但是 xff0c 对于基于Linux的操作系统而言 xff0c

  • 有铅焊锡丝与无铅焊锡丝的性能差异大解析

    有铅焊锡丝与无铅焊锡丝是二大类差另外产物档次 xff0c 由于其金属成份差别造成熔点也差别 xff0c 一样通常有铅焊锡丝 的熔点在183度 xff0c 而无铅焊锡丝的熔点为217 227度 含铅量越少熔点将越高 由于焊锡丝的熔点温度进步之

  • linux中的系统调用

    前言 xff1a 本文只讨论linux中的系统调用 xff0c 不考虑windows等其他操作系统 两点 xff1a 1 系统调用时 xff0c 进程调用的是操作系统的内核函数 xff0c 不是进程 2 系统调用时 xff0c 会出现上下文

  • iView 日期选择器开始时间至结束时间限制

    需要考虑以下条件 开始时间和结束时间都不能大于当前时间开始时间不能大于结束时间 html lt FormItem label 61 34 起止时间 34 gt lt DatePicker type 61 34 date 34 v model

  • 树莓派3安装笔记（1）-安装操作系统Raspbian以及安装必要软件

    拿到了树莓派3后 xff0c 经过短暂的兴奋 xff0c 终于开始实战安装OS了 以下步骤基于官方的文章https www raspberrypi org learning software guide quickstart xff0c 选

  • C中需要检验其执行是否成功的函数(检验返回值)

    一 malloc xff08 xff09 因为当内存分配完了后 xff0c 就无法再分配空间了 xff0c 所以malloc失败也是有的是 xff0c 当malloc失败时返回NULL char s 61 void malloc SIZE

  • 《Java核心技术 卷1》

    目录 第4章 对象和类 lt 1 gt 静态字段和静态方法 lt 2 gt 初始化块 lt 3 gt 定义抽象类的对象变量 lt 4 gt hashCode方法得到散列码 lt 5 gt 虚拟机中的泛型类型信息 第五章 继承 第6章 接口

  • Kalibr 之 Camera-IMU 标定 (总结)

    Overview 欢迎访问 持续更新 xff1a https cgabc xyz posts db22c2e6 ethz asl kalibr is a toolbox that solves the following calibrati

  • VMware Workstations Pro 14 建立的虚拟机目录无法删除

    起因 通过VMware新建的RedHat虚拟机 xff0c 无意间的强制关机 xff0c 导致该虚拟机开机黑屏无法正常开启 xff0c 而且也关不掉 尝试删除自己创建的虚拟机目录文件 xff0c 提示文件被占用 通过任务管理器想要结束相关进

  • 矩形目标检测

    身份证 名片 书籍 考试试卷 答题卡这些检测目标都属于矩形目标检测 一 xff0c 现有技术 传统检测方法思路 xff1a 第一步 xff0c 采用滑动窗口 xff0c 设置不同的大小 xff0c 遍历图像 xff0c 得到一些目标的候选框

随机推荐

  • 几种常用通信协议

    通信可以形象的比喻成两个人讲话 xff1a 1 你说的别人得能听懂 xff1a 双方约定信号的协议 2 你的语速别人得能接受 xff1a 双方满足时序要求 一 IIC协议 xff1a 2C串行总线一般有两根信号线 xff0c 一根是双向的数

  • 基础篇——树莓派远程连接工具VNC不显示视频或摄像头画面解决方式

    背景故事 在树莓派上打开摄像头 xff0c 发现HDMI输出的桌面有画面 xff0c 但VNC这边没有画面 xff1b 之前有一次使用播放器播放视频也出现这个问题 xff0c 现记录解决方式 原因分析 VNC远程桌面并不是使用画面传输的方式

  • 穿越机(无人机航模)电池组装教程-电线接口

    对于动手能力强 xff0c 或者穷逼来说 xff0c 购买品牌电池玩穿越机 xff0c 或者其他航模 是非常浪费钱的 本着能自己干就不需要厂商辛苦的原则 电池组装 xff0c 我们可以自己做 非航模圈的电池 xff0c 一般都需要自带平衡电

  • UITextView

    闪退问题 scrollViewDidScroll 改为 scrollViewWillBeginDragging 禁止编辑 text setEditable NO 光标位置输入 64 param emoji 要输入的内容emoji和字符 vo

  • iView 滚动条样式

    滚动条样式 webkit scrollbar width 6px height 6px webkit scrollbar thumb background ccc webkit scrollbar track background e1e1

  • 英特尔 RealSense D415 + OpenCV 4.0 + VS2017 配置方法

    首先是Opencv 4 0 43 VS2017的配置过程 xff0c 网上已经有很多类似教程 xff0c 这里不再累赘 xff1a https www cnblogs com xinxue p 5766756 html 接下来开始配置D41

  • Android 系统调用实现函数功能--SVC指令的实现与检测

    0x0 简述 xff1a arm android中通过一些反编译的工具分析ELF文件时 xff0c 根据一些导入的系统函数可以很轻松的找到一些功能代码的实现 xff1a 查看libc中分析这些函数的实现 xff1a arm中通过SVC指令实

  • Docker学习笔记（九）：Docker +Jenkins +Github持续集成

    本次配置时 xff0c jenkins需要配置在外网可访问的服务器上 xff0c 因为在git push内容到github时 xff0c 触发Webhooks并推送到jenkins服务器上 1 配置Github xff08 通过秘钥登录 x

  • opencv-python 常用函数介绍

    目录 imread xff1a 读取图片 imshow xff1a 展示图片 resize xff1a 图片等比例缩放 split xff1a 获取所有像素的颜色值 merge xff1a 根据颜色值合成图片 VideoCapture xf

  • redis 内存占用分析

    在Redis命令行中 xff0c 执行MEMORY STATS命令查询内存使用详情 Redis实例的内存开销主要由两部分组成 xff1a 业务数据的内存开销 xff0c 该部分一般作为重点分析对象 非业务数据的内存开销 xff0c 例如主备

  • php laravel 分析 redis 各个key的内存占用情况

    lt php namespace App Console Commands Tools use Illuminate Console Command use Illuminate Support Facades DB class Redis

  • centos7手动修改dns

    DNS是计算机域名系统 Domain Name System 或Domain Name Service 的缩写 xff0c 它是由域名解析器和域名服务器组成的 域名服务器是指保存有该网络中所有主机的域名和对应IP地址 xff0c 并具有将域

  • 查看并关闭占用端口

    查看占用端口 sudo lsof i 8888 关闭占用端口 sudo kill 9 2558243

  • 从水果连连看到两条序列比对

    一 序列比对 Sequence Alignment 序列比对 xff08 sequence alignment xff09 xff0c 目前是生物信息学的基本研究方法 算法类似于连连看 xff0c 规则是上下两个水果一样 xff0c 就可以

  • Nginx 配置详解

    Nginx 配置 文章目录 Nginx 配置文件结构全局配置events 配置http 配置server 配置 Rewrite一 地址重写 xff0c 地址转发 xff0c 重定向二 URL 重写语法 xff1a 使用 xff1a 三 if

  • 趣谈网络协议(一)

    一般来说 xff0c 网上的购物 都是基于应用层的Http协议 那么在这一层协议书我们包装了什么呢 xff0c 请看下图 一 应用层 Http头 http1 1 POST URL 正文格式 content type 长度 content l

  • JS 中 Json 数据的快速排序

    主要方法 span class token comment 升序排列 span span class token keyword function span span class token function up span span cl

  • 生物信息学导师推荐（持续更新）

    本系列会持续更新 xff0c 帮助大家找到更适合自己的导师 xff0c 注意排名不分先后 xff0c 接下来我们开始介绍 xff1a 陈润生 单位 xff1a 中国科学院生物物理研究所 方向 xff1a 长非编码RNA以及编码小肽的系统发现

  • Python 中变量的多种复制方法（常规拷贝，浅拷贝，深拷贝）

    常规拷贝 大家常用的变量复制方法 xff0c 用 61 就行 但是 xff01 但是 xff01 但是 xff01 在我们复制字典和列表时会和我们预想的不一致 接下来 xff0c 做个小实验 常规拷贝在原始变量 x 的改变后 xff0c 因

  • 图解机器学习：分类模型性能评估指标

    人间出现一种怪病 xff0c 患病人群平时正常 xff0c 但偶尔暴饮暴食 xff0c 这种病从外观和现有医学手段无法分辨 为了应对疫情 xff0c 准备派齐天大圣去下界了解情况 事先神官从人间挑选了一些健康人和患病者来对大圣的业务能力进行

热门标签