机器学习可解释性

2023-11-19

20210508 -
(随笔,后续有时间在对概念有了深入理解之后再进行整理)

0. 引言

今天不想写论文,就想起了之前关注的一个内容,机器学习的可解释性。在之前的时候,或多或少了解这个东西,发现他更多的是从特征的角度来解释,这个特征怎么影响了模型。但是我一直理解不了的就是,这个概念跟以往机器学习中的特征选择又有什么区别。

今天看了一些文章之后,感觉似懂非懂;但是本质上还是没有解决这个关键疑惑。但是他们两者肯定是有不同的,不然也不可能看了这么多文章之后都没有提到。可能是我理解的角度不太准确。

1. 参考的文章

最早的时候,看这部分内容是有一个gitbook专门来进行介绍,但是实际上那篇内容说实话理论性太强,也不怎么能看的下去,也就是当时的时候得到了一些简单的理解。这次在看文章的时候,直接选择在谷歌搜索,能够得到一些基本的理解。

我觉得这篇文章的介绍,算是一个非常基础的内容。首先,在第一篇文章中解释,为什么要对这个模型进行深入的理解,主要涉及三个方面:模型认为哪些特征是最重要的,对于单个预测结果来说,每个特征发挥了什么作用;在大规模的预测中,每个特征是如何影响的。

实际上在一些其他的文章中,提到了两个关键的信息:全局解释性和局部解释性。全局解释性就是每个特征对模型的贡献度概念,而局部解释性就是单个预测中,每个特征的效果。跟前面这篇文章的第三个内容还有点不一致。

在这篇文章中,最重要的部分应该就是SHAP的内容,而且这也是其他文章强调比较多的地方。

我觉得这篇文章,从基础的角度来讲,还是值得一看的,使用的范例,同时也有图进行解释。


这三篇文章专注SHAP的内容进行解释,其中有一个让我疑惑的点,在第二篇文章中特别重点说明
**Indeed, SHAP is about local interpretability of a predictive model.**SHAP是局部解释性的。这点又跟其他文章不太一样,其他文章还会说SHAP具备全局解释性,通过将所有的独立样本进行完整分析。

所以这里还是有点不理解。

第三篇文章从理论的角度来进行阐述。


这篇文章,算是更完整的进行了SHAP的应用,也正是这篇文章中,明确提到了局部解释性和全局解释性,而且SHAP都能够兼顾。同时其中的代码内容,所绘制的图像基本上涵盖了很多见过的图片类型。因为已经有开源的SHAP库,进行制图会非常方便。

2. 个人思考

由于并不是专门进行研究这个方向,所以有时候就觉得很混乱;如果要进行系统学习的话,还是要看那篇gitbook的书。
但是,更应该去思考,如何应用这个内容,如果仅仅是为了应用,那么跑一个自己的数据集,也就完了。但是这样真的完了吗?得看更多的论文才行。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

机器学习可解释性 的相关文章

  • 【优化器】(一) SGD原理 & pytorch代码解析

    1 简介 很多情况下 我们调用优化器的时候都不清楚里面的原理和构造 主要基于自己数据集和模型的特点 然后再根据别人的经验来选择或者尝试优化器 下面分别对SGD的原理 pytorch代码进行介绍和解析 2 梯度下降 梯度下降方法可以分为3种
  • constexpr 用法

    1 简介 constexpr函数指的是在编译的时候就能得到其返回值的函数 也就是说编译器将constexpr函数直接转换成其返回值 因此 constexpr函数都是被隐式地定义为内联函数 使用constexpr关键字来修饰constexpr

随机推荐

  • C++设计模式(二)观察者模式

    1 观察者模式知识点 1 定义 定义对象间的一种一对多的依赖关系 当一个对象的状态发生改变的时候 所有依赖它的对象都得到通知并自动更新 2 动机 将一个系统分割成一系列相互协作的类有一个常见的副作用 需要维护相关对象间的一致性 我们不希望为
  • 设计模式——原型模式

    原型模式顾名思义 就是指以某个实例为原型 copy出一个新的实例 该实例属性与原型相同或者是类似 很多时候 我们需要创建大量的相同或者相似的对象 如果一个个用new 构造函数的形式去创建的话比较繁琐 就像孙悟空要想变出成千上万个猴子猴孙总不
  • wmic命令学习

    我目前知道wmic可以查询进程 还可以查询服务 查询进程使用wmic process 如果想知道进程的名字 进程号 执行文件路径可以通过get来获取 还可以根据where筛选进程进行查询 wmic process get name proc
  • 开心档-软件开发入门教程网之Bootstrap4 信息提示框

    Bootstrap4 信息提示框 Bootstrap 4 可以很容易实现信息提示框 提示框可以使用 alert 类 后面加上 alert success alert info alert warning alert danger alert
  • Struts2 校验(XML配置校验)

    参考文档 http struts apache org 2 0 9 docs ajax client side validation html http struts apache org 2 0 9 docs pure javascrip
  • 基础篇-常用对称、非对称、摘要加密算法介绍

    本文属于 OpenSSL加密算法库使用系列教程 之一 欢迎查看其它文章 也可以查看 GmSSL国密加密算法库使用系列教程 常见的加密算法可以分成三类 对称加密算法 非对称加密算法 Hash算法 一 对称加密算法 对称加密是使用同一个密钥对信
  • springMVC基于Session实现动态国际化

    1 在spring配置文件中配置资源文件properties的位置及公共名 下列配置指定的properties文件处于src目录下的resources文件夹中 名字为message info properties
  • Unity 反射绑定UI

    ui的名称和定义的字段名要保持一致 using System using System Collections using System Collections Generic using System Linq using System
  • 计算机f g 盘找不到了,电脑E/F盘符突然不见了怎么办

    随着分区工具的普及 越来越多的人起初自己对硬盘重新界定分区 由于目前这些分区软件和平台不兼容造成再次分区的之后 分区会重叠 这会导致以后使用电脑的之后 会时常丢失一个或几个分区 1 首先开启磁盘管理 打开的步骤 右击桌面的计算机界面 管理
  • Compiler- volatile关键字

    为了直观的感受编译器为程序所做的编译优化 我们通过以下的C 程序来进行演示 只能体现编译优化的一小部分hh 请大家预测一下下面代码的输出结果 include
  • didChangeDependencies什么时候被调用

    参考 我先上一个Demo 这个Demo也就是网上面传的比较广的 我们就以这个来举例子说明网上的结论 父级结构中的层级发生变化时didChangeDependencies被调用 这个结论为什么是不完整 import package flutt
  • (2022 COLING)Context-Tuning情景化提示

    论文题目 Title Context Tuning Learning Contextualized Prompts for Natural Language Generation 研究问题 Question 自然语言生成 生成长文本 研究动
  • 5G+边缘计算,对于VR移动电竞游戏来说意味着什么?

    这是一个5G 边缘计算意义的问题 其实对VR游戏 特别是电竞游戏 这类大流量 低延迟的应用服务来说 大多数人第一时间想到的优点会是高达1Gbps s的数据传输速度 虽然事实确实如此 但并不是全部 从技术上讲 无线传输性能的进步能给我们带来更
  • element 可移动dialog

    import Vue from vue v dialogDrag 弹窗拖拽属性 Vue directive dialogDrag bind el binding vnode oldVnode const dialogHeaderEl el
  • ES6数组方法总结

    1 forEach let array 1 2 3 4 array forEach item index array gt console log item forEach会遍历数组 没有返回值 不允许在循环体内写return 不会改变原来
  • 小程序自定义导航栏返回主页

    小程序自定义导航栏返回主页 效果图 在app js中获取状态栏的高度statusBarHeight 自定义组件navbar wxml 自定义组件navbar wxss 自定义组件navbar json 自定义组件navbar js 调用组件
  • 睿智的目标检测60——Tensorflow2 Focal loss详解与在YoloV4当中的实现

    睿智的目标检测60 Tensorflow2 Focal loss详解与在YoloV4当中的实现 学习前言 什么是Focal Loss 一 控制正负样本的权重 二 控制容易分类和难分类样本的权重 三 两种权重控制方法合并 实现方式 学习前言
  • 如何用Stata完成(shui)一篇经济学论文(九):画线性图

    目录 普通线性图 多图并列 一图多线 什么 为什么只讲线形图 因为我只用过线形图 言归正传 我的确只用过线形图 说了跟没说一样 Stata画图给我的感觉一直都是很复杂 很多命令 我觉得好像也没有很多的地方要画图 一般就画个线形图看看趋势 如
  • 2023年,想要年赚百万必懂的道理?

    1 一个人只有经历过风雨沧桑 才会明白一个道理 这个世界最大的监狱就是人的思维 而越狱最好的方式就是人的觉醒 2 人活明白了就会知道 不要拿自己去跟别人比较 后果不是忘记了自己 就是让自己失落 3 如果一个人不向内求 总是拿自己的一点优势去
  • 机器学习可解释性

    20210508 随笔 后续有时间在对概念有了深入理解之后再进行整理 0 引言 今天不想写论文 就想起了之前关注的一个内容 机器学习的可解释性 在之前的时候 或多或少了解这个东西 发现他更多的是从特征的角度来解释 这个特征怎么影响了模型 但