机器学习---算法基础(十一)贝叶斯网络

2023-10-30

参考文章:
频率学派还是贝叶斯学派?聊一聊机器学习中的MLE和MAP
贝叶斯网络,看完这篇我终于理解了(附代码)!
概率图模型之贝叶斯网络

背景

边缘分布,条件分布

边缘分布:
对于单个因素所发生的概率,不考虑其他因素。例如P(A)

条件分布:
在某个条件下的某种情况发生的概率。例如P(A|B)

先验概率,后验概率

利用过去历史资料计算得到的先验概率,称为客观先验概率

当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。

后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。

贝叶斯派与频率派

贝叶斯派与频率派的想法可以从几个方面来解释:

参数的理解:

频率派的理念认为: 对于一个确定的分布来说,他的参数的值是一个固定的,不随着样本发生的变化。

贝叶斯思想的理念认为: 不认为分布中某个参数是一个定值,而是参数服从一定的分布,这个参数是随着抽取样本的变化而变化的,当样本足够多的时候,参数分布的值就越接近真实值。(实际上可以看做是参数的期望等于参数真实的值)。

抽象的理解:

频率学派和贝叶斯学派对世界的认知有本质不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的范围;而贝叶斯学派认为世界是不确定的,人们对世界先有一个预判,而后通过观测数据对这个预判做调整,我们的目标是要找到最优的描述这个世界的概率分布。

概率图

概率图模型构建了这样一幅图,用观测结点表示观测到的数据,用隐含结点表示潜在的知识,用边来描述知识与数据的相互关系,最后基于这样的关系图获得一个概率分布。

概率图中的节点分为隐含节点和观测节点,边分为有向边和无向边。从概率论的角度,节点对应于随机变量,边对应于随机变量的依赖或相关关系,其中有向边表示单向的依赖,无向边表示相互依赖关系。

概率图模型分为贝叶斯网络(Bayesian Network)马尔可夫网络(Markov Network) 两大类。贝叶斯网络可以用一个有向图结构表示,马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说,概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等,在机器学习的诸多场景中都有着广泛的应用。

最大似然(MLE) 最大后验概率(MAP)

最大似然方法求参数是频率派的思想的体现,最后求出的结果也是一个具体的参数。

最大后验概率是贝叶斯派的思想。
最大似然估计是求参数theta, 使似然函数p(x0|theta)最大。最大后验概率估计则是想求theta使得p(x0|theta)p(theta)最大。
一般对于最大后验概率首先会给定一个先验的theta的概率来使p(x0|theta)p(theta)联合最大,根据更多的样本不断的修正theta的概率。随着实验的越来越多,theta的概率会越来越接近真实的概率。

MAP需要注意的是:最初的选定先验概率会影响到之后最终的结果,如果是直接选择为1会导致计算错误。

贝叶斯网络

贝叶斯网络(Bayesian network),又称信念网络(Belief Network),或有向无环图模型(directed acyclic graphical model),是一种概率图模型,于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型,其网络拓朴结构是一个有向无环图(DAG)。我们将有因果关系(或非条件独立)的变量或命题用箭头来连接(换言之,连接两个节点的箭头代表此两个随机变量是具有因果关系,或非条件独立)。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“因(parents)”,另一个是“果(children)”,两节点就会产生一个条件概率值。

贝叶斯网络的公式

令G = (I,E)表示一个有向无环图(DAG),其中I代表图形中所有的节点的集合,而E代表有向连接线段的集合,且令X = (Xi)i ∈ I为其有向无环图中的某一节点i所代表的随机变量,若节点X的联合概率可以表示成:

在这里插入图片描述

则称X为相对于一有向无环图G 的贝叶斯网络,其中, p a ( i ) pa(i) pa(i)表示节点i之“因”,或称pa(i)是i的parents(父母)。

此外,对于任意的随机变量,其联合概率可由各自的局部条件概率分布相乘而得出:
在这里插入图片描述
在这里插入图片描述

贝叶斯网络的形式

下图是一个贝叶斯网络的示意图
在这里插入图片描述从图中可以看出所有的联合分布计算公式为:
P ( x 1 , x 2 , . . . , x n ) = P ( x 1 ) P ( x 2 ∣ x 1 ) P ( x 3 ∣ x 2 , x 1 ) . . . . P ( x n ∣ x n − 1 , ) P(x_1,x_2,...,x_n)=P(x_1)P(x_2|x_1)P(x_3|x_2,x1)....P(x_n|x_{n-1},) P(x1,x2,...,xn)=P(x1)P(x2x1)P(x3x2,x1)....P(xnxn1,)

对于贝叶斯网路其格式可以分为以下几种:

  • head to head
  • tail to tail
  • head to tail

1、head to head

其形式如下图所示:
在这里插入图片描述格式为:A——>C<——B
图中的联合概率分布可以写成 P ( a , b , c ) = P ( a ) ∗ P ( b ) ∗ P ( c ∣ a , b ) P(a,b,c) = P(a)*P(b)*P(c|a,b) P(a,b,c)=P(a)P(b)P(ca,b)化简之后可以得到:

在这里插入图片描述
可以得知在C为未知的情况下,AB其实是可以看做独立的,这个叫做head to head 独立。在这个情况下A,B是被阻断的。

2、tail to tail

在这里插入图片描述图中的联合概率分布可以写成 P ( a , b , c ) = P ( c ) ∗ P ( a ∣ c ) ∗ P ( b ∣ c ) P(a,b,c) = P(c)*P(a|c)*P(b|c) P(a,b,c)=P(c)P(ac)P(bc)化简之后可以得到:
P ( a , b ∣ c ) = P ( a ∣ c ) ∗ P ( b ∣ c ) P(a,b|c) = P(a|c)*P(b|c) P(a,bc)=P(ac)P(bc)
即,在C已知的情况下,AB两者独立。当C已知时,AB是被阻断的。

3、tail to head

在这里插入图片描述
图中的联合概率公式为: P ( a , b , c ) = P ( a ) ∗ P ( c ∣ a ) ∗ P ( b ∣ c ) P(a,b,c)=P(a)*P(c|a)*P(b|c) P(a,b,c)=P(a)P(ca)P(bc)化简后可以得到:
在这里插入图片描述
即:在c给定的条件下,a,b被阻断(blocked),是独立的,称之为head-to-tail条件独立。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

机器学习---算法基础(十一)贝叶斯网络 的相关文章

随机推荐

  • C# 文件相关---新建文件、文件另存为、读写文件

    判断文件夹是否存在 using System IO string path D WorkStation if Directory Exists path 文件夹存在 int i 0 新建空文件夹 System IO Directory Cr
  • Unity:异步加载场景资源进度界面

    创建加载界面LoadingScene 用于处理加载进度条 导入NGUI资源包 在Unity3D菜单栏中选中NGUI Open Prefab Toolbar 在Prefab Toolbar窗口中 选中Control Colored Progr
  • 部分选主元 LU 分解,CGETRF in lapack 选主元时调用 ICAMAX

    ICAMAX finds the index of the first element having maximum Re Im 也就是找出一列 complex 类型的数据中 实部的绝对值 虚部的绝对值 最大的那个元素 这样选出来的主元也还
  • 学习记录——关UNet、特征图add、cat、相乘、三个 注意力

    关于UNet网络 这部分有利于将下采样的各个阶段的信息在上采样过程中进行整合 就是在上采样的过程中 结合了各个层次的结构信息 通俗的来讲就是在网络的高层 就是U型的上部分 获取了图形的细节信息 因为这时候图片很大 很多细节可以得以保留 在网
  • Selenium系列教程 - AutoIt命令行参数

    主要内容 一 AutoIt下载安装 二 AutoIt使用 1 识别控件 2 编写脚本 3 生成exe程序 三 通过命令行执行 四 通过Python用os模块调用 Selenium对网页进行UI自动化时经常会遇到Windows弹框 比如上传
  • 元素水平垂直居中的六种方法

    让某个元素在水平和垂直的方向都居中 内容不限于文字 可能会是图片和其他元素 方法一 定位 margin负值
  • 智慧城市

    智慧城市 目录 智慧城市 1 产生背景 2 发展历程 3 建设意义 4 国际实践 5 数字城市 6 现状 7 我国规模 8 应用体系 9 应用项目 10 体验馆 11 智慧城市体验馆 12 4G助力 13 信息技术在智慧城市建设中的应用 1
  • atomicops.h

    https git project hobbit eu dj16 ricec blob c9d3dceb1c3b1c03a42077e0461e3ce5a2615a51 data atomicops h L248 2013 2016 Cam
  • Postgresql 快速实现 表数据备份与恢复

    背景 在大批量数据备份 或迁移时 如果使用客户端则效率低耗时长 推荐使用服务器执行命令速度快 一 备份表 1 这里使用的是Linux服务器 首先进入安装当前数据库的服务器 可以在home目录下新建一个文件夹 2 输入命令 pg dump t
  • 99款高质量免费HTML/CSS模板(看到了还行,推荐给大家)

    大家都清楚一个网站象征着你和你的品牌 这取决于你如何构建自己的网站 正因为Wordpress越来越受到互联网设计群体的关注 它并不代表最基本的 X HTML CSS很丑 很杂乱和单调 向大家推荐99个高质量的免费 X HTML CSS模板
  • 【错误】kex_exchange_identification: Connection closed by remote hos

    文章目录 错误描述 解决方法 错误描述 在 git push 的时候出现了下面这个错误 kex exchange identification Connection closed by remote host Connection clos
  • C#实现海康威视摄像头的控制

    C 实现海康威视摄像头控制 海康威视网络摄像头SDK开发示例 C C Java Python等
  • (android 地图开发) 高德地图添加浮动按钮

    问题描述 在地图上添加一个按钮 可以响应点击 但是按钮时固定的 地图拖动时 按钮不能动 解决思路 刚开始接触地图开发时 也曾经在这个问题上纠结过 刚刚学会了在地图上添加各种图层 无论是在地图上画大头针也好 绘制路线也好 都是使用图层来处理
  • c++临时对象与空指针导致clion debugger无法运行的bug

    c 临时对象与空指针导致clion debugger无法运行的bug include
  • Linux下安装Tomcat,部署web项目

    一个Linux下运行两个Tomcat的通用做法 一 准备 Tomcat的Linux版本安装包 apache tomcat 7 0 85 tar gz 项目的war包 henNB war eclipse导出为war或者idea build w
  • SQL注入之堆叠注入(sql-lab第38关)

    什么是堆叠注入 在SQL中 分号 是用来表示一条SQL语句结束的 试想一下我们在分号结束一个SQL语句后继续构造下一条语句 会不会一起执行 因此这个想法也就造就了堆叠注入 而堆叠注入可以执行的是任意语句 增删改查 例如以下这个例子 用户输入
  • IDEA启动tomcat控制台中文乱码问题

    项目结构 pom xml
  • osg fbo(一),生成颜色缓冲区图片

    由于工作需要 重新捡了下shader 很明显 fbo是重中之重 好记性不如烂笔头 先记录下 1 生成一个颜色纹理 为了省事 可以将纹理宽高 屏幕宽高 osg ref ptr
  • android10编译 lunch失败,Android各种编译错误的解决方案

    相信大家在编译固件的时候 经常会遇到莫名奇妙的编译错误 从今往后 不用再受这个问题的困扰了 1 常见编译的错误信息 make 1 No rule to make target out target common obj PACKAGING
  • 机器学习---算法基础(十一)贝叶斯网络

    参考文章 频率学派还是贝叶斯学派 聊一聊机器学习中的MLE和MAP 贝叶斯网络 看完这篇我终于理解了 附代码 概率图模型之贝叶斯网络 背景 边缘分布 条件分布 边缘分布 对于单个因素所发生的概率 不考虑其他因素 例如P A 条件分布 在某个