程序员经验分享-hwhale

模式识别—判别函数分类法（几何分类法）

2023-05-16

目录

  • 统计模式识别之判别分析
  • 判别函数
    • 定义
      • 解释
      • 样例
    • 判断函数正负值的确定
    • 确定判别函数的两个因素
  • 线性判别函数
    • 一般形式
    • 性质
      • 两类情况
      • 多类情况
    • 小结
  • 广义线性判别函数
    • 目的
  • 线性判别函数的几何性质
    • 模式空间与超平面
      • 概念
      • 讨论
      • 小结
    • 权空间与权向量解
      • 概念
      • 线性分类
      • 解空间
    • 线性二分空间
  • Fisher线性判别
  • 感知器算法
    • 概念理解
    • 感知器算法
    • 感知器算法的收敛性
  • 梯度法
    • 梯度概念
    • 梯度算法
      • 思路
      • 实现方法
    • 固定增量法
      • 定义
  • 最小平方误差算法(LMS)
    • 特点
    • 原理
    • 推导LMS算法递推公式
      • 求W的递推公式
      • 求B(k+1)的迭代式
      • 求W(k+1)的迭代式
  • 非线性判别函数

统计模式识别之判别分析

统计模式识别:按任务类型划分

  • 聚类分析(Clustering Analysis)——简称:聚类
    – 简单聚类方法:最大最小距离法
    – 层次聚类方法:分裂式、凝聚式
    – 动态聚类方法:C-均值，ISODATA
  • 判别分析(Discriminatory Analysis)——简称:分类
    – 几何分类法(判别函数分类法):线性、分段线性、二次、支持向量机
    – 概率分类法(统计决策分类法):判别式 (Discriminative)、生成式 (Generative)
    – 近邻分类法(几何分类法和概率分类法的一种融合方法)
    所谓 几何分类法，是指在特征空间中，利用矢量空间的直观概念，使用
    代数方程方法，对模式进行分类。因此也被称为:代数界面方程法。
    所谓 概率分类法，是指把模式视为随机变量的抽样，利用统计决策理论 (贝叶斯决策理论)成熟的判决准则与方法，对模式样本进行分类。

判别函数

定义

判别函数是直接用来对模式进行分类的决策函数，也称判决函数或决策函数。

解释

若分属于ω1，ω2的两类模式在空间中的分布区域，可以 用一代数方程d(X) =0来划分，那么称d(X) 为判别函数， 或称决策函数。显然，这一方程表示的是n维空间的(n-1) 维超曲面(或超平面)

样例

在这里插入图片描述
示例:线性判别函数
d(X)=w1x1+w2x2+w3
若d ( X ) > 0，则 X ∈ ω1类;
若d ( X ) < 0，则 X ∈ω2 类;
若d(X)=0，则X ∈ω1或X ∈ω2 或拒绝分类

维数N=3时:判别边界为一平面

维数N>3时:判别边界为一(N-1)维超平面 (记，直线为一维超平面;平面为二维超平面)

判断函数正负值的确定

判别界面的正负侧，是在训练判别函数的权值时人为确定的。 一般，令第1类样本的函数值大于零，第2类样本的函数值小于零

确定判别函数的两个因素

  1. 判决函数d(X)的几何性质:它可以是线性的或非线性的函数，

  2. 判决函数d(X)的系数:用所给的模式样本(可分)确定

线性判别函数

一般形式

将二维模式推广到n维，线性判别函数的一般形式为: d(X)=w1x1+w2x2+…+wnxn+wn+1 =W0TX+wn+1
式中: X = [x1 , x2 ,…, xn ]T
W =[w1,w2,…,wn]T:权向量，即参数向量。
增广向量形式:
d(X)=w1x1+w2x2+…+wnxn+wn+1 ⋅1
式中:
X =[x1,x2,…,xn,1]T 为增广模式向量
W = [w1 , w2 ,…, wn , wn+1 ]T 为增广权向量

性质

两类情况

d(X)=WTX
如果d(x)>0, 若X∈ω1 <0, 若X∈ω2
d(X) = 0:不可判别情况，可令 X ∈ ω1或X ∈ ω2或拒绝分类

多类情况

对M个线性可分模式类，ω1， ω2，… ωM，有三种分类方式:
在这里插入图片描述

  1. 多类情况1 是非两分法
    用线性判别函数将属于ωi类的模式与其余不属于ωi类的模式分开。能用本方法分类的模式集称为 整体线性可分的
    在这里插入图片描述
    识别出M类需要M个判别函数，有可能存在不确定区(indefinite region,IR)
  2. 成对两分法
    一个判别界面只能分开两个类别，不需要把其余所有的类别都分开
    判决函数为: dij (X)=Wig TX，这里dij = =dij
    判断函数性质：
    dij(X)>0, ∀j≠i;i,j=1,2,…,M, 若X∈ωi
  3. 成对两分法特例
    当ωi /ωj成对两分法中的判别函数dij(X)，如果可以分解为 dij (X) = di (X − dj (X)

小结

(1)明确概念:线性可分。 一旦线性判别函数的系数W～k～被确定以后，这些函数就可以
作为模式分类器，对未知模式进行分类。
(2)ωi / -ωi与ωi / ωj
对于M类模式的分类， 两分法共需要M个判别函数，但成对两分法需要M(M-1)/2个。当时M>3时，后者需要更多的判别式(缺点)，但对模式集进行线性可分的可能性要更大一些(优点)
一种类别模式ωi 的分布要比M-1类模式的分布更为聚集，因此 ωi / ωj两分法受到的限制比 ωi / -ωi 少，因此线性可分可能性大

广义线性判别函数

目的

通过某映射，把模式空间X变成X*，以便让X空间中非线性可分的模式集，变成在X*空间中线性可分的模式集

线性判别函数的几何性质

模式空间与超平面

概念

模式空间:以n维模式向量X的n个分量为坐标变量的欧氏空间
模式向量:点、有向线段
线性分类:用d(X)进行分类，相当于用超平面d(X)=0把模式空 间分成不同的决策区域

讨论

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小结

  1. 超平面 d(X) = 0 的法向量是权向量W0
  2. 超平面 d(X) = 0 的位置由 wn+1 决定
  3. 判别函数 d(X) 正比于点 X 到超平面的代数距离
  4. 当 X 在超平面的正侧时 d(X) > 0，当 X 在超平面的 负侧时 d(X) < 0

权空间与权向量解

概念

权空间:以d(X)=w1x1+w2x2 +…+wnxn +wn+1 的权系数为坐标变量的(n+1)维欧氏空间，X为已知。 增广权向量:W=(w1,w2, …,wn,wn+1)，点、有向线段

线性分类

判别函数形式已定，只需确定权向量
设增广样本向量:
ω1 类: X11，X12，…，X1p
ω2 类: X21，X22，…，X2q 使用d(X)将ω1和 ω2分开，需满足 d(X1i)>0, i=1,2,…,p d(X2i)<0, i=1,2,…,q

解空间

(p+q) 个训练模式将确定 (p+q) 个界面，每个界面 都把权空间分为两个半空间，(p+q) 个正的半子空间的 交空间是以权空间原点为顶点的凸多面锥

线性二分空间

线性判别函数的二分能力（Dichotomies）：是指线性函数对给 定的N个n维二类模式的全部可能的类别分布情况，能正确分类的情况数。线性判别函数的二分能力，称为线性二分能力
在这里插入图片描述
4个2维二类模式的类别分布总数为24=16。用直线进行判别， 由图中可见，仅有2x7=14中情形可以判别。不可判别的两种 情形：(1) X1和X3为类1、X2和X4为类2；(2) 类别交换在这里插入图片描述

Fisher线性判别

Fisher准则的基本原理：找到一个最合适的投影 轴，使两类样本在该轴上投影之间的距离尽可能 远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳

感知器算法

对线性判别函数，当模式维数已知时，判别函数的形式实 际上已经确定，如：三维时
在这里插入图片描述
只要求出权向量，分类器的设计即告完成。本节开始介绍如何 通过各种算法，利用已知类别的模式样本训练权向量W

概念理解

1）训练与学习
训练：用已知类别的模式样本指导机器对分类规则进行反复修改，最终使分类结果与已知类别信息完全相同的过程。
学习：从分类器的角度讲
非监督学习
有监督学习<------>训练
2）确定性分类器
处理确定可分情况的分类器。通过几何方法将特征空间 分解为对应不同类的子空间，又称为几何分类器
3）感知器（Perceptron ）
一种早期神经网络分类学习模型，属于有关机器学习的仿生 学领域中的问题，由于无法实现非线性分类而下马（Minsky and Papert）。但“赏罚概念（reward-punishment ）”得到广泛应用

感知器算法

在这里插入图片描述
对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：
d(X = W**T**X >0
感知器算法的基本思想：用训练模式验证当前权向量的合理性， 如果不合理，就根据误差进行反向纠正，直到全部训练样本都 被合理分类。本质上是梯度下降方法类

感知器算法的收敛性

收敛性：经过算法的有限次迭代运算后，求出了一个使所有样 本都能正确分类的W，则称算法是收敛的
可以证明：感知器算法是收敛的
收敛条件：模式类线性可分（即：存在一个权矢量与全部规 范化增广矢量的内积大于等于零）

梯度法

梯度概念

在这里插入图片描述
即：
梯度的方向是函数f(Y)在Y点增长最快的方向，
梯度的模是f(Y)在增长最快的方向上的增长率

梯度算法

思路

设两个线性可分的模式类ω1和ω2的样本共N个，ω2类样本乘(-1)。将两类样本分开的判决函数d(X)应满足:
d(Xi)=WTXi >0 i=1,2,N——N个不等式

梯度算法的目的仍然是求一个满足上述条件的权向量，主导思想是将联立不等式求解W的问题，转换成求准则函数极小值的问题。

用负梯度向量的值对权向量W进行修正，实现使准则函数达 到极小值的目的。

实现方法

定义一个对错误分类敏感的准则函数J(W, X)，在J的梯度
方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1):
在这里插入图片描述
其中c是正的比例因子

固定增量法

定义

准则函数:J(W,X)=1/2(|WTX| −WTX)
该准则函数有唯一最小值“0”，且发生在WTX > 0 的时候。 求W(k)的递推公式:
在这里插入图片描述
在这里插入图片描述

最小平方误差算法(LMS)

特点

• 对可分模式收敛。
• 对于类别不可分的情况也能指出来

原理

在这里插入图片描述
准则函数定义为：
在这里插入图片描述
在这里插入图片描述
可以看出:
1 当函数J达到最小值，等式XW=B有最优解。即又将问
题转化为求准则函数极小值的问题。
2 因为J有两个变量W和B，有更多的自由度供选择求解，
故可望改善算法的收敛速率。

推导LMS算法递推公式

在这里插入图片描述

求W的递推公式

在这里插入图片描述

求B(k+1)的迭代式

在这里插入图片描述

求W(k+1)的迭代式

在这里插入图片描述

非线性判别函数

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

模式识别—判别函数分类法（几何分类法） 的相关文章

  • apt-get使用本地安装源进行安装及apt-get命令详解

    apt get使用本地安装源进行安装 我们都喜欢使用apt get xff0c 因为它实在是让我们大大的省心 但是 xff0c 有时候我们会为网速慢 xff0c 安装源不好而烦恼 xff0c 所以我们可能会将一些常用软件包的 deb文件保存

  • 引入MybatisPlus与实操

    文章目录 1 MybatisPlus概述2 快速入门2 1 步骤 3 配置日志 1 MybatisPlus概述 特色 特性 无侵入 xff1a 只做增强不做改变 xff0c 引入它不会对现有工程产生影响 xff0c 如丝般顺滑 损耗小 xf

  • ubuntu清理硬盘空间

    移除不再需要的软件包 此选项可以删除 安装某个软件包时 自动安装的依赖库和包 xff0c 这些自动安装的依赖包在系统中通常是无用的 xff0c 浪费磁盘空间 但是如果报出很多ros相关的包最好谨慎一点 xff0c 以免误删 span cla

  • E: 仓库 “http://ppa.launchpad.net/gviz-adm/graphviz-dev/ubuntu bionic Release” 没有 Release 文件。N: 无法安全地

    通过换源无法解决 xff1a 打开软件和更新 选择其他软件 xff0c 里边有一个网址与报错的网址一样 xff0c 取消选择状态 完美解决 xff01 xff01

  • 计网笔记 网络层（中）

    前面的话 这篇文章继上一篇 xff0c 是关于网络层的其他知识的梳理 目录 1 划分子网 2 使用子网时分组的转发 3 无分类域间路由选择CIDR xff08 构造超网 xff09 4 网际控制报文协议ICMP 划分子网 前面讲到的两级IP

  • C++与C语言的区别

    1 C 43 43 的创建历程 xff1a 20世纪70年代中期 xff0c Bjarne Stroustrup在剑桥大学计算机中心工作 他使用过Simula和ALGOL xff0c 接触过C 他对Simula的类体系感受颇深 xff0c

  • moment的startOf、endOf使用

    moment的startOf endOf使用 举例 xff1a 今天的日期 xff1a 2020 04 14 16 41 startOf语法 xff1a moment startOf String 通过将原始的 moment 设置为时单位的

  • 133道Java面试题及答案（面试必看）

    Java 面试随着时间的改变而改变 在过去的日子里 xff0c 当你知道 String 和 StringBuilder 的区别就能让你直接进入第二轮面试 xff0c 但是现在问题变得越来越高级 xff0c 面试官问的问题也更深入 在我初入职

  • JS的test()方法

    解析 解释 xff1a js的test 方法用于检测一个字符串是否匹配某个格式 语法 xff1a RegExpObject test string 返回值 xff1a 如果String中含有RegExpObject中匹配的字符返回true

  • 实时获取当前时间并展示在页面上

    简介 实时获取当前时间并展示在页面上 xff0c 是很多地方常用的 xff1b 在页面中做此展示以便查看时间 本文使用js通过一个小的demo实现效果 完整Code span class token operator lt span spa

  • Visual Studio Code提交代码提示“Make sure you configure your ‘user.name‘ and ‘user.email‘ in git.”

    使用VSCode编译器提交代码到gitlab xff0c 编译器提示 Make sure you configure your 39 user name 39 使用编译器VSCode提交代码到GitLab xff0c 提示 Make sur

  • React编译代码报错提示：React was passed “javascript:；“。

    React编译代码提示报错信息 xff1a React编译代码提示报错信息 xff1a Warning A future version of React will block javascript URLs as a security p

  • 如何添加Iconfont图标到项目及创建新项目？

    1 搜索图标 或者 选择自己上传图标 2 选择图标 xff0c 加入库 3 点击购物车图标 xff0c 如果已经创建项目直接选择点击确定 xff1b 如果没有创建项目点击 43 创建项目 4 输入新项目名称 xff0c 点击确定 5 确定后

  • antd icon 图标组件的使用

    antd提供的icon有限 xff0c 可以直接使用iconfont图标库的图标 1 安装图标组件包 npm install save 64 ant design icons 2 创建图标 import createFromIconfont

  • 字符串解析为指定格式

    将 张三 李四 王五 赵六 解析为 张三 李四 xff08 共4人 xff09 使用 xff1a let str 61 39 张三 李四 王五 赵六 39 empsDeal str 39 张三 李四 共4人 39 方法 xff1a cons

  • 清除redux数据（hooks写法）

    清除redux数据的场景 A页面初始化调用A接口 xff0c 希望在当前页面生效 xff0c 跳转页面不保存数据 xff0c 但redux中已经存有历史数据 xff0c 所以在页面销毁时清除redux数据 A页面请求A接口 useEffec

  • 跳转页面方法

    跳转页面 window location href 61 url 替换当前页面 window location replace url

  • 嵌入式面试总结

    毕业一年多了 xff0c 从事嵌入式开发工作不知不觉也一年多了 xff0c 题主主要从事单片机 xff08 STM32 xff09 应用开发工业类电子方向 xff0c 纯技术涉及到的内容主要是C语言 arm STM32驱动 FreeRTOS

  • 数据库ER图基础概念整理

    ER图分为实体 属性 关系三个核心部分 实体是长方形体现 xff0c 而属性则是椭圆形 xff0c 关系为菱形 ER图的实体 xff08 entity xff09 即数据模型中的数据对象 xff0c 例如人 学生 音乐都可以作为一个数据对象

  • 如何成为一个全能的机器人工程师

    大疆技术总监 xff1a 如何用六年成为一个全能的机器人工程师 机器人学的核心问题是做好和物理世界的交互 现在主流的机器人学分支里 xff0c 处理与物理世界的交互的学科分为三类 xff1a 传感器和处理算法 xff1b 多刚体系统动力学控

随机推荐

  • 任务调度算法

    可实现在单片机裸机下还能有很好的实时性 任务调度器 SCHEDULER TASK scheduler tasks 61 amp P loop 1000Hz 1000 0 0 amp P loop 500Hz 500 0 0 amp P lo

  • 阿里云云计算ACP学习（一）---弹性计算

    弹性计算 1 ECS的概念与定位 概念 xff1a 云服务器ECS xff08 Elastic Compute Service xff09 是一种可弹性伸缩的计算服务 xff0c 可以帮助降低IT成本 xff0c 提升运维效率 xff0c

  • 阿里云云计算ACP学习（二）---弹性存储

    弹性存储 1 阿里云盘古 盘古 飞天底层同一存储平台 盘古的优势 xff1a 盘古系统在一个核心基础层之上 xff0c 通过为不同应用场景而抽象的适配层设计 xff0c 提供了分布式块存储系统和分布式文件系统两种形态 xff0c 基于这一套

  • HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？

    Client 客户端 对HDFS中的数据进行读写操作 xff0c 分别是Client从HDFS中查找数据 xff0c 即为Read 读 数据 Client从HDFS中存储数据 xff0c 即为Write 写 数据 下面我们对HDFS的读写流

  • VIM简单配置step by step

    0 更新vim 更新和安装vim xff0c 保证版本 gt 61 8 0即可 可按照如下命令安装 0 1 安装依赖 yum update y yum install epel release y yum install y git gcc

  • 使用setInterval遇到的陷阱

    setInterval的使用 span class token keyword const span interval span class token operator 61 span span class token function

  • vs本地调试dll文件

    遇到一些问题 xff0c 需要调试dll文件进行调试 xff0c 环境配置如下 打开dll工程 1 鼠标右键dll项目 xff0c 属性 gt 配置属性 gt 调试 gt 命令 在命令中填写使用dll的 exe文件的路经 2 将新生成的dl

  • 对抗样本简介

    一 什么是对抗样本 对抗样本是一类被恶意设计来攻击机器学习模型的样本 它们与真实样本的区别几乎无法用肉眼分辨 xff0c 但是却会导致模型进行错误的判断 对抗样本的存在会使得深度学习在安全敏感性领域的应用收到威胁 如下图所示 xff0c 通

  • QT——QWidget窗体设置背景颜色、背景图、及其注意点

    QWidget窗体设置背景颜色 背景图 及其注意点 前言一 使用调色板QPalette来设置图片二 使用样式表QSS三 使用画笔Qpainter在paintEvent事件中绘制图片 前言 QT设置背景图笔录 一 使用调色板QPalette来

  • Navicat 连接Mysql 8.0以上版本报错1251的详细解决方案（配效果图）

    从MySql5 7版本跳到了Mysql 8 0的版本 xff0c 安装的时候提示链接加密方式已经改变 xff0c 是选择5 xff1f 时代的方式还是新的方式 xff0c 当时 全部选择默认 xff0c 所以选择的新的 加密方式 xff0c

  • 前端入门篇（一）常用五大浏览器及浏览器内核

    一 常见浏览器内核介绍 浏览器是网页运行的平台 xff0c 常见的浏览器有 IE 火狐 xff08 Firefox xff09 谷歌 xff08 Chrome xff09 Safari和Opera等 xff0c 我们平时称为五大浏览器 xf

  • 从输入URL到页面展示这中间发生了什么

    文章目录 从输入URL到页面展示这中间发生了什么Chrome多进程浏览器架构补充1 xff1a 进程和线程 整体的流程1 浏览器接收到输入的URL后 xff0c 先解析URL浏览器发送请求前 xff0c 尝试缓存命中 2 建立URL请求DN

  • 自动化标注技术

    自 动 化 标 注 技 术 自动化标注技术

  • 解决hadoop无法访问8088和19888端口的问题

    50070端口可以访问 xff0c 但是8088和19888端口不可以访问 xff0c 关防火墙 xff0c 看配置文件都是没有问题 xff0c 但就是不能web访问 看下图我的19888和8088前面都是127 0 0 1 xff0c 着

  • PyQt5有关QtWebEngineWidgets的解决办法

    from PyQt5 import QtWebKitWidgets ImportError DLL load failed 找不到指定的程序 这是因为PyQt5在5 6版本以后改用 QtWebEngineWidgets xff0c 所以之前

  • 在NER任务中CRF层的作用（例子）

    这里不过多阐述NER任务是啥了 xff0c 具体来看看他的作用 xff0c 并且举了一个例子 xff0c 让大家理解更加深刻 上图说明模型的输出是每个标签的分数 例如 xff0c 对于w0 模型的输出为1 5 B Person 0 9 I

  • 深度神经网络（DNN）通俗理解

    首先要明白俩个函数 xff0c 特别重要的俩个函数 线性的关系函数 激活函数 xff08 顾名思义是激活用的把得到的Z放入函数中 xff0c 来重新得到结果 xff09 中间的线相当于线性关系函数中的w 神经元相当于一个激活函数 xff0c

  • 爬虫写一个 “搜索引擎”，炒鸡简单。

    写搜索引擎前 xff0c 我们需要简答了解一下flask 这个轻量级的web的框架 xff0c 如果没有这个模块 只需要 pip install flask 即可 然后我们需要用html写一个最初的 搜索框 xff0c 并且命名这个文件为s

  • K-means聚类算法 伪代码 python3代码

    K means 算法及其代码 K means算法介绍K means 伪代码K means python 代码 K means算法介绍 链接 模式识别 聚类分析 K means 伪代码 计算两个点之间的欧式距离 span class toke

  • 模式识别—判别函数分类法（几何分类法）

    目录 统计模式识别之判别分析判别函数定义解释样例 判断函数正负值的确定确定判别函数的两个因素 线性判别函数一般形式性质两类情况多类情况 小结 广义线性判别函数目的 线性判别函数的几何性质模式空间与超平面概念讨论小结 权空间与权向量解概念线性

热门标签