线性、非线性分类器&数据的线性、非线性

2023-11-01

线性、非线性分类器&数据的线性、非线性

一、线性分类器:

 

有无数个可划分这两个线性可分类的超平面

在二维空间里面,一个线性分类器是一条线。图14.8展示了五个分类例子。这些线有一个函数形式w1x1­+wx2=b。线性分类器的分类规则是:如果w1x1­+wx2>b,就把一个文档归类为,如果w1x1­+wx2<=b,就把它归类为。在这里,(x1,x2)T是文档的二维向量表示,(w1,w2)是参数向量,和b一起决定决策边界。此外,在图 15.7中给出了线性分类器的另一种几何解释。

正如我们之前在公式 140中处理的那样,我们可以通过定义一个超平面将一个二维线性分类器映射到更高维空间,这里我重复一下之前的公式,即公式 144

 

然后,分类标准更改为:如果WtX>b,就归类为一类,如果WtX<b,就归类为另一类。我们把使用的超平面作为一个线性分类器的决策超平面。

 

图14.9 线性分类算法

图 14.9展示的是在M维空间中对应的线性分类算法。首先,从给出的这个简化算法表述来看,线性分类似乎是很简单的。然而,困难的是线性分类器的训练,也就是基于数据集来确定参数和b。我们用于评估学习算法性能的标准是通过比较经过学习得到的线性分类器在新数据上的表现效果来确定的,通常会有一些学习算法最后会计算出优于其它算法的参数。

二、非线性分类器:

 

图14.11 非线性问题

       非线性分类器的一个典型例子就是kNN。从图 14.6这个例子可以看出,kNN的非线性是直观清晰的。kNN的决策边界(如14.6的 两条线 )是局部线性划分,但通常有一个复杂的形状,并不等同于二维空间中的一条线或是更高维空间中的一条超平面。图 14.11是另一个非线性问题的例子:在 分布和 分布中没有一条很好的线性分割线,因为在图的左上角还有一个环形包围的“区域”。线性分类器会误分圆形内部的部分,所以在处理这种类型的问题时,如果训练集足够大的话,像kNN这样的非线性分类器反而会表现得更加精确。

      如果一个问题是非线性问题并且它的类边界不能够用线性超平面估计得很好,那么非线性分类器通常会比线性分类器表现得更精准。如果一个问题是线性的,那么最好使用简单的线性分类器来处理。或者将需把数据映射到一个更高维的核空间,使数据呈线性分布,实现非线性数据到线性数据的转换,从而对非线性数据进行分类。

三、线性数据和非线性数据

      简单讲,线性指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;而非线性则指不按比例、不成直线的关系,代表不规则的运动和突变。我们说,线性关系是互不相干的独立关系,非线性则是相互作用,而正是这种相互作用,使得整体不再是简单地等于部分之和,而可能出现不同于"线性叠加"的增益或亏损。如问:两个眼睛的视敏度是一个眼睛的几倍?很容易想到的是两倍,可实际是 6-10倍!这就是非线性:1+1不等于2。再比如,激光的生成就是非线性的!当外加电压较小时,激光器犹如普通电灯,光向四面八方散射;而当外加电压达到某 一定值时,会突然出现一种全新现象:受激原子好像听到“向右看齐”的命令,发射出相位和方向都一致的单色光,就是激光。 
       具体从相互关联的两个角度来看,线性满足了两点,其一:叠加原理成立;其二:物理变量间的函数关系是直线,变量间的变化率是恒量。相应地非线性概念就可以界定为:


       其二,作为等价的另—种表述,我们可以从另一个角度来理解非线性:在用于描述—个系统的一套确定的物理变量中,一个系统的—个变量最初的变化所造成的此变量或其它变量的相应变化是不成比例的,换言之,变量间的变化率不是恒量,函数的斜率在其定义域中有不存在或不相等的地方,概括地说,就是物理变量间的一级增量关系在变量的定义域内是不对称的。可以说,这种对称破缺是非线性关系的最基本的体现,也是非线性系统复杂性的根源。对非线性概念的这两种表述实际上是等价的,其叠加原理不成立必将导致其二物理变量关系不对称;反之,如果物理变量关系不对称,那么叠加原理将不成立。之所以采用了两种表述,是因为在不同的场合,对于不同的对象,两种表述有各自的方便之处,如前者对于考察系统中整体与部分的关系、微分方程的性质是方便的,后者对于考察特定的变量间的关系(包括变量的时间行为)将是方便的。 
      当然,对于线性规划问题,我们已有通用解法,而非线性规划的各种算法大多有自己特定的适用范围,都有一定的局限性,到目前为止还没有适合于各种非线性规划问题的一般算法。这正是需要人们进一步研究的课题。

线性和非线性对于函数:

1. 线性linear,指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;
   非线性non-linear则指不按比例、不成直线的关系,一阶导数不为常数。
2. 线性的可以认为是1次曲线,比如y=ax+b ,即成一条直线
   非线性的可以认为是2次以上的曲线,比如y=ax^2+bx+c,(x^2是x的2次方),即不为直线的即可
3. 两个变量之间的关系是一次函数关系的——图象是直线,这样的两个变量之间的关系就是“线性关系”;
   如果不是一次函数关系的——图象不是直线,就是“非线性关系
4. “线性”与“非线性”,常用于区别函数y = f (x)对自变量x的依赖关系。线性函数即一次函数,其图像为一条直线。其它函数则为非线性函数,其图像不是直线。
  线性,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;而非线性则指不按比例、不成直线的关系,代表不规则的运动和突变。 
  比如,普通的电阻是线性元件,电阻R两端的电压U,与流过的电流I,呈线性关系,即R=U/I,R是一个定数。二极管的正向特性,就是一个典型的非线性关系,二极管两端的电压u,与流过的电流i不是一个固定的比值,即二极管的正向电阻值,是随不同的工作点(u、i)而不同的。
5. 在数学上,线性关系是指自变量x与因变量yo之间可以表示成y=ax+b ,(a,b为常数),即说x与y之间成线性关系。
   不能表示成y=ax+b ,(a,b为常数),即非线性关系,非线性关系可以是二次,三次等函数关系,也可能是没有关系。


线性和非线性对于向量:

线性表示定义:给定向量组Aα1、α2、……、αm和向量β如果存在一组数λ1、λ2、……、λm使β=λ1α1+λ2α2+……+λmαm,则向量β是向量组A的线性组合这时称向量β能由向量组A线性表示

1、向量组B=(β1,β2,……,βm)能由向量组A(α1,α2,……,αm)线性表示的必要条件是矩阵A=(α1,α2,……,αm)的秩等于矩阵B=(α1,α2,……,αm,B)的秩,而非充要条件,因为两个矩阵的秩相同,并不代表它们之间可以互相线性表示。

注意,此处向量组R(B)指的是R(A,B)     

2.向量组B能由向量组A线性表示,则向量组B的秩不大于向量A的秩。反之不一定成立。

3.① 一个向量可由向量组中其余向量线性表示,前提是这个向量组线性相关。

   ②但线性相关的向量组中并不是任一向量都可由其余向量线性表示。

   ③但当其余向量线性无关时,这个向量必可由其余向量线性表示。

4.零向量可由任一组向量线性表示。

5.向量组α1,α2,α3,……,αm中每个向量都可由向量组本身线性表示。

6.任一n唯向量α=(α1,α2,……,αm)都可由n唯单位向量组线性表示。

7.设α1,α2,α3,……,αm线性无关α1,α2,……,αm,β线性相关,则β可由α1,α2,α3,……,αm线性表示且表示是唯一的。


因此,维数越高的数据越难线性表示。高光谱数据属于高维数据,因此很难线性表示,属于非线性数据,一般的线性分类器不能有效地分类,多用非线性分类器。



本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

线性、非线性分类器&数据的线性、非线性 的相关文章

  • ANN神经网络入门——分类问题(MATLAB)

    写在前面 本篇博客的鸢尾花分类程序来源于博客http www cnblogs com heaad archive 2011 03 07 1976443 html 在上述博客中 作者主要介绍了以下三部分内容 1 神经网络基本原理 2 AFor
  • 基于多项贝叶斯的三分类的情感分析实现

    写在前面 本实验报告是一篇很水的水课的期末大作业 代码 数据集均为原创 意在用最少的代码和最简单的数据集完成老师留下的题目 仅供交流学习使用 禁止直接洗稿嗷 目录 写在前面 一 实验目的 二 实验手段和方法 三 实验内容 四 实验总结 一
  • 实践

    CNN到ResNet Step1 准备数据 自定义数据集 Step2 网络配置 1 RESNET网络模型 2 飞桨内置网络 Step3 模型训练 方式1 基于基础API 完成模型的训练与预测 模型配置 模型验证 方式2 基于高层API 完成
  • 基于MATLAB的BP神经网络的数据分类

    1 BP神经网络的简介 BP神经网络是一种多层前馈神经网络 该网络的主要特点是信号前向传递 误差反向传播 在前向传递中 输入信号从输出层经隐含层逐层处理 直至输出层 每一层神经元状态只会影响下一层神经元状态 如果输出层得不到期望输出 则转入
  • 联邦EMNIST数据集 (FEMNIST)

    文章目录 Introduction NIST Special Database 19 Modified NIST MNIST Extended MNIST EMNIST Federated Extended MNIST FEMNIST fe
  • FasterViT实战:使用FasterViT实现图像分类任务(二)

    文章目录 训练部分 导入项目使用的库 设置随机因子 设置全局参数 图像预处理与增强 读取数据 设置Loss 设置模型 设置优化器和学习率调整算法 设置混合精度 DP多卡 EMA 定义训练和验证函数 训练函数 验证函数 调用训练和验证方法 运
  • 分类算法的R语言实现案例

    最近在读 R语言与网站分析 书中对分类 聚类算法的讲解通俗易懂 和数据挖掘理论一起看的话 有很好的参照效果 然而 这么好的讲解 作者居然没提供对应的数据集 手痒之余 我自己动手整理了一个可用于分类算法的数据集 下载链接 csdn下载频道搜索
  • 图像分类如何得到每一类的预测概率?(结合python代码)

    要得到每一类的预测概率 首先通过torch eq判断每个图片预测的准不准确 循环每个预测结果 得到没个结果对应的标签 如果准确 在该标签类的正确数量加一 在该类的总的数量加一 最后输出该类正确的数量除以该类总的数量就得到了该类的预测概率了
  • softmax用于分类问题/逻辑回归

    参考 d2l 线性回归问题最后输出一个参数用于预测 多分类问题最后输出多个维度的数据 多少个output channels就有多少个类别 softmax是一种激活函数 它常见于分类问题的最后一层激活函数 目的是让输出属于一个概率密度函数 我
  • 过采样对分类精度的影响有哪些

    过采样是一种在训练分类器时用来增加少数类样本数量的技术 它可以通过复制原有的少数类样本来增加样本数量 过采样可以提高分类精度 因为模型在训练中能够更好地学习少数类样本的特征 然而 过采样也可能导致过拟合 如果复制的样本数量过多 模型可能会过
  • 根据眼动数据的模板作为KNN聚类的中心点并因此进行数据分类

    from scipy io import loadmat import numpy as np import matplotlib pyplot as plt 实验数据采集分为两个过程 第一个是眼动校准阶段 要求实验参与者依次观看界面上的数
  • 【分类模型评价】宏平均(macro avg)、微平均(micro avg)和加权平均(weighted avg)

    当我们使用 sklearn metric classification report 工具对模型的测试结果进行评价时 会输出如下结果 对于 精准率 precision 召回率 recall f1 score 他们的计算方法很多地方都有介绍
  • 论文阅读——基于深度学习智能垃圾分类

    B Fu S Li J Wei Q Li Q Wang and J Tu A Novel Intelligent Garbage Classification System Based on Deep Learning and an Emb
  • EMO实战:使用EMO实现图像分类任务(二)

    文章目录 训练部分 导入项目使用的库 设置随机因子 设置全局参数 图像预处理与增强 读取数据 设置Loss 设置模型 设置优化器和学习率调整策略 设置混合精度 DP多卡 EMA 定义训练和验证函数 训练函数 验证函数 调用训练和验证方法 运
  • CrimeKgAssitant-master的案件分类模块思路整理(多标签分类模型)

    根据liuhuanyong模型改动 尝试推广到其它领域 原始模型连接 GitHub liuhuanyong CrimeKgAssitant Crime assistant including crime type prediction an
  • 【RBF分类】基于蜣螂算法优化径向基神经网络DBO-RBF实现故障诊断附matlab代码

    作者简介 热爱科研的Matlab仿真开发者 修心和技术同步精进 代码获取 论文复现及科研仿真合作可私信 个人主页 Matlab科研工作室 个人信条 格物致知 更多Matlab完整代码及仿真定制内容点击 智能优化算法 神经网络预测 雷达通信
  • 2023年30米分辨率土地利用遥感监测数据

    改革开放以来 中国经济的快速发展对土地利用模式产生了深刻的影响 同时 中国又具有复杂的自然环境背景和广阔的陆地面积 其土地利用变化不仅对国家发展 也对全球环境变化产生了深刻的影响 为了恢复和重建我国土地利用变化的现代过程 更好地预测 预报土
  • 【最新】2023年30米分辨率土地利用遥感监测数据

    改革开放以来 中国经济的快速发展对土地利用模式产生了深刻的影响 同时 中国又具有复杂的自然环境背景和广阔的陆地面积 其土地利用变化不仅对国家发展 也对全球环境变化产生了深刻的影响 为了恢复和重建我国土地利用变化的现代过程 更好地预测 预报土
  • 【最新】2023年30米分辨率土地利用遥感监测数据

    改革开放以来 中国经济的快速发展对土地利用模式产生了深刻的影响 同时 中国又具有复杂的自然环境背景和广阔的陆地面积 其土地利用变化不仅对国家发展 也对全球环境变化产生了深刻的影响 为了恢复和重建我国土地利用变化的现代过程 更好地预测 预报土
  • 【状态估计】电力系统状态估计中的异常检测与分类(Matlab代码实现)

    欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码及详细文

随机推荐

  • 2020新版去水印小程序搭建详细教程

    可以设置小程序跳转 引流也不错 支持小程序后台流量主激励视频广告 用户下载一次观看一次视频广告 收入非常可观 支持小程序后台流量主banner广告 支持全网短视频解析 苹果安卓通用 支持后台无限生成卡密 支持自定义文字广告 支持图片广告 支
  • amazon-kinesis-video-streams-webrtc-sdk-c 移植到linux开发板

    大部分参考这位大神的资料 分析依赖关系 通过分析Cmakelist txt得出了一些依赖关系 libkvsWebrtcClient so 依赖项如下 libkvspicUtils a libkvspicState a libssl so l
  • 如何写好一份PPT

    写工作汇报PPT 核心是 要让领导一眼看懂你做的汇报 PPT 本着这个原则 这里老秦提供4种解决方案 PowerPoint的核心作用是什么 Power your Point PPT 的第一目的是沟通和传达 它是架在讲者和听者之间的桥梁 辅助
  • 数字IC-序列检测-fsm

    序列检测简介及代码实现 序列检测器包含两种 一种是移位寄存器 另一种时状态机 还有重复序列和不重复序列检测 重点关注和了解如何用状态机去实现 序列检测器就是将指定的序列从数字码流 中检测出来 收到输出1 否则输出0 移位寄存器解法 重复序列
  • 教你如何安装SCSI硬盘 安装、启动、设置篇

    SCSI硬盘一向认为是昂贵且高不可攀的存储设备 不仅本身价位高于IDE硬盘很多 而且必须另外选择SCSI接口卡 因此在这样的条件下 一般计算机用户便倾向于使用IDE接口的硬盘 IDE硬盘虽然具有低价的优势 但始终敌不过SCSI硬盘的强悍速度
  • python算法中的深度学习算法之强化学习(详解)

    目录 学习目标 学习内容 强化学习 环境建模 Markov决策过程
  • C++11 -- 入门基础知识

    文章目录 C 11简介 列表初始化 std initializer list 变量类型推导 nullptr 范围for循环 STL中的一些变化 C 11简介 在2003年C 标准委员会曾经提交了一份技术勘误表 简称TC1 使得C 03这个名
  • uniapp+vue3+vite+ts+uviewPlus搭建项目

    创建项目架构 首先使用官方提供的脚手架创建一个项目 这里我创建的 vue3 vite ts 的项目 npx degit dcloudio uni preset vue vite ts project name 如命令行创建失败 请直接访问
  • python selenium启动常用

    加载超时设置 browser set page load timeout 5 二进制转16进制 a 00000000 hex int a 2 from selenium import webdriver import time from s
  • Python学习-----流程控制3.0(习题实操)

    目录 前言 1 求和 2 求阶乘 3 输出100以内的奇数 4 打印九九乘法表 5 斐波那契数列 6 打印空心矩形 7 打印三角形 8 求两个数字之间的最大公约数 9 质数问题 10 进制数转换 11 字符统计 12 字符匹配问题 13 求
  • 终于有人把数据指标体系讲明白了

    来源 数据学堂 数据岗的核心职能 在于产出数据资产 提升信息的价值密度 而指标体系就是一个组织最为重要的数据资产 那么 1 为什么指标体系这么重要 2 什么是指标体系 3 指标体系的衡量标准是什么 4 如何去搭建一套好的指标体系 只要弄清楚
  • C++ primer 第十一章习题

    chapter11 关联容器 文章目录 chapter11 关联容器 练习 11 1 节练习 练习11 1 练习11 2 练习11 3 练习11 4 11 2 1 节练习 练习11 5 练习11 6 练习11 7 练习11 8 11 2 2
  • 脏牛提权(cve-2016-5159)

    漏洞范围 大于2 6 22版本 2007年发行 到2016年10月18日修复 危害 低权限的用户可利用这一漏洞在本地进行提权 原理 linux内核的子系统在处理写入时复制至产生了竞争条件 恶意用户可利用此漏洞来获取高权限 对只读内存映射进行
  • 如何快速选择开源许可证License,看这三个就够了

    开源License很多 如果你不想在License耗费太多精力 那么推荐你重点了解这三种 GPL Apache License及MIT 这三种在开源License中很具代表性 使用广泛 且简洁易理解 同时 这三种license是经过OSI
  • MySQL数据库学习

    目录 从管理员cmd页面打开数据库 创建一个用户 数据库的基本操作 数据完整性 完整性约束管理 表的基本操作 判断关键字 聚合函数 多表连接查询 嵌套查询 联合查询 事务 锁 索引 视图 存储过程 函数 与存储过程类似 光标 触发器 JAV
  • lazarus调用http接口解析json(迎接云计算适应微服务)

    lazarus 跨平台free pascal语言ide工具 社区 http www fpccn com 下载 ftp freepascal dfmk hu pub lazarus 号称一次编码 到处编译 window linux macos
  • 制造业数据治理白皮书(2022版)

    全书基于双方赋能一线制造业企业数字化转型过程的实操践行 经验沉淀和所感所悟 分别从背景及趋势 现状与挑战 实施途径 典型案例等角度揭示了当下制造业数据治理的重要性 关注公众号 互联互通社区 回复 DATA176 获取全部报告内容 精彩推荐
  • ES集群宕机后处理——重新分配shards,负载均衡

    ES集群5台机器 由于同时读写导致其中一台机器宕机 原本每天的索引shard数设定为10 这样5台机器每台分配2个shard 但是一旦集群宕机 重启集群后 5号机器宕机导致它上面的shard会转移到其他1 4号机器上 如果此时往ES里写数据
  • UE4_DatatTable数据保存

    UE4 提供了很多数据持久的工具 很多 1 2 3 网上使用UE4 c 操作DataTable的也很多 不接入别人的链接了 使用C 操作DataTable修改数据也没啥大的问题 坑爹的地方 修改完数据之后 重启编辑器之后 修改的数据恢复之前
  • 线性、非线性分类器&数据的线性、非线性

    线性 非线性分类器 数据的线性 非线性 一 线性分类器 有无数个可划分这两个线性可分类的超平面 在二维空间里面 一个线性分类器是一条线 图14 8展示了五个分类例子 这些线有一个函数形式w1x1 w2 x2 b 线性分类器的分类规则是 如果