数据预处理——数据无量纲化(归一化、标准化)

2023-10-31


在机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布的需求,这种需求统称为将数据“无量纲化”。

数据的无量纲化可以是线性的,也可以是非线性的。线性的无量纲化包括中心化(Zero-centered或者Meansubtraction)处理和缩放处理(Scale)。

中心化的本质是让所有记录减去一个固定值,即让数据样本数据平移到某个位置。
缩放的本质是通过除以一个固定值,将数据固定在某个范围之中,取对数也算是一种缩放处理。

1. 数据归一化

1.1 数据归一化定义

在这里插入图片描述

1.2 MinMaxScaler 归一化

sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True)

将数据的每一个特征缩放到给定的范围,将数据的每一个属性值减去其最小值,然后除以其极差(最大值 - 最小值)

数据转换:

X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))

逆转换:

X_scaled = X_std * (max - min) + min

1.3 MinMaxScaler 使用样例

使用样例1:

from sklearn.preprocessing import MinMaxScaler
data = [[1, 2], [4, 4], [5, 6]]
scaler = MinMaxScaler(feature_range=(0, 1))  # 映射到 0-1 之间
scaler.fit(data)  # 适应数据,找出每列最大、小值,并存储
scaled_df_1 = scaler.transform(data)  # 转换数据

print(scaler.data_max_)  # 最大值   [ 5.  6.]
print(scaler.data_min_)  # 最小值   [ 1.  2.]
print(scaled_df_1)
# scaled_df_1:
# [[ 0.    0.  ]
#  [ 0.75  0.5 ]
#  [ 1.    1.  ]]
scaled_df_2 = scaler.fit_transform(data)   # 将fit,transform一步到位
print(scaled_df_2)
# scaled_df_2
# [[ 0.    0.  ]
#  [ 0.75  0.5 ]
#  [ 1.    1.  ]]
inverse_df = scaler.inverse_transform(scaled_df_1) # 逆转换数据
print(inverse_df)
# inverse_df
# [[ 1.  2.]
#  [ 4.  4.]
#  [ 5.  6.]]

使用样例2:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 数据标准化

2.1 数据标准化定义

在这里插入图片描述

2.2 StandardScaler 标准化

sklearn.preprocessing.StandardScaler(copy=True, with_mean=True, with_std=True)

2.3 StandardScaler 使用样例

在这里插入图片描述
对于StandardScaler和MinMaxScaler来说,空值NaN会被当做是缺失值,在fit的时候忽略,在transform的时候保持缺失NaN的状态显示。并且,尽管去量纲化过程不是具体的算法,但在fit接口中,依然只允许导入至少二维数组,一维数组导入会报错。通常来说,我们输入的X会是我们的特征矩阵,现实案例中特征矩阵不太可能是一维所以不会存在这个问题。

StandardScaler和MinMaxScaler选哪个?

大多数机器学习算法中,会选择StandardScaler来进行特征缩放,因为MinMaxScaler对异常值非常敏感。在PCA,聚类,逻辑回归,支持向量机,神经网络这些算法中,StandardScaler往往是最好的选择

MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛,比如数字图像处理中量化像素强度时,都会使用MinMaxScaler将数据压缩于[0,1]区间之中。

sklearn中也提供了各种其他缩放处理(中心化只需要一个pandas广播一下减去某个数就好了,因此sklearn不提供任何中心化功能)。比如,在希望压缩数据,却不影响数据的稀疏性时(不影响矩阵中取值为0的个数时),我们会使用MaxAbsScaler;在异常值多,噪声非常大时,我们可能会选用分位数来无量纲化,此时使用RobustScaler。

在这里插入图片描述

【参考博客】:

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据预处理——数据无量纲化(归一化、标准化) 的相关文章

随机推荐

  • ideaic安装教程_IntelliJ IDEA安装图文教程

    IntelliJ IDEA 是 java语言开发的集成环境 在业界被公认为最好的 java开发工具之一 尤其在智能代码助手 代码自动提示 重构 J2EE支持 各类版本工具 git svn等 JUnit CVS整合 代码分析 创新的 GUI设
  • gitee的使用和HTTP协议

    git git 个人使用 1 创建本地仓库 初始化仓库 git init 2 创建远程仓库 gitee 3 记录远程仓库地址 4 将本地的代码文件提交到远程仓库 5 git add git add gitignore node module
  • react如何渲染包含html标签元素的字符串

    如何渲染包含html标签元素的字符串 最近有个搜索替换的需求 用户可以输入关键字信息来匹配出对应的数据 然后对其关键字进行标记显示 如下图所示 实现上面的需求的思路就是前端去判断检索内容 将内容中对应的关键字设置一个背景颜色的样式 代码如下
  • 计算机辅助断层摄影,显微计算机辅助断层摄影技术在牙周病学中的应用.pdf

    显微计算机辅助断层摄影技术在牙周病学中的应用 国际口腔医学杂志 第 34卷 第6期 2007年11月 430 InternationalJournalofStomatologyVol 34No 6Nov 2007 显微计算机辅助断层摄影技术
  • canvas绘制随机大小颜色泡泡,鼠标单击后变大变淡消失

    一 canvas随机渲染泡泡 鼠标单击后变大变淡消失 完整代码如下
  • 虚拟化系列教程-安装QEMU/KVM的三种方式

    RedHat Linux KVM 安装 RedHat 有两款产品提供 KVM 虚拟化 Red Hat Enterprise Linux 适用于小的环境 提供数目较少的KVM虚机 Red Hat Enterprise Virtualizati
  • 异或运算怎么算_位运算

    有道云笔记地址 note youdao com 位运算在生产或算法解题中并不常见 不过如果你用得好 可以达到事半功倍的效果 而且位运算用得好 也可以极大地提升性能 如果在生产或面试中能看到使用位运算来解题 会让人眼前一亮 觉得你还是有点逼格
  • 获得KeyStore的sha1值

    keytool list v keystore E geniatech ham project keystore
  • rabbitmq取消自动重连_rabbitmq客户端自动重连

    编程rookie 如有错误请指出 253065903 qq com RabbitMQ Node js 客户端 AMQP 0 9 1 V0 5 2 自动重连 重启策略 开始找解决方案 通过查看AMQP的源码 发现没有reconnect的选项
  • linux下使用bower时提示bower ESUDO Cannot be run with sudo解决办法

    今天准备在使用bower安装一些东西的时候 废了老半天劲 因为需要node环境以及bower平台 安装不顺利 通过百度 最解决了这些问题 在执行bower命令的时候 总是会报错 原来需要在命令后添加 allow root 选项 bower
  • 星星之火-36:LTE载波载波的间隔是15K, 载波波的带宽是多少? 15K还是30K?

    先给个结论 在LTE中 单个小区最大的频谱带宽为20M 每个子载波的间隔为15K 带宽为30K 一共可以分为1200个子载波 那这个数据是怎么来得呢 15K子载波间隔的由来 如果子载波的带宽30K 那么按照频分复用FDM的规则 频谱利用率最
  • Java 类、对象和方法

    Java 类 对象和方法 类的基础知识 如何创建对象 引用变量和赋值 方法 返回值 实参与形参 构造函数 垃圾回收机制 this关键字 类的基础知识 类是定义对象形式的模板 指定了数据以及操作数据的代码 Java中使用类的规范来构造对象 而
  • Qt - 富文本(富文本编程-语法高亮)

    富文本 QTextEdit支持富文本处理 即文档中可使用多种格式 如文字 图片 表格等 与纯文本PlainText相对而言 windows的记事本就是纯文本编辑器 word就是富文本编辑器 文档的光标主要基于QTextCursor类 文档的
  • 贵州大学计算机系2020年录取分数线,贵州大学2020年高考录取分数线汇总

    作为贵州省最好的大学 贵州大学一直是省内考生报考的热门学校 2020年 学校在贵州省招生类别有国家专项 地方专项 高校专项 本科一批 本科二批 艺术体育类 少数民族预科班等 由于本科二批 艺术体育类和少数民族预科班的录取分数线已经在动态里做
  • HttpServletRequestWrapper处理request数据流多次读取问题

    问题 要实现一个spring拦截器需要读取request数据流 但是request数据流只能读取一次 需要自己实现HttpServletRequestWrapper对数据流包装 实现如下 public class ReadHttpServl
  • ov9650摄像头驱动之——linux内核v4l2架构分析2

    NO 2 Camera解码器 控制器 1 根据camera控制器的描述 图像传输有两个DMA通道 我们用的是C通道 所以先将DMA内存初始化 因为在V4L2操作中有把VIDIOC REQBUFS中分配的数据缓存转换成物理地址的操作 所以DM
  • ctfshow

    第三题 1 抓包 2 发送到repeater 获得flag 第四题 robots txt是一种存放于网站根目录下的ASCII编码的文本文件 它通常告诉网络搜索引擎的漫游器 又称网络蜘蛛 此网站中的哪些内容是不能被搜索引擎的漫游器获取的 哪些
  • Linux(centos7.9)常用命令大全及基础知识

    linux中数组的索引从0开始 其他默认从1开始 例如没有第0列 从第1列开始 在Unix中一切 包括网络套接口 都是文件 在命令行中 无论几个空格 都当成一个空格看待 在linux中 在命令行中通过执行命令的方式来改变系统或软件配置时 效
  • mysql数据库管理工具 h_几款桌面MYSQL管理工具

    1 Navicat Navicat是一个强大的MySQL数据库管理和开发工具 Navicat导航为专业开发者提供了一套强大的足够尖端的工具 但它对于新用户仍然 是易于 学习 Navicat 使用了极好的图形用户界面 GUI 可以让你用一种安
  • 数据预处理——数据无量纲化(归一化、标准化)

    文章目录 1 数据归一化 1 1 数据归一化定义 1 2 MinMaxScaler 归一化 1 3 MinMaxScaler 使用样例 2 数据标准化 2 1 数据标准化定义 2 2 StandardScaler 标准化 2 3 Stand