数据处理中的归一化与反归一化

一、定义

数据归一化（标准化）是数据预处理的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，为避免影响数据分析结果、消除指标之间的量纲影响，须对数据进行标准化处理。

数据的归一化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权，加快训练网络的收敛性。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

二、两种常用的归一化方法

（1）线性函数归一化（Min-Max scaling）

• 定义：理查标准化，是对原始数据的线性变换，使得结果映射到0-1之间
• 本质：把数变为 [0, 1] 之间的小数

         X为原始数据，Xmax、Xmin分别为原始数据集的最大值和最小值。

（2）0均值标准化（Z-score standardization）

• 定义：将所有数据归一化到均值为0，方差为1的分布中
• 本质：把有量纲表达式变为无量纲表达式

        μ、σ分别为原始数据集的均值和方差。要求原始数据的分布可以近似为高斯分布。

三、数据归一化和反归一化

使用深度学习构建训练时，通常需要数据归一化，以利于网络的训练，而在训练结果可视化中，通常需要反归一化。

在sklearn模块中，fit_transform()、transform()进行数据归一化，inverse_transform()进行数据反归一化

1、fit_transform() 和 transform() 的区别

（1）fit_transform() 是 fit() 和 transform() 的组合。

（2） fit(x,y)传两个参数的是有监督学习的算法，fit(x)传一个参数的是无监督学习的算法。即：求得训练集X的均值，方差，最大值，最小值，这些训练集固有的属性。

（3）transform() 是在fit的基础上，进行标准化，降维，归一化等操作

（4）fit() 和 transform() 没有任何关系，之所以出来这么个函数名，仅仅是为了写代码方便。transform() 和 fit_transform() 二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）

注意：这两个函数不可以互相替换，绝对不可以！transform函数是一定可以替换为fit_transform函数的，fit_transform函数不能替换为transform函数！

fit_transform() 的作用就是先拟合数据，然后转化它将其转化为标准形式；

tranform() 的作用是通过找中心和缩放等实现标准化。

 2、inverse_transform()的用法——反归一化

# 数据归一化
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)

# 将标准化后的数据转换为原始数据（反归一化）
predicted_data = scaler.inverse_transform(data)  

归一化时使用 scaler 进行归一化，反归一化仍然要使用 scaler 数据转换

Tips：如果归一化时的 values 的shape是（n, 3）,则反归一化时的 data 的shape必须是（m, 3）

参考：

https://blog.csdn.net/program_developer/article/details/78637711

https://zhuanlan.zhihu.com/p/76682561