在数据处理场景中特征缩放 = 数据规范化，这个两个名词是相同的。
Feature scaling = data normalization
一个数字按照一定规则变小或者变大，这个数字就是特征，变小就是缩，变大就是放。
特征缩放是一种用于规范自变量或数据特征范围的方法。
在数据处理中，这也称为数据规范化，通常在数据预处理步骤中执行。
举例：
分析一个人的身高和体重对健康的影响，如果使用米（m）和千克（kg）作为单位，那么身高特征会在1.6～1.8m的数值范围内，体重特征会在50～100kg的范围内，分析出来的结果显然会倾向于数值差别比较大的体重特征。
想要得到更为准确的结果，就需要进行特征归一化（Normalization）处理，使各指标处于同一数值量级，以便进行分析。
归一化之后等高线变得不再崎岖， x 1 x_1 x1和 x 2 x_2 x2的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。迭代次数变少，减小梯度下降算法的过程，从而加速模型的生成。
线性函数归一化（最大最小值归一化）和零均值归一化。
它对原始数据进行线性变换，使结果映射到
[
0
,
1
]
[0, 1]
[0,1]的范围，实现对原始数据的等比缩放，最通用：
X
n
o
r
m
=
X
−
X
m
i
n
X
m
a
x
−
X
m
i
n
X_{norm}=\frac{X-X_{min}}{X_{max}-X_{min}}
Xnorm=Xmax−XminX−Xmin
其中
X
n
o
r
m
X_{norm}
Xnorm为归一化后的数据，
X
X
X为原始数据，
X
m
a
x
X_{max}
Xmax、
X
m
i
n
X_{min}
Xmin分别为原始数据集的最大值和最小值。
注意：对异常值十分灵敏，异常值容易造成偏差！
X = X − − X m a x ( X ) − m i n ( X ) X = \frac{X-\frac{-}{X}}{max(X)-min(X)} X=max(X)−min(X)X−X−
给予原始数据的均值 μ μ μ（mean）和标准差 σ σ σ（standard deviation）进行数据的标准化。
它会将原始数据映射到均值为0、标准差为1的分布上。
z
=
x
−
μ
δ
z = \frac{x-\mu}{\delta}
z=δx−μ
在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，标准化(Z-score standardization)表现更好
在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用归一化方法。比如图像处理中，将RGB图像转换为灰度图像后将其值限定在[0 255]的范围
实际应用中，通过梯度下降法求解模型的通常需要归一化，包括线性回归、逻辑回归、支持向量机、神经网络等。
不是所有的模型都需要做归一的，比如模型算法里面有没关于对距离的衡量，没有关于对变量间标准差的衡量。
决策树模型不要要归一化，他采用算法里面没有涉及到任何和距离等有关的，看的是信息增益比，所以在做决策树模型时，通常是不需要将变量做标准化的
概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率