在用机器学习解决问题时，往往要先对数据进行预处理。其中，z-score归一化和Min-Max归一化是最常用的两种预处理方式，可以通过sklearn.preprocessing模块导入StandardScaler()和 MinMaxScaler()接口实现，而在调用这两个接口时，有三种方法：fit(), fit_transform() , transform()。
但是，查阅了许多博客以及官方文档，都没有把这几个函数的区别讲清楚。
因此，今天花了半天时间，把这个问题探索清楚。
还是先提一下这两个归一化方法。
z-score归一化: x = (x - x的均值）/ x的方差
Min-Max归一化: x = (x - x的最小值) / (x的最大值 - x的最小值)
官方文档：
只有两行文字解释，说了等于没说，。。。= =
So, 下面通过实验来验证。为了让文章更简洁，这里只挑选了项目中的部分代码。
minmaxscaler = MinMaxScaler()
data_train_norm = minmaxscaler.fit_transform(data_train)
data_train_norm = pd.DataFrame(data_train_norm, columns=new_column_name)
data_train_norm.head(3)
data_test_norm_transform = minmaxscaler.transform(data_test)
data_test_norm_transform = pd.DataFrame(data_test_norm_transform, columns=new_column_name)
data_test_norm_fit_transform = minmaxscaler.fit_transform(data_test)
data_test_norm_fit_transform = pd.DataFrame(data_test_norm_fit_transform, columns=new_column_name)
大家肯定已经发现了，这两个方法产生的结果是不一样的，让我们用密度图画出这三个结果的分布。这边只展示前六列数据的分布图。
黑线：训练集上fit_transform()后的结果
红线：测试集上fit_transform()后的结果
绿线：测试集上transform()后的结果
可以发现，绿线波峰的位置和黑线是相同的，而红线波峰的位置却不一定和黑线相同。
猜想一：transform() : 在对测试集上的数据进行归一化时，使用的是训练集的最小值和最大值
猜想二：fit_transform()：用自己的最小值和最大值进行归一化
不用sklearn的方法，手动编程。在归一化测试集时，使用测试集自己的最小值和最大值
((data_test - data_test.min()) / (data_test.max()-data_test.min())).head(3)
对比2.1节的结果，可以看到两者是相同的。
所以猜想二正确。
在归一化测试集时，使用训练集的最小值和最大值
((data_test - data_train.min()) / (data_train.max()-data_train.min())).head(3)
对比2.2节的结果，发现手动编程的结果与用sklearn中transform()的结果是相同的。
所以猜想一正确。
在用机器学习解决问题时，会将数据集划分成训练集和测试集。我们可以先用fit_transform()方法处理训练集，再用transform()方法处理测试集。这时，在归一化测试集时，使用的是训练集的统计量，这么做是为了让训练集和测试集更相似。使算法在两者上的表现尽可能相同
而若对测试集使用了fit_transform()方法，则会用测试集自己的统计量来归一化数据。
在测试集上千万不要混用这两个方法，笔者就因为在测试集上使用了fit_transform()方法，导致测试集上的损失一直比验证集上的大很多！
还有一个fit()方法没说，这个是最简单的，它和fit_transform()是相同的，只不过后者会返回转换后的结果，而前者是不会返回的，只会训练转换器。