天池赛学习笔记——使用sklearn+机器学习进行分类/回归任务之(二)数据集划分、预处理和特征工程

上一篇博文介绍了读取csv文件和可视化数据的过程,完成这两步后,我们对数据集和问题有了直观的理解,而天池、kaggle等竞赛会给我们需要提交结果的数据集和有标签的数据集。接下来,我们需要对数据集进行划分,以用于模型训练和验证.

数据集的划分

• 将有标签的数据集划分为训练集和测试集,以验证我们最终提交模型的泛化能力.

from sklearn.model_selection import train_test_split
#x为数据,y为对应的标签,也可在提取完特征后划分,这里希望划分好用同一数据集测试,划分比例0.8:0.2
x_train,x_test,y_train,y_vest = train_test_split(x, y, test_size=0.2)

• 方案一：交叉验证策略
  K折交叉验证,均分为K组,1组验证,K-1组训练,以K次训练在验证集上的平均指标作为性能指标.

  from sklearn.linear_model import LogisticRegression
  from sklearn.model_selection import KFold
  from sklearn.model_selection import cross_val_score
  #以逻辑回归,5折交叉验证为例
  kfold = KFold(n_splits=5, random_state=7)
  classify = LogisticRegression() 
  result = cross_val_score(classify, x_train, y_train, cv=kfold) #5折交叉验证
  

  -方案二：弃一交叉验证策略
  N个样本,每次用N-1个训练,1个验证,共进行N次,验证集上的平均指标作为性能指标.

  from sklearn.linear_model import LogisticRegression
  from sklearn.model_selection import LeaveOneOut
  from sklearn.model_selection import cross_val_score
  loocv = LeaveOneOut()
  classify = LogisticRegression()
  result = cross_val_score(classify, x_train, y_train, cv=loocv) #弃一交叉验证
  

数据预处理

scikit-learn提供两种标准的格式化数据方法.

• 方法1:Fit and Multiple Transform
  先调用 fit()函数来准备数据转换的参数,然后调用 transform()函数来做数据的预处理.
  在一般使用中,会fit训练集,然后在验证集和测试集上做相同的t ransform(),切记不要再次 fit
• 方法2:Combined Fit-and-Transform
  fit和 transform同时进行

主要数据预处理的方式有：最大最小归一化，正态归一化，标准化和二值化，其原理都比较简单，代码示例如下：

    #归一化
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import Binarizer
#最大最小归一化
MMScalar = MinMaxScaler(feature_range=(0,1)) #归一化到0,1
new_train_x1 = MMScalar.fit_transform(x_train) #训练集fit+transform
new_test_x1 = MMScalar.transform(x_valid) #验证集上transform
#归一化为正态分布(即均值为0,方差为1的正态分布)
SScaler = StandardScaler()
new_train_x2 = SScaler.fit_transform(x_train) #训练集fit+transform
new_test_x2 = SScaler.transform(x_valid) #验证集上transform
#标准化数据
NScaler = Normalizer()
new_train_x3 = NScaler.fit_transform(x_train) #训练集fit+transform
new_test_x3 = NScaler.transform(x_valid) #验证集上transform
#二值化,大于阈值设为1,小于阈值设为0
BScaler = Binarizer(threshold=0.0) #大于0设为1,小于0设为0
new_train_x4 = BScaler.fit_transform(x_train) #训练集fit+transform
new_test_x4 = BScaler.transform(x_valid) #验证集上transform

#除了上边说过的方法,还可以先Fit再Transform,以MinMaxScaler为例
MMScalar = MinMaxScaler(feature_range=(0,1)).fit(x_train)
new_train_x5 = MMScalar.transform(x_train) #训练集fit+transform
new_test_x5 = MMScalar.transform(x_valid) #验证集上transform

特征工程

这里的特征工程主要是选择最优的特征组合,这里主要涉及的方法有单变量,RFE和PCA,直接上代码吧！

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import RFE
from sklearn.decomposition import PCA
from sklearn.feature_selection import chi2
from sklearn.linear_model import LogisticRegression

#单变量特征选定,给定选定标准,选择得分最高的k个特征
SKBest = SelectKBest(Score_func=chi2, k=5) #以卡方检验评分为标准,选择评分最高的5个特征
x_train_choose1 = SKBest.fit_transform(new_train_x, y_train) #训练集上fit和tansform
x_test_choose1 = SKBest.transform(new_train_x) #验证集上transform

#递归特征消除(RFE),使用基模型来进行多轮训练,每轮训练后消除若干权值系数的特征,再进行下一轮,直到找到最大的数据特征
#以逻辑回归为例,选取最优的5个特征
classify = LogisticRegression()
rfe = RFE(classify,5) 
rfe.fit(new_train_x, y_train) #训练集上fit
x_train_choose2 = rfe.fit_transform(new_train_x)
x_test_choose2 = rfe.fit(new_test_x)

#主成分分析,利用PCA对数据进行降维,使数据更有发散性
pca = PCA(n_components=5)
pca.fit(new_train_x, y_train)
x_train_choose3 = pca.fit_transform(new_train_x)
x_test_choose3 = pca.fit(new_test_x)

在本人的实战经验中发现,对特征进行合理的筛选和线性组合可以达到更好的精度,特征工程大法好！
接下来会介绍分类/回归模型和结果的评估方法.