get_dummies (Pandas) 和 OneHotEncoder (Scikit-learn) 之间的优缺点是什么？

我正在学习不同的方法将分类变量转换为机器学习分类器的数字。我遇到了pd.get_dummies方法和sklearn.preprocessing.OneHotEncoder()我想看看它们在性能和使用方面有何不同。

我找到了一个关于如何使用的教程OneHotEncoder() on https://xgdgsc.wordpress.com/2015/03/20/note-on-using-onehotencoder-in-scikit-learn-to-work-on-categorical-features/ https://xgdgsc.wordpress.com/2015/03/20/note-on-using-onehotencoder-in-scikit-learn-to-work-on-categorical-features/自从sklearn文档对此功能没有太大帮助。我有一种感觉，我做得不对......但是

可以解释一下使用的优点和缺点吗pd.dummies over sklearn.preprocessing.OneHotEncoder()反之亦然？我知道OneHotEncoder()给你一个稀疏矩阵，但除此之外我不确定它是如何使用的以及它比pandas方法。我使用它的效率低下吗？

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
sns.set()

%matplotlib inline

#Iris Plot
iris = load_iris()
n_samples, m_features = iris.data.shape

#Load Data
X, y = iris.data, iris.target
D_target_dummy = dict(zip(np.arange(iris.target_names.shape[0]), iris.target_names))

DF_data = pd.DataFrame(X,columns=iris.feature_names)
DF_data["target"] = pd.Series(y).map(D_target_dummy)
#sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)  \
#0                  5.1               3.5                1.4               0.2   
#1                  4.9               3.0                1.4               0.2   
#2                  4.7               3.2                1.3               0.2   
#3                  4.6               3.1                1.5               0.2   
#4                  5.0               3.6                1.4               0.2   
#5                  5.4               3.9                1.7               0.4   

DF_dummies = pd.get_dummies(DF_data["target"])
#setosa  versicolor  virginica
#0         1           0          0
#1         1           0          0
#2         1           0          0
#3         1           0          0
#4         1           0          0
#5         1           0          0

from sklearn.preprocessing import OneHotEncoder, LabelEncoder
def f1(DF_data):
    Enc_ohe, Enc_label = OneHotEncoder(), LabelEncoder()
    DF_data["Dummies"] = Enc_label.fit_transform(DF_data["target"])
    DF_dummies2 = pd.DataFrame(Enc_ohe.fit_transform(DF_data[["Dummies"]]).todense(), columns = Enc_label.classes_)
    return(DF_dummies2)

%timeit pd.get_dummies(DF_data["target"])
#1000 loops, best of 3: 777 µs per loop

%timeit f1(DF_data)
#100 loops, best of 3: 2.91 ms per loop

对于机器学习，你几乎肯定想使用sklearn.OneHotEncoder.对于简单分析等其他任务，您也许可以使用pd.get_dummies，这样比较方便一点。

注意sklearn.OneHotEncoder已更新到最新版本，以便接受字符串对于分类变量以及整数。

其关键在于sklearn编码器创建一个函数persists并且可以然后应用于使用相同分类变量的新数据集，并获得一致的结果.

from sklearn.preprocessing import OneHotEncoder

# Create the encoder.
encoder = OneHotEncoder(handle_unknown="ignore")
encoder.fit(X_train)    # Assume for simplicity all features are categorical.

# Apply the encoder.
X_train = encoder.transform(X_train)
X_test = encoder.transform(X_test)

请注意我们如何应用通过以下方式创建的相同编码器X_train到新的数据集X_test.

考虑如果发生什么情况X_test包含不同的级别X_train为其变量之一。例如，假设X_train["color"]仅包含"red" and "green"，但除了这些之外，X_test["color"]有时包含"blue".

如果我们使用pd.get_dummies, X_test最终会得到一个额外的"color_blue"列哪个X_train没有，并且不一致可能会在以后破坏我们的代码，特别是当我们正在喂食时X_test to an sklearn我们训练的模型X_train.

如果我们想在生产中处理这样的数据，我们一次接收一个示例，pd.get_dummies不会有什么用。

With sklearn.OneHotEncoder另一方面，一旦我们创建了编码器，我们就可以重用它以每次产生相同的输出，其中列仅用于"red" and "green"。我们可以明确地控制它遇到新关卡时会发生什么"blue"：如果我们认为这是不可能的，那么我们可以告诉它抛出一个错误handle_unknown="error";否则我们可以告诉它继续并简单地将红色和绿色列设置为 0，handle_unknown="ignore".