scikit-learn 中跨多列的标签编码

我正在尝试使用 scikit-learnLabelEncoder对 pandas 进行编码DataFrame字符串标签。由于数据框有许多（50+）列，我想避免创建LabelEncoder每列的对象；我宁愿只拥有一件大的LabelEncoder跨越工作的对象all我的数据列。

整个扔DataFrame into LabelEncoder创建以下错误。请记住，我在这里使用虚拟数据；实际上，我正在处理大约 50 列字符串标记数据，因此需要一个不按名称引用任何列的解决方案。

import pandas
from sklearn import preprocessing 

df = pandas.DataFrame({
    'pets': ['cat', 'dog', 'cat', 'monkey', 'dog', 'dog'], 
    'owner': ['Champ', 'Ron', 'Brick', 'Champ', 'Veronica', 'Ron'], 
    'location': ['San_Diego', 'New_York', 'New_York', 'San_Diego', 'San_Diego', 
                 'New_York']
})

le = preprocessing.LabelEncoder()

le.fit(df)

回溯（最近一次调用最后一次）： 文件“”，第 1 行，位于 文件“/Users/bbalin/anaconda/lib/python2.7/site-packages/sklearn/preprocessing/label.py”，第 103 行，适合 y = column_or_1d(y, warn=True) 文件“/Users/bbalin/anaconda/lib/python2.7/site-packages/sklearn/utils/validation.py”，第306行，在column_or_1d中 raise ValueError("错误的输入形状 {0}".format(shape)) ValueError：输入形状错误 (6, 3)

关于如何解决这个问题有什么想法吗？

不过你可以轻松做到这一点，

df.apply(LabelEncoder().fit_transform)

EDIT2:

在scikit-learn 0.20中，推荐的方式是

OneHotEncoder().fit_transform(df)

因为 OneHotEncoder 现在支持字符串输入。 使用 ColumnTransformer 可以将 OneHotEncoder 仅应用于某些列。

EDIT:

由于这个原始答案是一年多前的，并且产生了很多赞成票（包括赏金），我可能应该进一步扩展它。

对于inverse_transform 和transform，你必须做一些修改。

from collections import defaultdict
d = defaultdict(LabelEncoder)

这样，您现在保留所有列LabelEncoder作为字典。

# Encoding the variable
fit = df.apply(lambda x: d[x.name].fit_transform(x))

# Inverse the encoded
fit.apply(lambda x: d[x.name].inverse_transform(x))

# Using the dictionary to label future data
df.apply(lambda x: d[x.name].transform(x))

莫尔编辑：

使用 Neuraxle 的FlattenForEach https://www.neuraxle.org/stable/api/neuraxle.steps.loop.html#neuraxle.steps.loop.FlattenForEach步骤，也可以使用相同的方法来执行此操作LabelEncoder https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.LabelEncoder.html一次性处理所有扁平化数据：

FlattenForEach(LabelEncoder(), then_unflatten=True).fit_transform(df)

用于单独使用LabelEncoder取决于您的数据列，或者如果只有某些数据列需要进行标签编码而不是其他数据列，则使用ColumnTransformer https://stackoverflow.com/a/60302366/2476920是一个允许对列选择和 LabelEncoder 实例进行更多控制的解决方案。