我希望使用 sklearn 对多标签数据集执行特征选择。我想要获得最终的功能集across标签,然后我将在另一个机器学习包中使用它。我打算使用我看到的方法here https://stackoverflow.com/questions/16400722/feature-selection-for-multilabel-classification-scikit-learn/16421186#16421186,它分别为每个标签选择相关特征。
from sklearn.svm import LinearSVC
from sklearn.feature_selection import chi2, SelectKBest
from sklearn.multiclass import OneVsRestClassifier
clf = Pipeline([('chi2', SelectKBest(chi2, k=1000)),
('svm', LinearSVC())])
multi_clf = OneVsRestClassifier(clf)
然后,我计划使用以下方法提取每个标签所包含特征的索引:
selected_features = []
for i in multi_clf.estimators_:
selected_features += list(i.named_steps["chi2"].get_support(indices=True))
现在,我的问题是,如何选择要包含在最终模型中的选定特征?我可以使用每一个独特的功能(其中包括仅与一个标签相关的功能),或者我可以做一些事情来选择与更多标签相关的功能。
我最初的想法是创建一个给定特征被选择的标签数量的直方图,并根据目视检查确定阈值。我担心的是这种方法是主观的。是否有更原则的方法使用 sklearn 对多标签数据集执行特征选择?
根据本文的结论paper http://ceur-ws.org/Vol-1094/bioasq2013_submission_8.pdf:
[...]根据平均值或最大值对特征进行排序
所有标签的卡方得分导致大多数最好的
分类器同时使用较少的特征。
然后,为了选择一个好的功能子集,您只需执行以下操作(类似):
from sklearn.feature_selection import chi2, SelectKBest
selected_features = []
for label in labels:
selector = SelectKBest(chi2, k='all')
selector.fit(X, Y[label])
selected_features.append(list(selector.scores_))
// MeanCS
selected_features = np.mean(selected_features, axis=0) > threshold
// MaxCS
selected_features = np.max(selected_features, axis=0) > threshold
注意:在上面的代码中,我假设 X 是某个文本矢量化器(文本的矢量化版本)的输出,Y 是每个标签一列的 pandas 数据框(因此我可以选择该列Y[label]
)。此外,还有一个应事先固定的阈值变量。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)