文本数据的多标签核外学习：部分拟合的 ValueError

我正在尝试构建一个多标签外核文本分类器。如上所述here http://scikit-learn.org/stable/auto_examples/applications/plot_out_of_core_classification.html，其想法是批量读取（大规模）文本数据集并将其部分拟合到分类器。此外，当您具有如上所述的多标签实例时here http://scikit-learn.org/stable/modules/multiclass.html，其想法是以一对多的方式构建与数据集中的类数量一样多的二元分类器。

当将 sklearn 的 MultiLabelBinarizer 和 OneVsRestClassifier 类与部分拟合相结合时，出现以下错误：

ValueError：具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()

代码如下：

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import HashingVectorizer
from sklearn.preprocessing import MultiLabelBinarizer
from sklearn.multiclass import OneVsRestClassifier

categories = ['a', 'b', 'c']
X = ["This is a test", "This is another attempt", "And this is a test too!"]
Y = [['a', 'b'],['b'],['a','b']]

mlb = MultiLabelBinarizer(classes=categories)
vectorizer = HashingVectorizer(decode_error='ignore', n_features=2 ** 18,         non_negative=True)
clf = OneVsRestClassifier(MultinomialNB(alpha=0.01))

X_train = vectorizer.fit_transform(X)
Y_train = mlb.fit_transform(Y)
clf.partial_fit(X_train, Y_train, classes=categories)

您可以想象最后三行应用于每个小批量，为了简单起见，我删除了其中的代码。

如果删除 OneVsRestClassifier 并仅使用 MultinomialNB，则代码运行良好。

您正在传递 y_train 转换自MultiLabelBinarizer其形式为 [[1, 1, 0], [0, 1, 0], [1, 1, 0]]，但将类别传递为['a','b','c']然后通过这行代码 https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/multiclass.py#L260:-

if np.setdiff1d(y, self.classes_):
raise ValueError(("Mini-batch contains {0} while classes " +
                 "must be subset of {1}").format(np.unique(y),
                                              self.classes_))

这会产生一个布尔值数组，例如 [False, True, ..]。if无法将此类数组作为单个真值处理，因此会出现错误。

首先，您应该以与以下内容相同的数字格式传递类：Y_train。 现在即使你这样做了，那么内部的label_binarizer_OneVsRestClassifier 的 http://scikit-learn.org/stable/modules/generated/sklearn.multiclass.OneVsRestClassifier.html#sklearn.multiclass.OneVsRestClassifier将决定它是“多类”类型而不是multilabel然后将拒绝正确地转换类。我认为这是 OneVsRestClassifer 和/或 LabelBinarizer 中的一个错误。

请向 scikit-learn github 提交问题partial_fit看看会发生什么。

Update显然，从目标向量 (y) 决定“多标签”或“多类”是 scikit-learn 上当前持续存在的问题，因为它存在很多复杂性。

• https://github.com/scikit-learn/scikit-learn/issues/7665 https://github.com/scikit-learn/scikit-learn/issues/7665
• https://github.com/scikit-learn/scikit-learn/issues/5959 https://github.com/scikit-learn/scikit-learn/issues/5959
• https://github.com/scikit-learn/scikit-learn/issues/7931 https://github.com/scikit-learn/scikit-learn/issues/7931
• https://github.com/scikit-learn/scikit-learn/issues/8098 https://github.com/scikit-learn/scikit-learn/issues/8098
• https://github.com/scikit-learn/scikit-learn/issues/7628 https://github.com/scikit-learn/scikit-learn/issues/7628
• https://github.com/scikit-learn/scikit-learn/pull/2626 https://github.com/scikit-learn/scikit-learn/pull/2626