在 NLTK 中实现词袋朴素贝叶斯分类器

我基本上有和这个人有同样的问题 https://stackoverflow.com/questions/2162718/python-nltk-code-snippet-to-train-a-classifier-naive-bayes-using-feature-frequ.. The NLTK书中的例子 http://nltk.googlecode.com/svn/trunk/doc/book/ch06.html#document-classify-all-words对于朴素贝叶斯分类器，仅考虑单词是否作为特征出现在文档中。它不考虑单词的频率作为要查看的特征（“词袋”）。

答案之一 https://stackoverflow.com/a/2226115/378622似乎表明这不能用内置的 NLTK 分类器来完成。是这样吗？如何使用 NLTK 进行频率/词袋 NB 分类？

scikit学习 http://scikit-learn.org has 多项式朴素贝叶斯的实现 http://scikit-learn.org/stable/modules/naive_bayes.html#multinomial-naive-bayes，这是这种情况下朴素贝叶斯的正确变体。不过，支持向量机 (SVM) 可能会工作得更好。

正如 Ken 在评论中指出的那样，NLTK 已经scikit-learn 分类器的一个很好的包装器 https://github.com/nltk/nltk/blob/master/nltk/classify/scikitlearn.py。根据文档修改，这里有一个有点复杂的模型，它执行 TF-IDF 加权，根据 chi2 统计选择 1000 个最佳特征，然后将其传递到多项式朴素贝叶斯分类器。 （我敢打赌这有点笨拙，因为我对 NLTK 或 scikit-learn 都不太熟悉。）

import numpy as np
from nltk.probability import FreqDist
from nltk.classify import SklearnClassifier
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

pipeline = Pipeline([('tfidf', TfidfTransformer()),
                     ('chi2', SelectKBest(chi2, k=1000)),
                     ('nb', MultinomialNB())])
classif = SklearnClassifier(pipeline)

from nltk.corpus import movie_reviews
pos = [FreqDist(movie_reviews.words(i)) for i in movie_reviews.fileids('pos')]
neg = [FreqDist(movie_reviews.words(i)) for i in movie_reviews.fileids('neg')]
add_label = lambda lst, lab: [(x, lab) for x in lst]
classif.train(add_label(pos[:100], 'pos') + add_label(neg[:100], 'neg'))

l_pos = np.array(classif.classify_many(pos[100:]))
l_neg = np.array(classif.classify_many(neg[100:]))
print "Confusion matrix:\n%d\t%d\n%d\t%d" % (
          (l_pos == 'pos').sum(), (l_pos == 'neg').sum(),
          (l_neg == 'pos').sum(), (l_neg == 'neg').sum())

这为我打印：

Confusion matrix:
524     376
202     698

不完美，但还不错，考虑到这不是一个超级简单的问题，而且它只在 100/100 上进行训练。