我正在训练一个用于文本分类的 python (2.7.11) 分类器,在运行时我收到一条已弃用的警告消息,表明我不知道代码中的哪一行导致了它!错误/警告。但是,代码运行良好并给了我结果......
\AppData\Local\Enthought\Canopy\User\lib\site-packages\sklearn\utils\validation.py:386:DeprecationWarning:在 0.17 中不推荐将 1d 数组作为数据传递,并将在 0.19 中引发 ValueError。如果数据具有单个特征,则使用 X.reshape(-1, 1) 重塑数据;如果数据包含单个样本,则使用 X.reshape(1, -1) 重塑数据。
My code:
def main():
data = []
folds = 10
ex = [ [] for x in range(0,10)]
results = []
for i,f in enumerate(sys.argv[1:]):
data.append(csv.DictReader(open(f,'r'),delimiter='\t'))
for f in data:
for i,datum in enumerate(f):
ex[i % folds].append(datum)
#print ex
for held_out in range(0,folds):
l = []
cor = []
l_test = []
cor_test = []
vec = []
vec_test = []
for i,fold in enumerate(ex):
for line in fold:
if i == held_out:
l_test.append(line['label'].rstrip("\n"))
cor_test.append(line['text'].rstrip("\n"))
else:
l.append(line['label'].rstrip("\n"))
cor.append(line['text'].rstrip("\n"))
vectorizer = CountVectorizer(ngram_range=(1,1),min_df=1)
X = vectorizer.fit_transform(cor)
for c in cor:
tmp = vectorizer.transform([c]).toarray()
vec.append(tmp[0])
for c in cor_test:
tmp = vectorizer.transform([c]).toarray()
vec_test.append(tmp[0])
clf = MultinomialNB()
clf .fit(vec,l)
result = accuracy(l_test,vec_test,clf)
print result
if __name__ == "__main__":
main()
知道哪一行发出此警告吗?
另一个问题是,使用不同的数据集运行此代码可以提供相同的精确度,但我无法弄清楚是什么原因导致的?
如果我想在另一个 python 进程中使用这个模型,我查看了文档,找到了一个使用 pickle 库的示例,但不适用于 joblib。因此,我尝试遵循相同的代码,但这给了我错误:
clf = joblib.load('model.pkl')
pred = clf.predict(vec);
另外,如果我的数据是具有以下格式的 CSV 文件:“label \t text \n”
测试数据中的标签列应该包含什么?
提前致谢