tf-idf 向量化器在 char_wb 的特征词中有空格？

I use

singleTFIDF = TfidfVectorizer(
    analyzer='char_wb', 
    ngram_range=(4,6),
    stop_words=my_stop_words, 
    max_features=50
).fit([text])

并想知道为什么我的特征中有空格，例如“chaft”

我怎样才能避免这种情况？我需要自己对其进行标记化和预处理吗？

Use analyzer='word'.

当我们使用analyzer='char_wb'，矢量化器填充空白因为它不会对单词进行标记；它针对字符进行标记。

根据文档 https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html为了analyzer争论：

analyzer{‘word’, ‘char’, ‘char_wb’} or callable, default=’word’

该特征是否应由单词或字符 n-gram 组成。选项“char_wb”创建字符 n 元语法仅从文本在单词边界内; n 元语法在单词的边缘用空格填充.

看下面的例子：

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?',
]
vectorizer = TfidfVectorizer(
  analyzer='char_wb', 
  ngram_range= (4,6))
X = vectorizer.fit_transform(corpus)
print([(len(w),w) for w in vectorizer.get_feature_names()])

[(4, '和'), (5, '和'), (4, '文档'), (5, '文档'), (6, '文档'), (4, '杉'), (5, '杉'), (6, '第一'), (4, '是'), (4, '一'), (5, '一.'), (6, '一.'), (4, '秒'), (5, '秒'), (6, '秒'), (4, '该'), (5, '该'), (4, '这'), (5, '第三'), (6, '第三'), (5, '这个'), (6, '这个'), (4, '和'), (4, '条件'), (5, '条件'), (4, 'cume'), (5, 'cumen'), (6, 'cument'), (4, 'docu'), (5, 'docum'), (6, '文档'), (4, '经济'), (5, '第二'), (6, '第二'), (4, 'ent '), (4, 'ent.'), (5, 'ent.'), (4, 'ent?'), (5, 'ent?'), (4, '第一'), (5, '第一'), (6, '第一'), (4, '第三'), (5, '第三'), (4, '他的'), (4, 'ird'), (4, '第一'), (5, '第一'), (4, 'ment'), (5, 'ment'), (5, 'ment。'），（6，'ment。'），（5，'ment？'），（6，'ment？'），（4，'ne。'），（4， 'nt。 '), (4, 'nt? '), (4, '奥库姆'), (5, '奥库姆'), (6, '奥库门'), (4, '第一个'), (4, '一'), (5, '一'), (4, '第一'), (4, '第二'), (5, '第二'), (6, '第二'), (4, '第三'), (4, '第三'), (5, '第三'), (6, '第三'), (4, '这个'), (5, '这个'), (4, 'umen'), (5, 'ument'), (6, 'ument'), (6, 'ument.'), (6, 'ument?')]

Notice:

• 输出/特征include ' this'（在开头填充了原文中没有的额外空格；句子以'This')
• 输出/特征include 'ment. '（在末尾添加了原文中没有的额外空格；句子以'document.')
• 输出/特征do not包括'is the'，因为该 n 元语法跨越了单词边界，但是'char_wb'分析器仅创建 n 元语法“在单词边界内"