法语文本上的 NLTK word_tokenize 无法正常工作

我正在尝试使用 NLTKword_tokenize中的一段文字French通过使用 ：

txt = ["Le télétravail n'aura pas d'effet sur ma vie"]
print(word_tokenize(txt,language='french'))

它应该打印：

['Le', 'télétravail', 'n'','aura', 'pas', 'd'','effet', 'sur', 'ma', 'vie','.']

但我得到：

['Le', 'télétravail', "n'aura", 'pas', "d'effet", 'sur', 'ma', 'vie','.']

有谁知道为什么法语中没有正确分割令牌，以及在用法语进行 NLP 时如何克服这个问题（以及其他潜在问题）？

看看源头word_tokenize揭示了，languageargument 仅用于确定如何将输入拆分为句子。 对于单词级别的标记化，a（稍作修改）TreebankWordTokenizer使用哪个最适合english输入和收缩，例如don't. From nltk/tokenize/__init__.py:

_treebank_word_tokenizer = TreebankWordTokenizer()
# ... some modifications done
def word_tokenize(text, language='english', preserve_line=False):
    # ...
    sentences = [text] if preserve_line else sent_tokenize(text, language)
    return [token for sent in sentences
            for token in _treebank_word_tokenizer.tokenize(sent)]

为了获得所需的输出，您可能需要考虑使用不同的分词器，例如RegexpTokenizer如下：

txt = "Le télétravail n'aura pas d'effet sur ma vie"
pattern = r"[dnl]['´`]|\w+|\$[\d\.]+|\S+"
tokenizer = RegexpTokenizer(pattern)
tokenizer.tokenize(txt)
# ['Le', 'télétravail', "n'", 'aura', 'pas', "d'", 'effet', 'sur', 'ma', 'vie']

我的法语知识有限，这只能解决上述问题。对于其他情况，您将必须调整该模式。 您还可以查看TreebankWordTokenizer寻求更复杂的解决方案的想法。 另请记住，如果有必要，您将需要事先拆分句子。