为什么 FastText 不处理查找多词短语？

FastText 预训练模型非常适合查找相似单词：

from pyfasttext import FastText
model = FastText('cc.en.300.bin')
model.nearest_neighbors('dog', k=2000)

[('dogs', 0.8463464975357056),
 ('puppy', 0.7873005270957947),
 ('pup', 0.7692237496376038),
 ('canine', 0.7435278296470642),
 ...

然而，它似乎不适用于多词短语，例如：

model.nearest_neighbors('Gone with the Wind', k=2000)

[('DEky4M0BSpUOTPnSpkuL5I0GTSnRI4jMepcaFAoxIoFnX5kmJQk1aYvr2odGBAAIfkECQoABAAsCQAAABAAEgAACGcAARAYSLCgQQEABBokkFAhAQEQHQ4EMKCiQogRCVKsOOAiRocbLQ7EmJEhR4cfEWoUOTFhRIUNE44kGZOjSIQfG9rsyDCnzp0AaMYMyfNjS6JFZWpEKlDiUqALJ0KNatKmU4NDBwYEACH5BAUKAAQALAkAAAAQABIAAAhpAAEQGEiQIICDBAUgLEgAwICHAgkImBhxoMOHAyJOpGgQY8aBGxV2hJgwZMWLFTcCUIjwoEuLBym69PgxJMuDNAUqVDkz50qZLi',
  0.71047443151474),

or

model.nearest_neighbors('Star Wars', k=2000)
[('clockHauser', 0.5432934761047363),
 ('CrônicasEsdrasNeemiasEsterJóSalmosProvérbiosEclesiastesCânticosIsaíasJeremiasLamentaçõesEzequielDanielOséiasJoelAmósObadiasJonasMiquéiasNaumHabacuqueSofoniasAgeuZacariasMalaquiasNovo',
  0.5197194218635559),

这是 FastText 预训练模型的限制吗？

我不知道 FastText 有任何处理多词短语的特殊能力。

因此，我希望您的查询被解释为模型中不存在的一个长单词，其中包含许多字符 n 元语法，其中包括' '空格字符。

而且，由于我预计训练数据不会有任何此类带空格的 n 元语法，因此所有此类 n 元语法向量都将在模型的 n 元语法桶中任意随机碰撞。因此，任何此类“单词”的合成词汇表外向量可能比通常的 OOV 向量更加嘈杂。

而且：pyfasttext包装器是 FastText 的一个废弃的非官方接口，已经有 2 年多没有更新了，并且在其 PyPI 页面上有一条消息：

警告！ pyfasttext 不再维护：使用 fastText 存储库中的官方 Python 绑定：https://github.com/facebookresearch/fastText/tree/master/python https://github.com/facebookresearch/fastText/tree/master/python

使用它您可能会发现更好的结果。见其doc/examples文件夹中的示例代码，了解如何查询最近邻居的示例，并考虑其get_sentence_vector()作为一种将字符串拆分为单词的方法，然后对单词的向量进行平均，而不是仅仅将字符串视为一个长的 OOV 单词。