向量空间模型计算文档集合相似性。[0]
将原始输入的词转换为ID，词的id表示法简单易用，但是无法预测未登记词，难以挖掘词关系；词汇鸿沟[1]:任意两个词之间是独立的，无法通过词的ID来判断词语之间的关系，无法通过词的id判断词语之间的关系[2]
使用gensim包的models,corpora,similarities，对文档进行相似度计算，结果比较其他lda、doc2vec方法稳定。
主要步骤：
- 1.建立语料库，os.walk方法遍历文件夹中的文件
- 2.使用分词工具(jieba)进行分词、停用词过滤
- 3.使用corpora.Dictionary()生成字典，该方法把所有单词取一个set，并对set中每一个单词分配一个id号的map
- 4.dictionary.doc2bow()方法把文档用稀疏向量表示。
- 5.similarities.Similarity()方法计算相似度
- 6.构造训练数据和测试数据
- 7.similarity[test_corpus]返回相似度最高的similarity.num_best 个文档。
具体参考示例：https://github.com/iamxiaomu/docsim
借鉴
http://blog.itpub.net/16582684/viewspace-1253901/
http://blog.csdn.net/vs412237401/article/details/52238248
http://blog.csdn.net/u014595019/article/details/52218249?locationNum=1
文献：
[0]基于向量空间模型的中文文本相似度算法研究
[1]word representations: a simple and general method for semi-supervised learning.
[2]基于词向量模型特征空间优化同义词扩展研究和应用
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
