在Python脚本中检测相似文档的算法[关闭]

我需要编写一个模块来检测类似文档。我读过很多关于文档指纹技术等的论文，但我不知道如何编写代码或实现这样的解决方案。该算法应该适用于中文、日语、英语和德语，或者与语言无关。我怎样才能做到这一点？

贝叶斯过滤器正是有这个目的。这是您在大多数识别垃圾邮件的工具中都能找到的技术。

例如，检测一种语言（来自http://sebsauvage.net/python/snyppets/#bayesian) :

from reverend.thomas import Bayes
guesser = Bayes()
guesser.train('french','La souris est rentrée dans son trou.')
guesser.train('english','my tailor is rich.')
guesser.train('french','Je ne sais pas si je viendrai demain.')
guesser.train('english','I do not plan to update my website soon.')

>>> print guesser.guess('Jumping out of cliffs it not a good idea.')
[('english', 0.99990000000000001), ('french', 9.9999999999988987e-005)]

>>> print guesser.guess('Demain il fera très probablement chaud.')
[('french', 0.99990000000000001), ('english', 9.9999999999988987e-005)]

但它可以检测您要训练的任何类型：技术文本、歌曲、笑话等。只要您可以提供足够的材料，让工具了解您的文档是什么样子的。