我正在实现一个近邻搜索应用程序，它将找到类似的文档。到目前为止，我已经阅读了大量 LSH 相关材料（LSH 背后的理论有些令人困惑，我还不能 100% 理解它）。
我的代码能够使用 minhash 函数计算签名矩阵（我已接近尾声）。我还在签名矩阵上应用了条带策略。但是，我无法理解如何将带中的（列）签名向量散列到存储桶中。
我的最后一个问题可能是最重要的一个，但我必须问一些introduction问题：
q1：哈希函数将仅映射same向量到同一个桶？ （假设我们有足够的桶）
q2：哈希函数是否应该映射similar向量到同一个桶？如果是，这种相似性的程度/定义是什么，因为我不是在计算比较，而是在进行散列。
q3：根据上面的问题，我应该使用什么样的哈希表算法？
q4：我认为我最弱点是我不知道如何生成一个以向量作为输入并选择一个桶作为输出的哈希函数。我可以根据 q1 和 q2 自己实现一个...有关为 LSH 生成哈希函数的任何建议bucketing?
q1：你不应该对整个向量进行哈希处理，而应该对其中的一部分进行哈希处理。假设您有代表每个项目的长度为 100 的向量，您可以散列 5 个长度为 20 的切片。
q2：这是整个事情背后的主要思想：通过比较事物的各个部分是否相等来衡量相似性。如果将文本中的句子视为向量，则两个句子不太可能完全相同（具有相同的哈希输出）。但是，如果您将它们分成几部分并分别对各个部分进行散列，则相同位置中某些匹配的单个单词的散列将返回相同的散列输出，因此您可以了解句子的相似性。
切片的数量和长度是影响相似性结果准确性的重要参数。太多的切片会产生很多误报，而太少的切片只能识别最高程度的相似性。
您可以在《海量数据集挖掘》一书中找到更多相关信息，该书位于：http://infolab.stanford.edu/~ullman/mmds.html http://infolab.stanford.edu/~ullman/mmds.html
q3：您需要一个数据结构，对于每个切片级别，它可以保留每个向量切片的哈希结果，以及生成它的向量。然后，当想要找到向量 X 的相似邻居时，你可以检查每个切片的数据结构，看看你得到的哈希输出是否也是由另一个向量输出的。
q4：我不确定你的意思。如果对一个对象进行哈希处理，通常会得到一个位字符串、一个整数或一个浮点数作为输出，具体取决于语言。就是那个桶。如果您在不同的对象上使用相同的哈希函数获得相同的输出，则意味着它们在同一个存储桶上进行哈希处理。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
