simHash，用来网页去重最常用的hash方法，速度很快.
于 2022-11-14 发布
文件大小:2.93 kB
0 152
下载积分: 2
下载次数: 2
代码说明：
Simhash 传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦，其主要思想是根据一个文章中出现词的词频构成一个向量，然后计算两篇文章对应向量的向量夹角。但由于有可能一个文章的特征向量词特别多导致整个向量维度很高，使得计算的代价太大，对于Google这种处理万亿级别的网页的搜索引擎而言是不可接受的，simhash算法的主要思想是降维，将高维的特征向量映射成一个f-bit的指纹(fingerprint)，通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。 simhash算法很精巧，但却十分容易理解和实现，具体的simhash过程如下： 请点击左侧文件开始预览 ！预览只提供20%的代码片段，完整代码需下载后查看 加载中 侵权举报
下载说明：请别用迅雷下载，失败请重下，重下不扣分！
发表评论
