各种Hash函数冲突率分析
来源：互联网 发布：淘宝不知道3c 编辑：程序博客网 时间：2024/06/07 13:36
字符串Hash函数对比
今天根据自己的理解重新整理了一下几个字符串hash函数，使用了模板，使其支持宽字符串，代码如下:
/// @brief BKDR Hash Function/// @detail 本算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得名，是一种简单快捷的hash算法，也是Java目前采用的字符串的Hash算法（累乘因子为31）。template<class T>size_t BKDRHash(const T *str){register size_t hash = 0;while (size_t ch = (size_t)*str++){hash = hash * 131 + ch; // 也可以乘以31、131、1313、13131、131313..// 有人说将乘法分解为位运算及加减法可以提高效率，如将上式表达为：hash = hash << 7 + hash << 1 + hash + ch;// 但其实在Intel平台上，CPU内部对二者的处理效率都是差不多的，// 我分别进行了100亿次的上述两种运算，发现二者时间差距基本为0（如果是Debug版，分解成位运算后的耗时还要高1/3）；// 在ARM这类RISC系统上没有测试过，由于ARM内部使用Booth's Algorithm来模拟32位整数乘法运算，它的效率与乘数有关：// 当乘数8-31位都为1或0时，需要1个时钟周期// 当乘数16-31位都为1或0时，需要2个时钟周期// 当乘数24-31位都为1或0时，需要3个时钟周期// 否则，需要4个时钟周期// 因此，虽然我没有实际测试，但是我依然认为二者效率上差别不大}return hash;}/// @brief SDBM Hash Function/// @detail 本算法是由于在开源项目SDBM（一种简单的数据库引擎）中被应用而得名，它与BKDRHash思想一致，只是种子不同而已。template<class T>size_t SDBMHash(const T *str){register size_t hash = 0;while (size_t ch = (size_t)*str++){hash = 65599 * hash + ch;//hash = (size_t)ch + (hash << 6) + (hash << 16) - hash;}return hash;}/// @brief RS Hash Function/// @detail 因Robert Sedgwicks在其《Algorithms in C》一书中展示而得名。template<class T>size_t RSHash(const T *str){register size_t hash = 0;size_t magic = 63689;while (size_t ch = (size_t)*str++){hash = hash * magic + ch;magic *= 378551;}return hash;}/// @brief AP Hash Function/// @detail 由Arash Partow发明的一种hash算法。template<class T>size_t APHash(const T *str){register size_t hash = 0;size_t ch;for (long i = 0; ch = (size_t)*str++; i++){if ((i & 1) == 0){hash ^= ((hash << 7) ^ ch ^ (hash >> 3));}else{hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));}}return hash;}/// @brief JS Hash Function/// 由Justin Sobel发明的一种hash算法。template<class T>size_t JSHash(const T *str){if(!*str) // 这是由本人添加，以保证空字符串返回哈希值0return 0;register size_t hash = 1315423911;while (size_t ch = (size_t)*str++){hash ^= ((hash << 5) + ch + (hash >> 2));}return hash;}/// @brief DEK Function/// @detail 本算法是由于Donald E. Knuth在《Art Of Computer Programming Volume 3》中展示而得名。template<class T>size_t DEKHash(const T* str){if(!*str) // 这是由本人添加，以保证空字符串返回哈希值0return 0;register size_t hash = 1315423911;while (size_t ch = (size_t)*str++){hash = ((hash << 5) ^ (hash >> 27)) ^ ch;}return hash;}/// @brief FNV Hash Function/// @detail Unix system系统中使用的一种著名hash算法，后来微软也在其hash_map中实现。template<class T>size_t FNVHash(const T* str){if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0return 0;register size_t hash = 2166136261;while (size_t ch = (size_t)*str++){hash *= 16777619;hash ^= ch;}return hash;}/// @brief DJB Hash Function/// @detail 由Daniel J. Bernstein教授发明的一种hash算法。template<class T>size_t DJBHash(const T *str){if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0return 0;register size_t hash = 5381;while (size_t ch = (size_t)*str++){hash += (hash << 5) + ch;}return hash;}/// @brief DJB Hash Function 2/// @detail 由Daniel J. Bernstein 发明的另一种hash算法。template<class T>size_t DJB2Hash(const T *str){if(!*str)// 这是由本人添加，以保证空字符串返回哈希值0return 0;register size_t hash = 5381;while (size_t ch = (size_t)*str++){hash = hash * 33 ^ ch;}return hash;}/// @brief PJW Hash Function/// @detail 本算法是基于AT&T贝尔实验室的Peter J. Weinberger的论文而发明的一种hash算法。template<class T>size_t PJWHash(const T *str){static const size_t TotalBits= sizeof(size_t) * 8;static const size_t ThreeQuarters= (TotalBits * 3) / 4;static const size_t OneEighth= TotalBits / 8;static const size_t HighBits= ((size_t)-1) << (TotalBits - OneEighth);register size_t hash = 0;size_t magic = 0;while (size_t ch = (size_t)*str++){hash = (hash << OneEighth) + ch;if ((magic = hash & HighBits) != 0){hash = ((hash ^ (magic >> ThreeQuarters)) & (~HighBits));}}return hash;}/// @brief ELF Hash Function/// @detail 由于在Unix的Extended Library Function被附带而得名的一种hash算法，它其实就是PJW Hash的变形。template<class T>size_t ELFHash(const T *str){static const size_t TotalBits= sizeof(size_t) * 8;static const size_t ThreeQuarters= (TotalBits * 3) / 4;static const size_t OneEighth= TotalBits / 8;static const size_t HighBits= ((size_t)-1) << (TotalBits - OneEighth);register size_t hash = 0;size_t magic = 0;while (size_t ch = (size_t)*str++){hash = (hash << OneEighth) + ch;if ((magic = hash & HighBits) != 0){hash ^= (magic >> ThreeQuarters);hash &= ~magic;}}return hash;}我对这些hash的散列质量及效率作了一个简单测试，测试结果如下：
测试1：对100000个由大小写字母与数字随机的ANSI字符串（无重复，每个字符串最大长度不超过64字符）进行散列：
字符串函数冲突数除1000003取余后的冲突数BKDRHash
04826SDBMHash
24814RSHash
24886APHash
04846ELFHash
15156120JSHash
7795587DEKHash
8635643FNVHash
24872DJBHash
8325645DJB2Hash
6955309PJWHash
15156120
测试2：对100000个由任意UNICODE组成随机字符串（无重复，每个字符串最大长度不超过64字符）进行散列：
字符串函数冲突数除1000003取余后的冲突数BKDRHash
34710SDBMHash
34904RSHash
34822APHash
24891ELFHash
164869JSHash
34812DEKHash
14755FNVHash
14803DJBHash
14749DJB2Hash
24817PJWHash
164869
测试3：对1000000个随机ANSI字符串（无重复，每个字符串最大长度不超过64字符）进行散列：
字符串函数耗时（毫秒）BKDRHash
109SDBMHash
109RSHash
124APHash
187ELFHash
249JSHash
172DEKHash
140FNVHash
125DJBHash
125DJB2Hash
125PJWHash
234
结论：也许是我的样本存在一些特殊性，在对ASCII码字符串进行散列时，PJW与ELF Hash（它们其实是同一种算法）无论是质量还是效率，都相当糟糕；例如："b5"与“aE"，这两个字符串按照PJW散列出来的hash值就是一样的。 另外，其它几种依靠异或来散列的哈希函数，如：JS/DEK/DJB Hash，在对字母与数字组成的字符串的散列效果也不怎么好。相对而言，还是BKDR与SDBM这类简单的Hash效率与效果更好。
其他：
作者：icefireelf
常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生 影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。
常用字符串哈希函数有 BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈 希函数，我对其进行了一个小小的评测。
其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句子哈希冲突个数。数据3为数据1的哈希值与 1000003(大素数)求模后存储到线性表中冲突的个数。数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。
经过比较，得出以上平均得分。平均数为平方平均数。可以发现，BKDRHash无论是在实际效果还是编码实现中，效果都是最突出的。APHash也 是较为优秀的算法。DJBHash,JSHash,RSHash与SDBMHash各有千秋。PJWHash与ELFHash效果最差，但得分相似，其算 法本质是相似的
unsigned int SDBMHash(char *str){ unsigned int hash = 0; while (*str) { // equivalent to: hash = 65599*hash + (*str++); hash = (*str++) + (hash << 6) + (hash << 16) - hash; } return (hash & 0x7FFFFFFF);} // RS Hash Functionunsigned int RSHash(char *str){ unsigned int b = 378551; unsigned int a = 63689; unsigned int hash = 0; while (*str) { hash = hash * a + (*str++); a *= b; } return (hash & 0x7FFFFFFF);} // JS Hash Functionunsigned int JSHash(char *str){ unsigned int hash = 1315423911; while (*str) { hash ^= ((hash << 5) + (*str++) + (hash >> 2)); } return (hash & 0x7FFFFFFF);} // P. J. Weinberger Hash Functionunsigned int PJWHash(char *str){ unsigned int BitsInUnignedInt = (unsigned int)(sizeof(unsigned int) * 8); unsigned int ThreeQuarters = (unsigned int)((BitsInUnignedInt * 3) / 4); unsigned int OneEighth = (unsigned int)(BitsInUnignedInt / 8); unsigned int HighBits = (unsigned int)(0xFFFFFFFF) << (BitsInUnignedInt - OneEighth); unsigned int hash = 0; unsigned int test = 0; while (*str) { hash = (hash << OneEighth) + (*str++); if ((test = hash & HighBits) != 0) { hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits)); } } return (hash & 0x7FFFFFFF);} // ELF Hash Functionunsigned int ELFHash(char *str){ unsigned int hash = 0; unsigned int x = 0; while (*str) { hash = (hash << 4) + (*str++); if ((x = hash & 0xF0000000L) != 0) { hash ^= (x >> 24); hash &= ~x; } } return (hash & 0x7FFFFFFF);} // BKDR Hash Functionunsigned int BKDRHash(char *str){ unsigned int seed = 131; // 31 131 1313 13131 131313 etc.. unsigned int hash = 0; while (*str) { hash = hash * seed + (*str++); } return (hash & 0x7FFFFFFF);} // DJB Hash Functionunsigned int DJBHash(char *str){ unsigned int hash = 5381; while (*str) { hash += (hash << 5) + (*str++); } return (hash & 0x7FFFFFFF);} // AP Hash Functionunsigned int APHash(char *str){ unsigned int hash = 0; int i; for (i=0; *str; i++) { if ((i & 1) == 0) { hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3)); } else { hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5))); } } return (hash & 0x7FFFFFFF);}- 各种Hash函数冲突率分析
- 各种Hash函数冲突率分析
- 各种字符串Hash函数
- 各种字符串HASH函数
- 各种hash函数
- 各种字符串Hash函数
- 各种字符串Hash函数
- 各种字符串hash函数
- 各种字符串Hash函数
- 各种字符串Hash函数
- 各种字符串Hash函数
- 各种字符串Hash函数
- 各种hash 函数
- 各种hash函数
- 各种字符串Hash函数
- 各种字符串Hash函数
- 各种hash 函数实现
- Hash算法冲突解决方法分析
- Visual Studio 2010——C#中的命名空间
- 条件变量实现信号量机制
- linux设备驱动归纳总结（七）：2.内核定时器
- unity 在指定目录创建文件/读取文件/在文件内写入字符串
- VC\MFC 编程经验总结—3（转）
- 各种Hash函数冲突率分析
- 蓝牙设备开发的三种方式
- vs2005 vc++ 后缀文件解释
- C#中out和ref之间的区别
- VC中CList用法 (转)
- 数据内存存储（常量，局部变量，全局变量，程序代码）
- IaaS PaaS和SaaS公司都做些什么
- fatal error C1083: 无法打开包括文件:“atlapp.h”解决方法
- JS继承的实现
