Hash 算法及其应用

Hash 算法及其应用

---------------
什么是 Hash
Hash 的重要特性
Hash 函数的实现
主要的 Hash 算法
Hash 算法的安全问题
Hash 算法的应用
结 论
---------------


Hash，一般翻译做“散列”，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做
预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这
种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能
会散列成相同的输出，而不可能从散列值来唯一的确定输入值。

数学表述为：h = H(M) ，其中H( )--单向散列函数，M--任意长度明文，h--固定长度散列
值。


在信息安全领域中应用的Hash算法，还需要满足其他关键特性：

第一当然是单向性(one-way)，从预映射，能够简单迅速的得到散列值，而在计算上不可能
构造一个预映射，使其散列结果等于某个特定的散列值，即构造相应的M=H-1(h)不可行。
这样，散列值就能在统计上唯一的表征输入值，因此，密码学上的 Hash 又被称为"消息摘
要(message digest)"，就是要求能方便的将"消息"进行"摘要"，但在"摘要"中无法得到比
"摘要"本身更多的关于"消息"的信息。

第二是抗冲突性(collision-resistant)，即在统计上无法产生2个散列值相同的预映射。
给定M，计算上无法找到M'，满足H(M)=H(M') ，此谓弱抗冲突性；计算上也难以寻找一对
任意的M和M'，使满足H(M)=H(M') ，此谓强抗冲突性。要求"强抗冲突性"主要是为了防范
所谓"生日攻击(birthday attack)"，在一个10人的团体中，你能找到和你生日相同的人的
概率是2.4%，而在同一团体中，有2人生日相同的概率是11.7%。类似的，当预映射的空间
很大的情况下，算法必须有足够的强度来保证不能轻易找到"相同生日"的人。

第三是映射分布均匀性和差分分布均匀性，散列结果中，为 0 的 bit 和为 1 的 bit ，
其总数应该大致相等；输入中一个 bit 的变化，散列结果中将有一半以上的 bit 改变，
这又叫做"雪崩效应(avalanche effect)"；要实现使散列结果中出现 1bit 的变化，则输
入中至少有一半以上的 bit 必须发生变化。其实质是必须使输入中每一个 bit 的信息，
尽量均匀的反映到输出的每一个 bit 上去；输出中的每一个 bit，都是输入中尽可能多
bit 的信息一起作用的结果。


Damgard 和 Merkle 定义了所谓“压缩函数(compression function)”，就是将一个固定
长度输入，变换成较短的固定长度的输出，这对密码学实践上 Hash 函数的设计产生了很
大的影响。Hash函数就是被设计为基于通过特定压缩函数的不断重复“压缩”输入的分组
和前一次压缩处理的结果的过程，直到整个消息都被压缩完毕，最后的输出作为整个消息
的散列值。尽管还缺乏严格的证明，但绝大多数业界的研究者都同意，如果压缩函数是安
全的，那么以上述形式散列任意长度的消息也将是安全的。这就是所谓 Damgard/Merkle
结构：

在下图中，任意长度的消息被分拆成符合压缩函数输入要求的分组，最后一个分组可能需
要在末尾添上特定的填充字节，这些分组将被顺序处理，除了第一个消息分组将与散列初
始化值一起作为压缩函数的输入外，当前分组将和前一个分组的压缩函数输出一起被作为
这一次压缩的输入，而其输出又将被作为下一个分组压缩函数输入的一部分，直到最后一
个压缩函数的输出，将被作为整个消息散列的结果。


MD5 和 SHA1 可以说是目前应用最广泛的Hash算法，而它们都是以 MD4 为基础设计的。


1) MD4
MD4(RFC 1320)是 MIT 的 Ronald L. Rivest 在 1990 年设计的，MD 是 Message Digest
的缩写。它适用在32位字长的处理器上用高速软件实现--它是基于 32 位操作数的位操作
来实现的。它的安全性不像RSA那样基于数学假设，尽管 Den Boer、Bosselaers 和 Dobb
ertin 很快就用分析和差分成功的攻击了它3轮变换中的 2 轮，证明了它并不像期望的那
样安全，但它的整个算法并没有真正被破解过，Rivest 也很快进行了改进。

下面是一些MD4散列结果的例子：

MD4 ("") = 31d6cfe0d16ae931b73c59d7e0c089c0
MD4 ("a") = bde52cb31de33e46245e05fbdbd6fb24
MD4 ("abc") = a448017aaf21d8525fc10ae87aa6729d
MD4 ("message digest") = d9130a8164549fe818874806e1c7014b
MD4 ("abcdefghijklmnopqrstuvwxyz") = d79e1c308aa5bbcdeea8ed63df412da9
MD4 ("ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789") = 043f8
582f241db351ce627e153e7f0e4
MD4 ("123456789012345678901234567890123456789012345678901234567890123456789012
34567890") = e33b4ddc9c38f2199c3e7b164fcc0536


2) MD5
MD5(RFC 1321)是 Rivest 于1991年对MD4的改进版本。它对输入仍以512位分组，其输出是
4个32位字的级联，与 MD4 相同。它较MD4所做的改进是：

1) 加入了第四轮
2) 每一步都有唯一的加法常数；
3) 第二轮中的G函数从((X ∧ Y) ∨ (X ∧ Z) ∨ (Y ∧ Z)) 变为 ((X ∧ Z) ∨ (Y ∧
～Z))以减小其对称性；
4) 每一步都加入了前一步的结果，以加快"雪崩效应"；
5) 改变了第2轮和第3轮中访问输入子分组的顺序，减小了形式的相似程度；
6) 近似优化了每轮的循环左移位移量，以期加快"雪崩效应"，各轮的循环左移都不同。

尽管MD5比MD4来得复杂，并且速度较之要慢一点，但更安全，在抗分析和抗差分方面表现
更好。

消息首先被拆成若干个512位的分组，其中最后512位一个分组是“消息尾+填充字节(100…
0)+64 位消息长度”，以确保对于不同长度的消息，该分组不相同。64位消息长度的限制
导致了MD5安全的输入长度必须小于264bit，因为大于64位的长度信息将被忽略。而4个32
位寄存器字初始化为A=0x01234567，B=0x89abcdef，C=0xfedcba98，D=0x76543210，它们
将始终参与运算并形成最终的散列结果。

接着各个512位消息分组以16个32位字的形式进入算法的主循环，512位消息分组的个数据
决定了循环的次数。主循环有4轮，每轮分别用到了非线性函数

F(X, Y, Z) = (X ∧ Y) ∨ (～X ∧ Z)
G(X, Y, Z) = (X ∧ Z) ∨ (Y ∧ ～Z)
H(X, Y, Z) =X ⊕ Y ⊕ Z
I(X, Y, Z) = X ⊕ (Y ∨ ～Z)
这4轮变换是对进入主循环的512位消息分组的16个32位字分别进行如下操作：将A、B、C、
D的副本a、b、c、d中的3个经F、G、H、I运算后的结果与第4个相加，再加上32位字和一个
32位字的加法常数，并将所得之值循环左移若干位，最后将所得结果加上a、b、c、d之一
，并回送至ABCD，由此完成一次循环。

所用的加法常数由这样一张表T[i]来定义，其中i为1…64，T[i]是i的正弦绝对值之42949
67296次方的整数部分，这样做是为了通过正弦函数和幂函数来进一步消除变换中的线性性
。

当所有512位分组都运算完毕后，ABCD的级联将被输出为MD5散列的结果。下面是一些MD5散
列结果的例子：

MD5 ("") = d41d8cd98f00b204e9800998ecf8427e
MD5 ("a") = 0cc175b9c0f1b6a831c399e269772661
MD5 ("abc") = 900150983cd24fb0d6963f7d28e17f72
MD5 ("message digest") = f96b697d7cb7938d525a2f31aaf161d0
MD5 ("abcdefghijklmnopqrstuvwxyz") = c3fcd3d76192e4007dfb496cca67e13b
MD5 ("ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789") = d174a
b98d277d9f5a5611c2c9f419d9f
MD5 ("123456789012345678901234567890123456789012345678901234567890123456789012
34567890") = 57edf4a22be3c955ac49da2e2107b67a
参考相应RFC文档可以得到MD4、MD5算法的详细描述和算法的C源代码。