python 中的hash

Hash 直观的来讲就是函数，在数学里的函数是一个空间到另外一个空间的转换，而hash也是一种函数，一种将任意的输入映射成固定长度的输出，是一种压缩映射。这样很容易想到，假如你把任意的输入映射到4位固定长度的输出上，这个函数空间只能容纳16个不同的数值，所以无论固定长度是64位还是128位亦或者更多总会出现这种所谓的“碰撞”（不同的输入导致散列成相同的输出，所以不可能从散列值来唯一的确定输入值），hash 算法很多但基本的思想都相似，然而simhash我忍为却是其中比较特殊的一类，simhash期初是用来网页去重，速度很快。我接触simhash 是在遇到短文本的时候翻看论文看到的（《基于特征迭代的短文本去重算法》），这篇文章是simhash的思想：在原始空间相近的2个点，经过了相同的变换和映射后，在变换空间里，这2个点仍然是相近的，利用这个思想，距离相近的文本可以通过变换到“指纹空间”上仍然是相近。并利用SNN聚类算法（改进）对所有的指纹进行聚类（SNN基本思想：指纹的周围指纹可以用共享近邻来量化，如果2个指纹具有大部分的相同的最近邻指纹，则两个指纹是在同一簇里。）文章中考虑到短文本相近互为近邻，摒弃了传统的SNN中需要设置K值，所以使用相近短文本数来代替最近邻K的个数，避免了设定最近邻K值（人为的设定K的最有很大的局限性和随意性，具体可参考K—means）。定义了最近邻居：设定距离阈值为min_distance ,如果两个短文的Simhash 指纹之间的海明距离小于min_distance ,则认为是相近的，并定义了指纹相似度与密度。simHash在短文处理优势在于可以结合空间向量模型和聚类算法的，每一次的处理就会提高整体方法的精度。利用TFIDF或者其他的算法，给予词向量权重，经过simHash 形成指纹，计算指纹距离，利用共享近邻算法进行聚类或者去重等等！！

simhash

import re from simhash import Simhashdef get_features(s):    withd=4    s=s.lower()    s=re.sub(r'[^\w]+','',s)    return [s[i:i+withd] for i in range(max(len(s)-withd+1,1))]Simhash(get_features("how are you ? I am fine,Thanks")).valueSimhash("aa").distance(Simhash("bb"))

31

Simhash("aa").distance(Simhash("aa"))

0

dad=Simhash("I love you,dad")

mom=Simhash("I love you,mom")mom.value

15601311244373921150L

Simhash("12").value

12260945298305541904L

hi=Simhash("Hi mom,I love you")

hi.distance(mom)

17

python-hashes

from hashes.simhash import simhash

hash1 = simhash('This is a test string one.')print hash1

10203485745788768176630988232

hash2 = simhash('This is a test string TWO.')print hash2

10749932022170787621889701832

hash1.similarity(hash2)

0.875

布隆过滤器

from hashes.bloom import bloomfilterhash3=bloomfilter("test")

hash3.hashbits,hash3.num_hashes

(28756, 7)

hash3.add("test string")

"test string" in hash3

True

"weiyudang"  in hash3

False

hash4 = simhash('this is yet another test', hashbits=8)hash5 = bloomfilter(capacity=1000000, false_positive_rate=0.0001)

hashlib

import hashlibm=hashlib.md5()m.update('Nobody insepects')

m.digest(),m.digest_size,m.block_size,m.name,m.hexdigest()

('\xf5n\x8e\xaaMc\x05m\xcf\x9b\x1bKR\x14\xf8\xf9', 16L, 64L, 'md5', 'f56e8eaa4d63056dcf9b1b4b5214f8f9')

hashlib.algorithms

('md5', 'sha1', 'sha224', 'sha256', 'sha384', 'sha512')

hashlib.algorithms_available

{'DSA', 'DSA-SHA', 'MD4', 'MD5', 'RIPEMD160', 'SHA', 'SHA1', 'SHA224', 'SHA256', 'SHA384', 'SHA512', 'dsaEncryption', 'dsaWithSHA', 'ecdsa-with-SHA1', 'md4', 'md5', 'ripemd160', 'sha', 'sha1', 'sha224', 'sha256', 'sha384', 'sha512', 'whirlpool'}

print hashlib.md5('liminghao')

<md5 HASH object @ 0000000003717B70>

import itertoolsfrom pandas import  DataFramestr_list=["你是谁 ","我是谁","草拟吗","谁是谁的谁"]str_list=[line.decode('utf-8') for line in str_list]Sims=map(Simhash,str_list)A=[]for x,y in itertools.product(Sims,Sims):    A.append(x.distance(y))A

[0, 35, 30, 40, 35, 0, 29, 31, 30, 29, 0, 36, 40, 31, 36, 0]