机器学习中的相似性度量

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。

　　本文的目的就是对常用的相似性度量作一个总结。

　　本文目录：

　　1. 欧氏距离

　　2. 曼哈顿距离

　　3. 切比雪夫距离

　　4. 闵可夫斯基距离

　　5. 标准化欧氏距离

　　6. 马氏距离

　　7. 夹角余弦

　　8. 汉明距离

　　9. 杰卡德距离 & 杰卡德相似系数

　　10. 相关系数 & 相关距离

　　11. 信息熵

1. 欧氏距离(Euclidean Distance)

       欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。

　　(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：

　　(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：

　　(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：

　　也可以用表示成向量运算的形式：

　　(4)Matlab计算欧氏距离

　　Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离

　　X = [0 0 ; 1 0 ; 0 2]

　　D = pdist(X,'euclidean')

　　结果：

　　D =1.0000    2.0000    2.2361

2. 曼哈顿距离(Manhattan Distance)

       从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源， 曼哈顿距离也称为城市街区距离(City Block distance)。

　　(1)二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离

　　(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼哈顿距离

　　(3) Matlab计算曼哈顿距离

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离

　　X = [0 0 ; 1 0 ; 0 2]

　　D = pdist(X, 'cityblock')

　　结果：

　　D = 1     2     3

3. 切比雪夫距离 ( Chebyshev Distance )

       国际象棋玩过么？国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max( | x2-x1 | , | y2-y1 | ) 步 。有一种类似的一种距离度量方法叫切比雪夫距离。

　　(1)二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离

　　(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的切比雪夫距离

　　这个公式的另一种等价形式是

       看不出两个公式是等价的？提示一下：试试用放缩法和夹逼法则来证明。

　　(3)Matlab计算切比雪夫距离

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的切比雪夫距离

　　X = [0 0 ; 1 0 ; 0 2]

　　D = pdist(X, 'chebychev')

　　结果：

　　D = 1     2     2

4. 闵可夫斯基距离(Minkowski Distance)

　　闵氏距离不是一种距离，而是一组距离的定义。

　　(1) 闵氏距离的定义

       两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

　　其中p是一个变参数。

　　当p=1时，就是曼哈顿距离

　　当p=2时，就是欧氏距离

　　当p→∞时，就是切比雪夫距离

       根据变参数的不同，闵氏距离可以表示一类的距离。

　　(2)闵氏距离的缺点

　　闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。

　　举个例子：二维样本(身高,体重)，其中身高范围是150~190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。

　　简单说来，闵氏距离的缺点主要有两个：(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。(2)没有考虑各个分量的分布（期望，方差等)可能是不同的。

　　(3)Matlab计算闵氏距离

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的闵氏距离（以变参数为2的欧氏距离为例）

　　X = [0 0 ; 1 0 ; 0 2]

　　D = pdist(X,'minkowski',2)

　　结果：

　　D = 1.0000    2.0000    2.2361

5. 标准化欧氏距离 (Standardized Euclidean distance )

　　(1)标准欧氏距离的定义

　　标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：

　　而且标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是：

　　标准化后的值 =  ( 标准化前的值  － 分量的均值 ) /分量的标准差

　　经过简单的推导就可以得到两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的标准化欧氏距离的公式：

　　如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。

　　(2)Matlab计算标准化欧氏距离

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的标准化欧氏距离 (假设两个分量的标准差分别为0.5和1)

　　X = [0 0 ; 1 0 ; 0 2]

　　D = pdist(X, 'seuclidean',[0.5,1])

　　结果：

　　D = 2.0000    2.0000    2.8284

 

 

6. 马氏距离(Mahalanobis Distance)

　　(1)马氏距离定义

       有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为：

       而其中向量Xi与Xj之间的马氏距离定义为：

       若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了：

　　也就是欧氏距离了。

　　若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。

　　(2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。

　　(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离

　　X = [1 2; 1 3; 2 2; 3 1]

　　Y = pdist(X,'mahalanobis')

　　结果：

　　Y = 2.3452    2.0000    2.3452    1.2247    2.4495    1.2247

7. 夹角余弦(Cosine)

　　有没有搞错，又不是学几何，怎么扯到夹角余弦了？各位看官稍安勿躁。几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。

　　(1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：

　　(2) 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦

　　类似的，对于两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)，可以使用类似于夹角余弦的概念来衡量它们间的相似程度。

　　即：

　　夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。

　　夹角余弦的具体应用可以参阅参考文献[1]。

　　(3)Matlab计算夹角余弦

　　例子：计算(1,0)、( 1,1.732)、( -1,0)两两间的夹角余弦

　　X = [1 0 ; 1 1.732 ; -1 0]

　　D = 1- pdist(X, 'cosine')  % Matlab中的pdist(X, 'cosine')得到的是1减夹角余弦的值

　　结果：

　　D = 0.5000   -1.0000   -0.5000

8. 汉明距离(Hamming Distance)

　　(1)汉明距离的定义

　　两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。

　　应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离尽可能大）。

　　(2)Matlab计算汉明距离

　　Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比。

　　例子：计算向量(0,0)、(1,0)、(0,2)两两间的汉明距离

　　X = [0 0 ; 1 0 ; 0 2];

　　D = PDIST(X, 'hamming')

　　结果：

　　D = 0.5000    0.5000    1.0000

9. 杰卡德相似系数(Jaccard similarity coefficient)

　　(1) 杰卡德相似系数

　　两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。

　　杰卡德相似系数是衡量两个集合的相似度一种指标。

　　(2) 杰卡德距离

　　与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。杰卡德距离可用如下公式表示：

　　杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

　　(3) 杰卡德相似系数与杰卡德距离的应用

　　可将杰卡德相似系数用在衡量样本的相似度上。

　　样本A与样本B是两个n维向量，而且所有维度的取值都是0或1。例如：A(0111)和B(1011)。我们将样本看成是一个集合，1表示集合包含该元素，0表示集合不包含该元素。

　　p ：样本A与B都是1的维度的个数

　　q ：样本A是1，样本B是0的维度的个数

　　r ：样本A是0，样本B是1的维度的个数

　　s ：样本A与B都是0的维度的个数

　　那么样本A与B的杰卡德相似系数可以表示为：

　　这里p+q+r可理解为A与B的并集的元素个数，而p是A与B的交集的元素个数。

而样本A与B的杰卡德距离表示为：

　　(4)Matlab 计算杰卡德距离

　　Matlab的pdist函数定义的杰卡德距离跟我这里的定义有一些差别，Matlab中将其定义为不同的维度的个数占“非全零维度”的比例。

　　例子：计算(1,1,0)、(1,-1,0)、(-1,1,0)两两之间的杰卡德距离

　　X = [1 1 0; 1 -1 0; -1 1 0]

　　D = pdist( X , 'jaccard')

　　结果

　　D = 0.5000    0.5000    1.0000

10. 相关系数 ( Correlation coefficient )与相关距离(Correlation distance)

　　(1) 相关系数的定义

　　相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。

　　(2)相关距离的定义

　　(3)Matlab计算(1, 2 ,3 ,4 )与( 3 ,8 ,7 ,6 )之间的相关系数与相关距离

　　X = [1 2 3 4 ; 3 8 7 6]

　　C = corrcoef( X' )   %将返回相关系数矩阵

　　D = pdist( X , 'correlation')

　　结果：

　　C = 1.0000    0.4781

             0.4781    1.0000

　　D = 0.5219

　　其中0.4781就是相关系数，0.5219是相关距离。

11. 信息熵(Information Entropy)

　　信息熵并不属于一种相似性度量。信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。

       计算给定的样本集X的信息熵的公式：

　　参数的含义：

　　n：样本集X的分类数

　　pi：X中第i类元素出现的概率

　　信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。。当S中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log₂(n)。当X只有一个分类时，信息熵取最小值0

　　参考资料：

　　[1]吴军. 数学之美 系列 12 – 余弦定理和新闻的分类.

　　http://www.google.com.hk/ggblog/googlechinablog/2006/07/12_4010.html

　　[2] Wikipedia. Jaccard index.

　　http://en.wikipedia.org/wiki/Jaccard_index

　　[3] Wikipedia. Hamming distance

　　http://en.wikipedia.org/wiki/Hamming_distance

　　[4] 求马氏距离（Mahalanobis distance ）matlab版

　　http://junjun0595.blog.163.com/blog/static/969561420100633351210/

　　[5] Pearson product-moment correlation coefficient

　　http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient

 

　　转载自：http://goo.gl/zRXbt

此条目由 lixiang 发表在 Machine Learning 分类目录，并贴了 Chebyshev Distance、Cosine、Euclidean Distance、Hamming Distance、Information Entropy、Jaccard Distance、Mahalanobis Distance、Manhattan Distance、Minkowski Distance 标签。将固定链接加入收藏夹。

欧氏距离与余弦相似度

欧氏距离是最常见的距离度量，而余弦相似度则是最常见的相似度度量，很多的距离度量和相似度度量都是基于这两者的变形和衍生，所以下面重点比较下两者在衡量个体差异时实现方式和应用环境上的区别。

借助三维坐标系来看下欧氏距离和余弦相似度的区别：

从图上可以看出距离度量衡量的是空间各点间的绝对距离，跟各个点所在的位置坐标（即个体特征维度的数值）直接相关；而余弦相似度衡量的是空间向量的夹角，更加的是体现在方向上的差异，而不是位置。如果保持A点的位置不变，B点朝原方向远离坐标轴原点，那么这个时候余弦相似度cosθ是保持不变的，因为夹角不变，而A、B两点的距离显然在发生改变，这就是欧氏距离和余弦相似度的不同之处。

根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。

上面都是对距离度量和相似度度量的一些整理和汇总，在现实的使用中选择合适的距离度量或相似度度量可以完成很多的数据分析和数据挖掘的建模，后续会有相关的介绍

补充：编辑距离；K-L divergence

.

12 hausdorff距离    微分动力系统原理这本书里有介绍    Hausdorff距离是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式：假设有两组集合A={a1,…,ap},B={b1,…,bq},则这两个点集合之间的Hausdorff距离定义为H(A,B)=max(h(A,B),h(B,A)) (1)    其中,     h(A,B)=max（a∈A）min（b∈B）‖a-b‖ (2)    h(B,A)=max（b∈B）min（a∈A）‖b-a‖ (3)     ‖·‖ 是点集A和B点集间的距离范式(如:L2或Euclidean距离).     这里,式(1)称为双向Hausdorff距离,是Hausdorff距离的最基本形式;式(2)中的h(A,B)和h(B,A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff距离.即h(A,B)实际上首先对点集A中的每个点ai到距离此点ai最近的B集合中点bj之间的距离‖ai-bj‖进行排序,然后取该距离中的最大值作为h(A,B)的值.h(B,A)同理可得.     由式(1)知,双向Hausdorff距离H(A,B)是单向距离h(A,B)和h(B,A)两者中的较大者,它度量了两个点集间的最大不匹配程度.

13 Bhattacharyya

 

13 Bhattacharyya距离  在统计学中，Bhattacharyya距离（以下称巴氏距离）测量的是两个离散或连续概率分布的相似性。计算方式和Bhattacharyya系数关系很密切。两种计算方式都以A. Bhattacharyya名字命名，Bhattacharyya是一位30年代在印度统计研究所工作的统计学家。巴氏系数可用来对两组样本的相关性进行测量。这一方法常用来作分类器算法。[1]  数学定义  -离散概率分布    对于在X数域上的两个离散概率分布p和q，巴氏距离定义为[2]：   DB(p,q) = -ln(BC(p,q))     其中    BC(p,q) = ∑√p(x)q(x)     BC被称作Bhattacharyya系数（巴氏系数）   0≤BC≤1q且0≤DB≤∞ -连续概率分布    在连续情形中，Bhat           其中           BC(p,q) = ∑√p(x)q(x)            BC  被称作  Bhattacharyya  系数（巴氏系数）           0≤BC≤1q  且  0≤DB≤∞     -  连续  概率分布           在  连续  情形中，  Bhattacharyya  系数如下定  义  ：           BC(p,q) = ∫√p(x)q(x)dx            0≤BC≤1q  且  0≤DB≤∞            两  种  情形中，巴氏距离  DB  均不  满  足三角不等式

Bhattacharyya  系数           Bhattacharyya  系数  [3]  （  Bhattacharyya Coefficient,   巴氏系数）是  对  两个  统

 

马氏距离的几张截图

2011-04-14 21:31 613人阅读 评论(0) 收藏 举报

2010

这几张图太形象了，只好收藏了。来自：http://xgli0910.blog.163.com/blog/static/46962168201021932741868/

 

 

 

 

 

 

 

 

 

mahalanobis距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。
换句话说，主成分分析就是把椭球分布的样本改变到另一个空间里，使其成为球状分布。而mahalanobis距离就是在样本呈球状分布的空间里面所求得的Euclidean距离。
当然，上面的解释只是对椭球分布而言，对一般分布，只能消除分布的二阶相关性，而不能消除高阶相关性。