graph Laplacian 拉普拉斯矩阵
来源:互联网 发布:mba有用吗 知乎 编辑:程序博客网 时间:2024/05/17 00:15
拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。
什么是拉普拉斯矩阵
拉普拉斯矩阵
先说一下什么是拉普拉斯矩阵,英文名为Laplacian matrix,其具体形式得先从图说起,假设有个无向图如下所示,
其各个点之间的都有相应的边连接,我们用某个指标(这地方可以任意选择,比如欧氏距离、测地距离、或者高斯相似度等)来衡量两个点的相似度,表示为
拉普拉斯矩阵的性质
性质:
(1)
(2)
(3)对
(4)对于任意一个属于实向量
它又有什么用处呢?跟目标是有关系的,哈哈~
证明如下:
因为
拉普拉斯特征映射
拉普拉斯特征映射将处于流形上的数据,在尽量保留原数据间相似度的情况下,映射到低维下表示。
其步骤如下:
1. 构造近邻图(用近邻图图近似流形)
1.1 近邻条件
1.2 K近邻
2. 计算边权重(即样本间相似度)
2.1 热核
2.2 简单形式
3. 特征映射
求解
得到解如下:(特向和特值)
取小的前
至于为神马
倒腾了一大通,终于把为什么目标
具体解释如下图所示:(左侧是基本思路,中间是核心推导,右侧是直观理解)
但是还有个问题没有解决,就是为什么
只能从直觉上理解,
为什么是用广义特征值
拉普拉斯映射就是直接在低维下找到样本,使得所有样本保持原来的相似度。
应用于降维
求解广义特征向量,取前几个非零最小特值对应的特向,即为原数据在低维下的表示。
应用于聚类
三个概念:
(1)对于邻接矩阵,定义图中A子图与B子图之间的所有边的权重之和为:
(2)与某点的所有边的权重和定义为该顶点的度
(3)Graph Cut,就是把一个图的一些边切断,把一个图变为若干独立的子图,而这些被切断的边的权重之和称为Cut值。
对于如下图,我们想找到某个割把整个图分成两个子图。
上面的割会把孤立节点分割出来,为避免这种情况,出现了RatioCut以及NormalizedCut:
其中
谱聚类,由最小割入手,转换到最小化二次型求解,其中包含了拉普拉斯映射降维的思想。
例如,取
则
Rayleigh quotient(瑞利商)
其最大值和最小值分别等于矩阵
因此,最小化割问题,也就变成了找
我们想把原图分成两个子图,肯定找到一个最小割对应的特向即可,那么要是想分成3个子图,那就需要最小割和次小割所对应的特向解即可。(这个地方这样理解会直观一些,最小割对应的特向是降维后包含分割为两个子图的信息,而最小割加次小割对应的特向则是包含分割为3个子图的信息)聚几类,则取前几个最小非零特值对应的特向的意义就在于此。
谱图理论需要找个时间看看。
小结
1)拉普拉斯矩阵是一种图的矩阵表示。
2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。
3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高)
三者紧密联系,又不能混为一谈。
几个参考:
1)化二次型为标准型
http://student.zjzk.cn/course_ware/web-gcsx/gcsx/chapter5/chapter5_2_1.htm
2)一个关于拉普拉斯矩阵的博客
http://blog.sciencenet.cn/blog-261330-751483.html
3)一个谱聚类的博客
http://blog.pluskid.org/?p=287
4)广义特征值的介绍
http://webcache.googleusercontent.com/search?q=cache:_85fSHsIv3MJ:https://zh.wikipedia.org/zh-cn/%25E7%2589%25B9%25E5%25BE%2581%25E5%2590%2591%25E9%2587%258F+&cd=1&hl=zh-CN&ct=clnk&gl=cn&lr=lang_en%7Clang_zh-CN%7Clang_zh-
转自:http://blog.csdn.net/yujianmin1990/article/details/48420483
- graph Laplacian 拉普拉斯矩阵
- 图的拉普拉斯矩阵学习-Laplacian Matrices of Graphs
- 图的拉普拉斯矩阵(Graph Laplacians)
- Laplacian/拉普拉斯算子
- opencv3_java 图形图像的拉普拉斯平滑Laplacian Laplacian
- 基于Eigen库的离散拉普拉斯平滑(Discretized Laplacian Smoothing)的C++非稀疏矩阵实现
- Laplacian Eigenmaps 拉普拉斯特征映射
- 拉普拉斯矩阵
- 拉普拉斯矩阵
- 拉普拉斯矩阵
- 拉普拉斯矩阵
- 拉普拉斯矩阵
- 图形学-鋭化-拉普拉斯(Laplacian)算子
- 拉普拉斯(laplacian)滤波实现图像锐化分析
- opencv3计算拉普拉斯变换-Laplacian函数
- 拉普拉斯特征映射(Laplacian Eigenmaps)
- 图的Laplacian矩阵
- 降维总结之Graph Laplacian,Laplacian EM
- HDU-3397-Sequence operation
- Linux相关文章索引(3)
- 计算组合数 (sdut oj)
- 快速理解 FastCGI、PHP-CGI、PHP-FPM
- 1069.The Black Hole of Numbers (20)
- graph Laplacian 拉普拉斯矩阵
- 感知机
- 补间动画调用了VIEW哪些函数?
- 我为什么不看好微信小程序
- hdu 1860
- 我为什么不看好微信小程序_0
- [140328]ALIA’s CARNIVAL! +ALIA’s CARNIVAL! Flowering Sky【日文硬盘版】[带全CG存档]
- recv函数和readline实现思想
- 我的2016