【随机算法】Johnson-Lindenstrauss Theorem 详细解读

前言

       最近经常接触降维, 主要是做图像处理和视频处理的维度实在是比较多, 降维这个可真是真正的技术活儿, 而且在不同情况下降维的选择至关重要, 可以说会影响到最终的结果,今天主要是详细讲解一下其中一种当今的降维准则. 

Johnson-Lindenstrauss Theorem的问题定义

       首先, JL要解决的问题非常简单(只是陈述比较简单而已), 在一个高维的欧式空间(距离用欧式距离表示) . 我们想要把这些点移动到一个低维的空间, 当时要保证空间转换后,没两两个点之间的距离几乎不变.

       正规点说就是, 找到一个映射关系:,里面任意两个点u,v,使得和只有一点点的不同,其中 ,是两点的欧式距离.

    其实这个问题真的挺有意义的,因为维度太高会造成非常大的计算难度, 这样的转换后,"内容"没有改变,只是把"多余"的运算去掉了.

Johnson-Lindenstrauss Theorem

        JL理论证明了解决这个问题的可能性.

Johnson-Lindenstrauss Theorem

For any 0 < ε < 1 and any positive integer n, let k be a positive integer such that

Then for any set V of n points in , there is a map  such that for all ,

.

Furthermore, this map can be found in expected polynomial time.

        

The random projections

         映射关系 是可以随机构造的, 以下这种是JL在论文中用到的一种:

The projection (due to Johnson-Lindenstrauss)

Let A be a random  matrix that projects  onto a uniform random k-dimensional subspace.

Multiply A by a fixed scalar . For every , v is mapped to .

 构造后的点 是 的其中一个向量.

参数  是为了保证.

     其实还有详细的证明，在论文中，有兴趣的可以看一个南京大学的讨论班，非常详细，分享地址：http://download.csdn.net/detail/luoyun614/8008745