重新解读协方差以及EVD/SVD

  这两天摸索随机森林做图像识别,对oob进行解读时,重新对线性代数进行梳理,发现了大家对矩阵性质的有趣解读,通俗易懂,我再次感受到数学的优美.

1: 一维协方差:

cov(X,Y) = E( ( x - E(X) ) ( y - E(Y) ) )

描述了变量之间的同/反向变化关系,
对于A和B单维变量,

1. 如果A离散程度增大,B的离散程度也倾向于同时增大,
   cov(A,B) < 0;

2. 如果A离散程度增大,B的离散程度倾向于减小,
   cov(A,B) > 0

3. 如果B不随A的变化而变化,
   cov(A,B) = 0

BTW,协方差矩阵的意义与之相同,注意协方差矩阵由 1 * 1 引向了N * N.

对协方差的解释:
https://www.zhihu.com/question/20852004

2: 变换矩阵

变换矩阵的作用:

• 由于矩阵自身的可加性,变换矩阵作用于向量上,实际上是对向量作多种方向的组合拉伸缩放的叠加.
• 再根据特征值求取特征向量,最终的变换结果是特征向量与特征值乘积的组合.
• 根据这个特点,我们可以应用到数据处理的降维上,做EVD分解或SVD分解.

举例:

• 假设:
  我由一组照片,分辨率都是420 * 640,用来做图像识别,
• 但是:
  相机出故障了,在(400,0)到(420,640)内的图像都是错误的图像.我又懒得用图像库对该损坏部分进行图像(20列)去除.
• 那么:
  再导入数据进行深度学习过程中,我就可以采用EVD,使用缺失了最后20项特征值的对称变换矩阵A,降维去除原图的错误数据.
• 当然:
  EVD以耗费内存为代价,采用SVD会更好,这里采用EVD/SVD也是大才小用.SVD在数据存储上有更多更大的用处.后续跟进中…

---

2017.10.14.night
4th Saturday of Junior
wonderseen.