关于协方差矩阵需要注意的一个事项

协方差矩阵是衡量样本的属性(即维度)之间的关系，而不是样本与样本之间的关系。

比如有100个样本，每个样本10个属性，那么计算得到的协方差矩阵一定是10*10的，而不是100*100的，这个一定要注意。

协方差矩阵主要是为了分析属性与属性之间的相关性，而非样本与样本之间的相关性，这一点我一直反着理解了，今天纠正一下自己。

比如样本是人，属性是胡子，皱纹，岁数，性别。那么利用协方差矩阵可以测量性别与剩下三个属性的相关程度，计算值为负值，比如胡子和岁数的协方差值计算为负，那么说明呈负相关，胡子越少，越年轻。如果为正值，比如皱纹和岁数的协方差矩阵为正值，那么呈正相关，即皱纹越多越年轻。正相关与负相关的概念和正比与反比的概念差不多，就是一个增多另一个增多或降低的问题。