高斯分布

数据挖掘中的高斯分布

高斯分布，无论是单变量还是多元变量，在统计数据挖掘中是非常有用的，包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。

为什么我们应该关注它

• 高斯像橘子汁和阳光一样是自然存在的
• 我们需要它来理解贝叶斯最优分类器
• 我们需要它来理解回归
• 我们需要它来理解神经网络
• 我们需要它来理解混合模型
• ……

PDF（概率密度函数）的熵

分布的熵越大，预测就越困难，压缩就越困难，分布就有越少的尖。
例1、“盒子”分布

例2、单位方差“盒子”分布

例3、“尖帽”分布

单位方差“尖帽”分布

“2尖”分布

单位方差分布的熵：

单变量高斯分布

单位方差高斯分布

普通高斯分布

我们描述X ~ N(μ,σ2)，X是均值为μ方差为σ2的高斯分布，上图中, X ~ N(100,152)。

误差函数：假设X ~ N(0,1)，ERF(x)等于X小于x的概率等于X的累积分布。

假设X ~ N(μ,σ2)，

中心极限定理：如果(X1,X2,…Xn)是独立同分布的连续随机变量，那么定义，当n->∞时，p(z)->均值为E[Xi]，方差为Var[Xi]的高斯分布。

二维高斯分布
，那么定义X~N(μ,Σ)的均值为：，其中高斯参数是，Σ是对称非负矩阵。可以证明E[X] = μ，Cov[X] = Σ（注意这是高斯分布的结果属性，不是定义）。
估计p（x）：

• 步骤一：选一个向量X
  
• 步骤二：定义δ = x - μ
  
• 步骤三：计算与椭圆相交的等高线数量，形式为Σ-1，D=sqrt(δTΣ-1δ)=x和μ的马氏距离
  
• 步骤四：定义w = exp(-D2/2)，在马氏距离的平方空间中，靠近μ的x有较大的权值，而远离的有较小的权值。
  
• 步骤五：乘以w确保。
  例1：
  　　　　　
  观察：均值，主轴，非对角线协方差的含义，p（x）的最大梯度区域
  
  例2：
  
  
  例3：
  
  
  在这个例子中，x和y几乎是独立的。
  例4：
  
  
  这个例子中，x和x+y明显是非独立的。
  例5：
  
  
  这个例子中，x和20x+y明显是非独立的。

多元高斯分布

那么定义X ~ N(μ,Σ)的均值为：

其中高斯参数为：

Σ是一个非负矩阵。另外，E[X] = μ和Cov[X] = Σ。（注意他们是高斯的结果属性，不是定义）

普通高斯分布

轴对齐高斯分布

球状高斯分布

退化的高斯分布

到目前为止，我们见到了高斯公式，对它的行为表现有个直观的认识，也了解了高斯协方差矩阵，接下来给一些高斯分布的技巧。

变量子集
写作其中
这将是我们将m维分布拆分成变量子集的标准符号。

高斯边缘化依然是高斯分布

如果
那么U依然是高斯分布（这个事实不是很明显）。

线性变换后依然保持高斯分布

假设X是一个m维高斯随机变量X ~ N(μ,Σ)，定义Y是一个p维的随机变量（注意p≤m），因此Y = AX
其中A是一个p x m矩阵，那么Y ~ N(Aμ,AΣ AT )

两个独立的高斯相加依然是高斯分布

如果X ~ N(μ , Σ )，Y ~ N(μ , Σ )并且X ⊥ Y，那么

为什么X和Y不独立它就不成立呢？
下面两种说明那种对呢？
如果X和Y是非独立的，那么X+Y是高斯分布，但是协方差会改变；
如果X和Y是非独立的，那么X+Y可能是非高斯分布。

有条件的高斯是高斯分布

如果那么，
其中
注意：当v的给定值是μv时，u的条件均值是μu；边缘均值是v的一个线性函数；条件方差真好等于或小于边缘方差；条件方差与v的给定值是无关的。
举例说明：

如果那么，其中

同理m=82时

给出原高斯作对比

高斯和链式法则

让A是一个常数矩阵，如果那么并且

总结一下可用的高斯工具：

最后举一个例子。
假设有一个聪明的势利眼，且有一个孩子。整个世界中，IQ用一个高斯分布N(100,152)描绘
另外有一个测试，是来侧IQ的分数，平均分是那个人的IQ。但是因为噪声的存在，所测的值可能比真实值IQ高或者低。

假设那个人非要拉着自己的孩子去做测试，孩子得到了130分，他惊喜他孩子的IQ是属于前2%。

某些人可能会想：这个测试肯定是不精确的，所以孩子的IQ可能是120或140，但是根据所给的结果，这个孩子很有可能是130。

最大似然IQ

MLE是能使观测数据最有可能出现的隐藏参数的值。在本例中，
但是这与给定观测值后最有可能的参数值不相同。
我们真正想要的是：

所求的是IQ的后验概率。
考虑上面说到的那么多高斯工具，我们打算这样计算：

如果在给定分数的情况下必须给出最有可能的IQ，那么

MAP是最大后验概率。

to be continue……