条件高斯分布
来源:互联网 发布:profili软件 编辑:程序博客网 时间:2024/04/30 17:24
考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即
(2.73)和(2.75)的结果是由初始联合分布的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个,我们利用了以下分块矩阵的逆的恒等式
的大小称作(2.76)左边矩阵相对于子矩阵D的舒尔补(Schur complement)。采用定义
我们还定义期望向量的分块
及协方差矩阵的分块
注意到协方差的对称性隐含着和也是对称的,以及。
在许多情形下,使用协方差矩阵的逆会更加方便
。在此需要强调的是,不是简单的给取逆。事实上,我们将会考察分块矩阵的逆和其分块的逆之间的关系。
首先,我们来寻求条件概率的表示。根据概率的乘法性质,得到该条件概率可以简单地通过用Xb的观测值来修正联合概率并归一化其结果表示从而得到合理的Xa上的合理概率分布。我们不是具体地实行归一化,而是采用高效地方法,即考虑(2.44)给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分(2.65),(2.66)和(2.69)得到
首先,我们来寻求条件概率的表示。根据概率的乘法性质,得到该条件概率可以简单地通过用Xb的观测值来修正联合概率并归一化其结果表示从而得到合理的Xa上的合理概率分布。我们不是具体地实行归一化,而是采用高效地方法,即考虑(2.44)给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分(2.65),(2.66)和(2.69)得到
可见这是一个关于Xa的函数,而且是二次形式,因此,对应的条件分布将是高斯分布。因为,这种分布(高斯分布)完全由期望和方差表征,所以,我们的目标是检查(2.70)的期望和方差的等价表示。
它是一个与高斯分布相联系的极普通的例子,有时称为“完全平方”,其中给了我们高斯分布中指数项中的二次形式,以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布的指数可以记为
这里的“const”表示独立于X的项,而且我们利用了的对称性。因此,如果将普通的二项形式并且将它表示为(2.71)右边的形式,那么我们可以立即将X的二次项的系数等同于协方差矩阵的逆而且X的线性项系数等同于,由此我们可以获得。
它是一个与高斯分布相联系的极普通的例子,有时称为“完全平方”,其中给了我们高斯分布中指数项中的二次形式,以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布的指数可以记为
这里的“const”表示独立于X的项,而且我们利用了的对称性。因此,如果将普通的二项形式并且将它表示为(2.71)右边的形式,那么我们可以立即将X的二次项的系数等同于协方差矩阵的逆而且X的线性项系数等同于,由此我们可以获得。
现在将该步骤应用于条件高斯分布它的指数项的二次形式由(2.70)给出。我们分别用
和表示该分布的期望和方差。考虑该函数依赖于Xa,对于Xb则视为常数。如果我们将Xa所有二次项提出,则得到
和表示该分布的期望和方差。考虑该函数依赖于Xa,对于Xb则视为常数。如果我们将Xa所有二次项提出,则得到
据此可以立即总结出的协方差矩阵(精度矩阵的逆)为
(2.73)和(2.75)的结果是由初始联合分布的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个,我们利用了以下分块矩阵的逆的恒等式
的大小称作(2.76)左边矩阵相对于子矩阵D的舒尔补(Schur complement)。采用定义
通过这些我们可以获得条件分布的期望和方差的等式如下
比较(2.73)和(2.82),可以当采用精度矩阵的分块项来表示条件概率相对于采用协方差矩阵的分块项更加简单。注意,条件概率的期望(由(2.81给出)),是Xb的线性函数,而协方差(由(2.82给出))独立于Xa。这代表了一种线性高斯模型的例子。
2.3.2边缘高斯分布
我们已经见到如果联合分布是高斯分布,那么条件高斯分布也是高斯分布。现在我们回到如下的边缘分布的讨论,我们将看到,它同样是高斯分布。同样,我们的策略关注与联合分布的二次形式指数项从而确定边缘分布的期望和方差。
该积分是在非归一化的高斯分布上的积分,所以结果将会和其系数有关。通过(2.43)给出的归一化高斯形式我们可以知道系数和均值独立,并且只依赖于协方差矩阵的行列式。因此,对Xb配方,我们可以积出Xb而分布(2.84)左边的依赖于Xa剩余项是(2.84)右边的最后一项其中m由(2.85)给出。结合该项以及(2.70)的依赖于Xa的剩余项,得到
这里“const”表示数值独立于Xa。再次,通过同(2.71)比较,可以发现边缘分布的协方差矩阵是
该积分是在非归一化的高斯分布上的积分,所以结果将会和其系数有关。通过(2.43)给出的归一化高斯形式我们可以知道系数和均值独立,并且只依赖于协方差矩阵的行列式。因此,对Xb配方,我们可以积出Xb而分布(2.84)左边的依赖于Xa剩余项是(2.84)右边的最后一项其中m由(2.85)给出。结合该项以及(2.70)的依赖于Xa的剩余项,得到
这里“const”表示数值独立于Xa。再次,通过同(2.71)比较,可以发现边缘分布的协方差矩阵是
0 0
- 条件高斯分布
- 条件高斯分布
- 多元高斯分布及多元条件高斯分布
- 概率部分:条件高斯分布
- 高斯过程之条件分布(Conditional Distribution)
- 多元高斯分布的边缘概率和条件概率
- 高斯分布
- 高斯分布 正态分布
- 高斯分布 正态分布
- 高斯分布
- 高斯分布画图
- 高斯分布
- 高斯分布公式
- 高斯分布抽样
- 高斯分布
- 高斯分布采样
- 认识高斯分布
- 高斯分布
- 使用带参数构造函数继承时注意
- iOS面试总结(一)
- 数据库连接池
- android View的测量问题
- iOS7以后NavigationBar下的UIScrollView
- 条件高斯分布
- CentOS7.1 KVM虚拟化之虚拟机内存、CPU调整(6)
- C语言冒泡排序
- JVM:内存结构和相关参数
- 安装scrapy时遇到的问题
- ubantu 常见问题
- 第一回:优秀的产品经理需要具备哪些能力——老吴说产品
- 一个简单的遍历选定目录的PowerShell脚本
- 一位大学生的坎坷辛苦求学路