贝叶斯学习及共轭先验
来源:互联网 发布:玩minecraft学编程 编辑:程序博客网 时间:2024/05/17 02:07
今天的主要任务是来理解共轭先验以及贝叶斯学习。最近在研究主题模型,里面用到了一些,另外在机器学习中,贝叶斯学习是重要的一个方向,所以有必要学习和掌握。
Contents
1. 贝叶斯学习
2. Beta分布及共轭先验
1. 贝叶斯学习
首先,我从最简单的硬币投掷开始。现在给你一个硬币,假设有的概率为正面朝上,那么有的概率是背
面朝上,那么如果在5次投掷过程中,有3次是正面朝上,那么这个最可能是多少呢?
凭着直观感觉,我们可能会认为是3/5,当然这是根据统计规律得到的结论。那么实际上这是一个二项分布,即
重复n次的伯努利实验。由上述所述,很容易知道其概率表示如下
我们需要这个概率尽量大,那么最终解得的值为3/5。函数图像如下
但是,我们想象一下,如果在5次投掷过程中,5次都正面朝上,那岂不是得到的估计值是1? 很明显这种情
况得到的估计值不合理。为了避免这种“黑天鹅事件”的发生,需要将值降低一些才能看似更符合常理,那么
我们只需要乘上另一个小于1的概率值就可以达到了。到了这里贝叶斯公式横空出世!如下
其中叫做先验概率,叫做似然概率,先验概率是对似然概率的一种补充,如上述的掷硬币。而
后验概率正比于似然概率和先验概率的乘积。
2. Beta分布及共轭先验
还是以掷硬币为例,我们已经知道了后验概率正比于似然概率和先验概率的乘积。那么在掷硬币实验中,硬币的
朝向服从伯努利分布,在一系列投掷过程中,假设有次正面朝上,有次背面朝上,那么似然概率为
现在已经得到了似然概率的形式了,那么如何确定先验概率呢?从理论上来说,任何一个在区间[0, 1]上的分
布函数都符合条件,但是为了更方便地简化计算,最理想的情况就是让先验分布和似然分布有相同的形式,即
如果先验分布是这样的形式,那么计算先验概率和似然概率的乘积就很方便了,只需要将指数相加即可。幸运
的是,有一个很常见的分布恰好满足这个条件,它就是Beta分布。如下
其中是Gamma函数。现在根据先验概率、似然概率和贝叶斯公式来推导后验概率。推导过程如下
在上述中,先验概率叫做似然概率的共轭先验。所谓共轭就是指这两个概率分布具有相同的形式。
最后推荐一些好文章!
一. Beta分布与二项分布的公式原理推导
二. Beta分布与其共轭先验的介绍
三. 多项式分布及Beta分布的期望计算
- 贝叶斯学习及共轭先验
- 贝叶斯学习及共轭先验
- 贝叶斯学习及共轭先验
- 贝叶斯学习及共轭先验
- 共轭先验及贝叶斯估计
- 共轭先验
- LDA学习笔记2-共轭先验
- 共轭先验和共轭分布
- 共轭先验的解释
- 共轭先验分布
- 共轭先验笔记
- 理解共轭先验
- 共轭先验-Conjugate Prior
- 机器学习的数学基础 1. 共轭先验 Conjugate Prior
- 机器学习之先验分布,后验分布,共轭先验分布
- 什么叫共轭先验或者共轭分布?
- 什么叫共轭先验或者共轭分布?
- 什么叫共轭先验或者共轭分布?
- ADF笔记
- Java深入 - Java 内存分配和回收机制
- android setTag的妙用和The key must be an application-specific resource id 异常
- Windows下Apache与PHP的安装与配置
- 表示数字
- 贝叶斯学习及共轭先验
- 点击放大图片、滚动缩放图片(无插件,自己写的)
- Erlang的tv、appmon等GUI工具在R17以上版本的启动方法
- Unity ShaderLab学习总结
- Wireshark 显示过滤器样例整理.
- java高效实现随机数的方法
- Android ViewTreeObserver简介
- <context:component-scan>使用说明
- ios常见加密解密方法