概率 & 采样
来源:互联网 发布:定增pe天使投资知乎 编辑:程序博客网 时间:2024/05/17 07:10
Inference and Decision
some notation:
p(D|\theta) 表示的并不是一个条件概率,这是一个关于\theta的函数;
p(x_i|\theat)表示的是一个PDF,这里的\theta是一个定值;
- 生成模型: 根据P(x|y) 和p(x), 利用贝叶斯求出p(y|x);
判别模型:直接求出(y|x)
这些模型分为两个步骤:
inference: 估计各种密度函数;
decision: 根据PDF给出输出; - 参数估计
- 点估计
认为需要被估计的参数是一个定值.- 最大似然估计 MLE
θ=argmaxθl(θ)=argmax∑p(xi|θ) - 最大后验估计 MAP
θ∗=argmaxθl(θ)∗p(θ)
MAP和MLE的区别就是,MLE是在假设估计的θ 是一个定值,而MAP假设θ 是一个随机变量,存在着先验表示;
没有任何关于θ 的information的时候,MLE equal MAP。视θ 为一个随机变量,存在分布p(θ) 将其影 响(先验分布)代入,但仍然假设存在最优的参数
- 最大似然估计 MLE
- unbias estimation
- 贝叶斯估计
无论是MLE还是MAP都是假设存在最优的参数,估计的依然是一个点,而在贝叶斯的观点中,θ is a distribution, so estimation should be a distribution not a point!!!p(θ|D) : 是贝叶斯参数估计的输出,是一个完整的分布,而不是一个点;
实际的一个例子是:高斯分布的贝叶斯估计。
- 点估计
===============
关于蒙特卡洛采样
http://blog.csdn.net/baimafujinji/article/details/51407703
阅读全文
0 0
- 概率 & 采样
- 概率密度采样2
- 不等概率采样
- 概率采样3——MCMC
- 【算法】未知长度序列等概率采样
- 等概率采样数据流中的数字
- 概率采样方法1——直接转换
- 采样
- 采样
- 概率和随机数经典面试问题:拒绝采样,蓄水池抽样,洗牌问题和随机01问题
- 面试题 从很长的数据流等概率随机采样 蓄水池抽样 Reservoir Sampling
- 概率
- 概率
- 概率
- 概率
- 概率
- 概率
- 概率
- ORACLE杀锁表
- [西瓜书]朴素贝叶斯--numpy + python实现
- R语言制作词云
- 浅谈Android中的json解析
- MDK-ARM v5.23 Add Programming Algorithm
- 概率 & 采样
- Altium Designer 电路设计3
- 2017 华东师范大学网赛 F.丽娃河的狼人传说 && Problem #3263( 贪心)
- 系统编程四
- 使用 MySQLi 向 MySQL 插入、增加数据
- UVa10001伊旬园
- okhttp 登录post请求
- 如何基于Spark做深度学习:从Mllib到keras,elephas
- 常用的springMVC注解