《统计学习方法》笔记三
来源:互联网 发布:mac后台程序关不上 编辑:程序博客网 时间:2024/05/18 18:44
EM
含有隐变量的概率模型参数的极大似然估计法或者极大似然后验概率估计
EM算法本质
EM算法
高斯混合
模型:顾名思义,高斯,混合
算法EM迭代:提升下界逼近全局最优
GEM
COMMENTS
隐马尔科夫
隐马尔科夫基本概念
核心:初始状态分布,中间状态转移,由状态生成观测
应用:由大量训练资料,学习上诉三个参数矩阵,模拟资料分布状态,给出新的观测序列,反求中间状态(序列标注问题)
概率计算
前向
核心:任一状态的概率可由前一时刻所有状态概率乘以转移到该状态的概率积之和求得
求得状态概率之后,对应的观察序列概率可通过与观测概率矩阵运算而得
后向
与前向一致的层迭代算法
学习算法
预测算法
近似算法
维特比算法
条件随机场CRF
概率无项图模型
局部马尔科夫:点直接连接点确定时,外部点与该点条件独立,直接连接点是的内部点与外部点独立
成对马尔科夫:两点无连接,则两点对应变量在给定其他条件时独立
全局马尔科夫:连接变量团确定,两变量团独立
三个条件均是控制不存在跳点连接,所有关联关系在线上,线确定时,线两端变量独立
马尔可夫性 + 最大团 保证了概率图的因子可乘构建整图
条件随机场并未求出整体概率分布,而是条件概率,属于判别模型
条件随机场
节点状态只取决于有链接点状态
线性链条随机场:限制复杂图模型,压缩输出之间的影响到相邻输出,转为线性之后有点像LSTM了,任一一点的状态只取决于输出(有链接边),临近输出(有关联边左右双向,2-gram,短程记忆)
*未理解透彻,待续
计算
学习
预测
阅读全文
0 0
- 《统计学习方法》笔记三
- 《统计学习方法》学习笔记三
- 统计学习方法笔记(三)
- 统计学习方法笔记三----逻辑斯蒂
- 统计学习方法(三)
- 统计学习方法笔记--第一章统计学习方法概论
- 统计学习方法笔记1--统计学习方法概论
- 《统计学习方法》阅读笔记
- [笔记]统计学习方法
- 《统计学习方法》学习笔记
- 统计学习方法~笔记1
- 统计学习方法笔记
- 《统计学习方法》--学习笔记
- 统计学习方法笔记 -- 概论
- 《统计学习方法》笔记-第一章
- 《统计学习方法》笔记一
- 统计学习方法笔记:决策树
- 《统计学习方法》笔记二
- Linux/Centos/windows集成tomcat和Solr并进行全文检索
- leetcode---minimum-path-sum---dp
- spring-boot-build-项目pom结构boot(1.5.6) 学习笔记
- Revit中的dynamo编程——code block
- hihocoder 1174 拓扑排序·一
- 《统计学习方法》笔记三
- ccf I’m stuck!
- Ubuntu16.04-x64安装caffe(仅CPU)并测试
- 学习笔记(二)
- Python3网络爬虫:使用Cookie-模拟登陆
- socket、websocket后台信息日志输出使用
- 2017 ACM-ICPC 亚洲区(西安赛区)网络赛 C.Sum
- Java反射机制
- Android Studio 手动下载 gradle 版本地址