机器学习-生成学习算法
来源:互联网 发布:淘宝客api使用教程 编辑:程序博客网 时间:2024/05/22 09:00
本内容主要参考Andrew Ng的机器学习公开课第五讲。
本课内容:
- 生成学习算法的介绍;
- 第一个典型的生成学习算法——高斯判别分析;
- 生成学习算法与之前的判别学习算法的对比;
- 朴素贝叶斯算法,
- Laplace平滑。
1.生成学习算法
学习算法分为两种:一种是判别学习算法(Discriminative Learning Algorithm),简称DLA,另一种是生成学习算法(Generative Learning Algorithm),简称GLA。
2.GDA高斯判别分析
当我们有一个分类问题,它的输入特征
是一个二类问题,所以假设y服从的是伯努利分布,进一步描述模型
根据模型经过训练得到它的似然函数模型:
然后,通过极大似然估计得到变量的估计值如下:
3.GDA和logistic回归模型的关系
如果我们把
该式子就是logistic回归模型的一个sigmoid函数。
GDA的优势: 由于有高斯分布的先验信息,如果确实符合实际数据,则只需要少量的样本就可以得到较好的模型。对比之下,logistic回归模型有更好的鲁棒性。
4.朴素贝叶斯Naive Bayes
朴素贝叶斯是通过后验概率来分类的,首先介绍一下贝叶斯公式:
朴素贝叶斯模型对于输入特征
我们根据条件可以得到一个似然函数
训练模型(联合概率分布):给定训练样本
给出极大似然估计值
其中:,,
预测:输入一个n维特征值
由最大后验准则得到分类结果。
关于贝叶斯的一个实例,可以参考我的另外一篇博文:
机器学习算法-朴素贝叶斯Python实现.
5.Laplace平滑
在实际应用中,有时候我们的数据正负样本的比例不均衡,比如正样本的个数为50,负样本为0,这是计算
将它归纳之后的到的公式如下:
Reference
Stanford机器学习公开课:http://open.163.com/movie/2008/1/A/R/M6SGF6VB4_M6SGHMFAR.html
- 机器学习-生成学习算法
- 机器学习-生成学习算法
- 机器学习--生成学习算法
- 机器学习--生成学习算法之GDA
- 机器学习之二 生成学习算法
- 机器学习算法的随机数据生成
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 公开课机器学习笔记(8)生成学习算法
- 【斯坦福---机器学习】复习笔记之生成学习算法
- 机器学习笔记4——生成学习算法
- 斯坦福 机器学习-第二章 生成学习算法
- Python与机器学习之模型结构(生成学习算法)
- 机器学习算法-决策树生成算法ID3和C4.5
- 机器学习算法排名
- 《机器学习》 KNN算法
- 机器学习中的算法
- asp.net登录 用Forms身份验证和基于角色的分目录访问
- 黑马程序员——正则表达式
- php学习随记1
- PHP fsockopen模拟发送post set请求
- 初识Java
- 机器学习-生成学习算法
- winform窗体间传值
- java架构解密——用接口改造AOP
- OC基础学习——字典和可变字典
- 【应用篇】Activiti监听与业务颗粒结合的简单应用(一)
- Debug记录
- 分部类和命名空间
- 用迪杰斯特拉算法实现地铁的站点搜索
- 使用Gdb+qemu调试内核: