机器学习:贝叶斯总结_4:分类

来源:互联网 发布:盐城平面设计软件培训 编辑:程序博客网 时间:2024/03/29 08:43
  • 概率生成模型
    该模型主要对p(y|x)建模,通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常,判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的,而且难以被扩展成无监督的。
    Gaussian mixture model and other types of mixture model
    Hidden Markov model
    Naive Bayes
    AODE
    Latent Dirichlet allocation
    Restricted Boltzmann Machine

  • 概率判别式模型
    该模型对观察序列的联合概率分布p(x,y)建模,在获取联合概率分布之后,可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式模型更丰富。除此之外,生成式模型较为容易的实现增量学习。
    Logistic regression
    Linear discriminant analysis
    Support vector machines
    Boosting
    Conditional random fields
    Linear regression
    Neural networks


概率生成模型

二分类

连续输入

最大似然


概率判别模型

logistic回归

* 最大似然求解,logistic回归会产生过拟合现象
* 解决办法:引入先验概率,然后寻找w的MAP解,或者等价的给误差函数增加正则项
* logistic误差函数是凸函数,可以迭代求解最小值;无解析解

多类logistic回归


probit回归


拉布拉斯近似

  • 找到定义在一组连续变量上的概率密度的高斯近似

贝叶斯logistic回归

  • 拉布拉斯近似
0 0