【机器学习】【读后感】（条件）概率模型们的本质：树状、时序到一般性的图

     一般的机器学习书籍，习惯以模型来分类，像李航的《统计学习方法》，主要从九大模型来串讲（EM算法不算）。猜测是因为以应用为目的，便于计算机工程师选取具体模型来解决实际问题。另一方面，如果想要更深入的了解模型背后的原理，譬如为什么朴素贝叶斯和隐马尔科夫链的常用算法一样，是不是所有模型的损失函数都可以选取对数似然呢，对偶算法的成立条件是什么？特别是对于系统学习过概率、最优化，图论等再开始接触机器学习的笔者来说，直到读到Sutton&McCallum的“An Introduction to Conditional Random Fields”（1），才从朦朦胧胧感觉到的各模型的generalization有可能一致，到真正理清一众概率模型/条件概率模型之间的本质联系，i.e.，“简单”模型只不过是“复杂”模型的特殊情况。

首先祭出一目了然的图（2）：

以抽象的眼光看本质，这一群都是General CRFs的各级别的特殊模型。上面一行是生成模型，下面一行是判别模型，两者区别如下（3)：

    生成模型：对观察序列的联合概率分布p(x,y)及p(x)建模，在获取p(x,y)及p(x)之后，可以通过贝叶斯公式p(y|x) = p(x,y) / p(x)得到条件概率分布（即，不直接对条件概率p(y|x)建模）。通常，生成模型收敛速度快。常见的生成模型有：Gaussian mixture model and othertypes of mixture model，HiddenMarkov model，NaiveBayes，AODE，LatentDirichlet allocation，RestrictedBoltzmann Machine。

    判别模型：有样本直接学习决策函数f(x)或条件概率p(y|x)作为预测模型，在建模的过程中不需要关注联合概率分布。通常，判别模型准确性更好。常见的判别式模型有：Logistic regression，Linear discriminant analysis，Support vector machines，Boosting，Conditional random fields，Neural networks。

   生成模型可以通过贝叶斯得到判别模型，但判别模型无法得到生成模型。

（1）An Introduction to Conditional Random Fields 点击打开链接；

（2）如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？点击打开链接

（3）统计方法学习，李航