生成模型和判别模型

监督学习的结果是得到一个分类或预测模型，应用该模型可以对给定输入X得到相应的输出Y,即：

Y=f(X)

或者

P(Y|X)  (根据不同类对应的后验概率判断所属类别)

根据模型是否表示了X到Y的生成过程将模型分为两种，生成方式、判别方式。
生成模型

P(Y|X)=P(X,Y)P(X)

如朴素贝叶斯法、隐马尔科夫模型

判别模型直接由输入数据X学习判别函数f(X)或条件概率P(Y|X).如决策树、K近邻。。。
注：DBN、基于Denoise autoencoder的模型预训练都是生成式的，逐层BP、贪婪式的逐层BP预训练都是判别式的。