《机器学习》学习笔记_1.机器学习的分类

本篇包括：机器学习的分类（分类与回归、监督/半监督/无监督/增强学习、多示例多标签学习、判别式方法和产生式方法）。

1. 分类与回归

以体重为例：

分类classification：输出值为确定的类别标签，可能的标签有{正常、胖、瘦}

回归regression：输出为实数值，如80， 130， 103。

分类和回归其实可以转换，如回归中，把低于90的定义为瘦，高于120的定义为胖，其他为正常，就变成了分类问题。

PS：一般分类都是指二类问题，如果是多类问题，也可以转化为二类，多做几次分类即可。

2. 监督/半监督/无监督/增强学习

针对的是数据集中是否有标签，监督：全部有，无监督：都没有，半监督：只有一些有（而且大部分是少量有）。数学的定义为：

监督学习：

     

半监督学习：    

     

无监督学习：

     因为没有标签，所以是聚类问题，把数据集分成几个子集：

    

     常见算法：K-means， SVD， PCA, ICA, GMM, M.S., NMF

3.多示例多标签学习

如一张图片中有多个：蓝天、白云。。。。，要给什么标签？

包中至少有一个标签为正，则包的标签为正，

如果包中没有一个标签为正，则包的标签为负。

4.判别式方法和产生式方法

判别式：直接给分类的结果，有一个明确的分界面，即f: y=f(x)。

产生式：只给出属于某一类的概率，给出的是可能性，即p(y|x)

产生式可转为判别式：取概率高的类别为最终标签。如班上男女比例是6：1，在不看人的时候猜是男是女，一般就猜是男，因为男生的概率更大。

以下更详细的比较转自：http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/

 

判别式模型（discriminative model）

产生式模型（generative model）

 

特点

寻找不同类别之间的最优分类面，反映的是异类数据之间的差异

适合数据量大的。

对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度

适合数据量小的。

区别(假定输入x, 类别标签y)

估计的是条件概率分布(conditional distribution) : P(y|x)

估计的是联合概率分布（joint probability distribution: P(x, y),

联系

由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。

 

 

常见模型

– logistic regression
– SVMs
– traditional neural networks
– Nearest neighbor

–Gaussians, Naive Bayes 
–Mixtures of Gaussians, Mixtures of experts, HMMs
–Sigmoidal belief networks, Bayesian networks
– Markov random fields

 

 

 

 

优点

1）分类边界更灵活，比使用纯概率方法或产生式模型更高级；

2）能清晰的分辨出多类或某一类与其他类之间的差异特征；

3）在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好；

4）适用于较多类别的识别；

5）判别模型的性能比产生式模型要简单，比较容易学习。

泛化能力较强

1）实际上带的信息要比判别模型丰富；

2）研究单类问题比判别模型灵活性强；

3）模型可以通过增量学习得到；

4）能用于数据不完整（missing data）情况。

 

 

 

 

缺点

缺：泛化能力差

1）不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来；
2）Lack elegance of generative: Priors, 结构, 不确定性；
3）Alternative notions of penalty functions, regularization, 核函数；
4）黑盒操作: 变量间的关系不清楚，不可视。

1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows；
2) 学习和计算过程比较复杂。

 

性能

较好（性能比生成模型稍好些，因为利用了训练数据的类别标识信息，缺点是不能反映训练数据本身的特性）

较差

 

主要应用

Image and document classification
Biosequence analysis
Time series prediction

NLP(natural language processing)
Medical Diagnosis