机器学习基础(林軒田)笔记之三

Types of Learning

本章主要介绍各种不同的机器学习问题。

一.Learning with Different Output Space

1.首先复习上节课的二元分类问题。

二值分类 (binary classification)：输出为 {+1， -1}；

图1中为线性可分的二元分类问题，可用PLA算法求解；图2为带噪声的的二元分类，可用贪婪算法(pocket)求解；图3为多项式可分解。

2.多值分类 (multiclass classification)

多值分类 (multiclass classification)：输出为有限个类别，{1, 2, 3, ... , K}；

3.回归分析(Regression)

回归分析的输出空间在整个实数集上或者在某个实数范围类。它与二值或者多值分类不一样，它的输出不是一种毫无意义的标记，而是有实际意义的值。

4.结构学习(Structure Learning)

结构学习法是较为复杂的问题，它的输出是一个结构(例如句子中每个词的词性)，可以成为假设，通常难以显示的定义该类。

5.小结

二.Learning with Different Data Labels

1.监督学习(Supervised Learning)

训练数据中提供标签,即训练数据中每个x对应一个y，主要用来分类。

2. 无监督学习(unsupervised Learning)

训练数据中不提供标签，主要用在聚类、密度估计、异常检测中。

3.半监督问题(Semi-supervised Learning)

半监督式学习是监督学习和非监督学习的一个折中，它以少量带标记的数据和大量的无标记的数据来学习，在人脸识别，医药效果检测等方面应用。

4. 增强学习(reinforcement Learning )

增强学习是一个非传统的机器学习方式。

增强学习通过隐含的信息进行学习，通常无法表示什么是正确的，可以通过"奖励"好的结果，“惩罚”不好的结果，来优化学习效果。多应用在广告系统，游戏中。

5.总结

监督学习最为重要。

三.Learning with Different Protacol

1.批量学习(Batch Learning)

利用所有已知数据来学习，最常用。

2.在线学习(Online Learning)

通过序列化的接收数据来学习，性能逐渐提高。

3.主动学习(Active Learning)

开始只有少量的标签，机器通过有策略的“提问”来提高性能。

4.总结

四.Learning with Different Input Space

1.离散特征(concrete features)

特征中包含人类智慧，如硬币分类中的特征大小、重量。

2.原始特征(raw features)

这些特征对于学习算法来更加困难，通常需要人或深度学习将其转换为离散特征。

3.抽象特征(Abstract Features)

抽象特征通常无实际意义，需要人为的进行特征转化、提取和在组织。

4.总结