《机器学习基石》笔记：第三讲

第三讲主要根据Output Space/Data Labels/learning protocol/Input Space的不同，将机器学习问题划分为几个种类。
1.输出空间（Output Space）
分类器（Classification）经过training set训练，对unseen data进行预测，输出labels。根据labels的不同，可以将机器学习分为Binary classification/Multiclass Classification/Regression/Structured learning/Huge multiclass classification等。
其中值得注意的是Structured learning和Huge multiclass classification。
Structured learning的典型例子是对一个sentence进行学习，输出该sentence的词性结构，例如I love ML.–>I(pronoun),love(verb),ML(noun)。其他的应用还有对一种蛋白质数据集进行学习，输出该种蛋白质的多肽折叠结构；对speech data进行学习，输出speech sparse tree等。
Huge multiclass classification则是一种特殊的分类，该分类without explicit class definition，意思是没有显式的类别定义。这意味着虽然我们输出的是离散值（区别于回归的连续值），但是我们的问题很复杂，我们无法（难以）穷举所有的类别。
2.数据标记（Data Labels）
根据labels的有无、多少，可以将learning分为supervise learning/unsupervise learing/semi-supervise learning/Reinforcement learning等。
值得一提的是semi-supervise learning和Reinforcement learning。
semi-supervise顾名思义，就是只给出部分datasets的labels，然后进行learning，预测label未知的data的label。
而Reinforcement Learning最典型的例子就是我们在日常生活中训狗：

我们无法（难以）当我们说“坐下”（xn = ‘sit down’）时，狗狗应该做坐下的动作（yn = sit），但是我们可以使用反馈机制，在我们给出“坐下”的提示（training set）时，狗狗进行别的动作（如撒尿）是错误的。
强化学习（Reinforcement Learning）应用很多，包括精准广告投放、推荐系统等等。可以发现，强化学习的应用领域普遍具有partial/implicit information的特点，并且数据经常是sequence的形式给出。
3.学习形式（Learning protocol）
protocol的不同，可以将learning划分为batch/online/active等。batch是批处理，一次给出所有的training set供以model做learning。
online顾名思义，现学（partial learning）现用（receive ‘desire label’ from users,and update g with this samples）。是一种动态、时间友好的learning。（是不是可以和强化学习很适合？）
active的core一言以蔽之：

这样，当我们面临一些需要人工标注label的datasets时，我们可以让model strategically的提出问题（哪些data的label需要人工标记），这样可以大大减少人力。（是不是和半监督学习很适合？）
4.输入空间（Input Space）
根据是关于data sets质量的问题，将learning分为concrete/raw/abstract等。我们知道越抽象，越稀疏的data sets做learning的难度越大。因此如何通过features engineer将raw sets和abstract sets处理成concrete是learning中的重难点。