MachineLearning(Hsuan-Tien Lin)第一讲

这是台大的课程，与Andrew的有区别，角度不太一样。

一开始没有讲线性回归，而是先系统的讲机器学习的一些概念，讲得深入些。

第一讲

（1）对比了学习和机器学习

 

学习：从观察中累积出技能

机器学习：从数据中累积/计算出技能

什么是技能？

就是在improve some performance measure

比如，通过学习可以更精确的预报天气

这里用到improve，是什么用意呢？强调一种提高，就比如我们的英语很烂，后来通过上个培训班，使英语提高了很多。上培训班就好似用了机器学习。

（2）机器学习的三个关键：

 

有了这三个关键，就可以判断一个问题适不适合机器学习来解决：

1）我们的目标是提高性能/技能，那就需要存在一些潜藏的模式可以学习，某种规则。

2）这种规则很复杂，没有办法轻易描述。

3）有数据，这些数据存在这种规则

（3）形式化学习问题

 

上面是对机器学习概念的符号化。

和Andrew的进行一些对比

 

Hsuan-Tien Lin的

 

左上角target function f是不知道的，f就是那个理想的规则，暗含着y与x的关系，数据D就是按照这种关系产生。如果f知道，就不用做机器学习了，可以拿着f去做先知、神算子来预测各种天气、股市之类的。比如理想的f：y=x，那么D中的（x1，y1）、（x2，y2）……就有x1=y1，x2=y2。但是我们不知道。我们所能知道的就是这些数据D，当把D放入算法A中学习后，会推荐我们一个g。g表明y与x的某种关系，我们希望g和f越像越好。因为f不知道，所以不管算出的g是什么，都没办法判断是不是就是f，只能说越像越好（当然你会问，既然f不知道，那怎么知道像不像？后面会说到，用结果来说明，结果准确度越高就说明越像）。

说到g是算法推荐的一个g，那这里又有问题了，是有很多个g还是说只有一个？我们可以这样理解。可能我们的算法是A1，D放进去后，出来的结果是g1，而D放进算法A2出来是g2；也有可能我们就是算法A1，当参数W=a时，我们出来一个g3，当W=b时，出来一个g4……而这些g都可以说自己能表示D中y与x的关系，只是可能精确度不太一样。所以把这些g组成一个集合hypothesis set 用h表示。所以对于机器学习算法A，要做的就是从h中选出一个最好的g（和f最像）。这里选出，并不是说，我们把诸如h1=x+3，h2=6x+x^2，h3=x+x^2+x^3……给A，让它选。而是D中的规则好像可以用三次方程h=a*x+b*x^2+c*x^3+d，算法实现经过一系列复杂的过程，最后给了我们一个g=7x+4x^2+x^3。看起来好像从h中选出的一样。（详细的分析课程陆续会讲到）

所以，综上所述，机器学习的模型，就是指A和h。机器学习就是从数据D出发，用算法A，算出一个很接近f的g。

（4）机器学习和其他领域