斯坦福机器学习公开课--整理笔记（…

第三课内容如下：

一、过拟合与欠拟合

二、参数学习方法：有一个固定数目的参数集合来进行数据拟合的算法

     非参数学习方法：参数数目随训练集样本数目增长而增长。

三、局部加权回归（LOESS）算法，一种非参数学习方法。

接上一课线性回归的问题，我们需要解决的就是根据训练样本，得出一个最理想的Θ，使得损失函数

的值最小。但单纯根据这种方式，可能会出现过拟合或者欠拟合的情况，因为参数的个数是人工指定的，过多的参数对应过拟合，太少的参数对应欠拟合。

因此有了局部加权回归算法，其中心思想就是对于一个新进待预测的样本（x,y），用与该样本接近的局部区域中的训练集来拟合函数，如图中的黑线所示，以此得到的拟合曲线，将明显优于以全局样本的拟合结果（图中红线）。

此方法实现的关键在于，对于原来的损失函数J(θ)，引入一个权值w

w取值如下，可以看出，越是离待预测点近的训练样本，所占权值越大，自然地，对于损失函数的影响也就越大

以此得到的损失函数，可以更好地拟合局部区域的特征。

当然，和批量梯度下降一样，这种方法局限性在于，由于每次均需要用到全部的训练集，因此训练集样本过大时开销过大。

四、为何要使用最小二乘？

具体推导见视频，对于一般性的线性回归问题，之所以使用最小二乘，原因在于这样可以在假设误差项服从高斯分布且独立同分布，使得似然性最大化，即选择合适的参数θ，使得数据出现的可能性尽可能大（关于似然性详见最大似然估计）。

五、逻辑回归模型

在线性回归中，通过用梯度下降等方法，可以得到参数向量θ，从而得到一个线性回归模型来表达分类问题，如下图1.a，但随之而来也有一个问题，当分类的Y值取值为离散的，比如二分类中，Y取值仅为0和1，如果用线性回归，那么当训练集的X变化范围较大时，会导致模型无法正确的分类，如下图1.b，本应分到1的Y，被误分到0.

因此有了逻辑回归，推导过程略过，具体方法如下：

与线性回归类似，逻辑回归也是有一个回归方程，如下图

可以看出，此方程范围局限在[0,1]区间，逻辑曲线在z=0时，十分敏感，在z>>0或z<<0处，都不敏感。

由此可以得到关于x的预测函数

它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

到了这里，就可以用之前的梯度下降的方法，得到合适的θ值，从而得出预测函数了，同样的，这里也可以考虑随机梯度下降和批量梯度下降两种方法。（下图是批量梯度下降）

关于此函数的导出，视频中讲了很长一截推导，可以详细去看一看，最后得出的这个公式与前一课的线性回归梯度下降的公式类似，注意比较两者的区别。

六、感知器算法
视频中只简单地提了一下，类似于逻辑回归的形式，只是把g(x)换成了一个输出只有0，1两个值的函数，之后在学习理论章节会继续提到。