斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

(转载请注明出处：http://blog.csdn.net/buptgshengod)

1.拟合问题

       这节课首先讲到了一个我们经常遇到的问题，欠拟合（underfitting）以及过拟合（overfitting）。其中过拟合是最常见的，这个问题，来源于我们一个特征值的权重过于突出，就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合，因为这个结论是一条直线。但是，当我们把x平方，，这个式子就会得到比较好的拟合。但是当我们把x三次方，四次方。。。都加上，就会出现过拟合。这三种情况分别对应下图的左1，右1，下。

2.局部权重回归（linear regression）

      上一节讲了回归问题。是通过全部数据集拟合出每个特征值对应的参数。在linear regression中，我们预测一个x它所对应的y，我们只要找到这个x周边的数值，拟合一条直线出来，就可以了。

       这里涉及到如何找到x周围的数值，这就涉及到一个截取近似数值的问题。Andrew使用的是一个类似于高斯公式变形的方法。

3.最小二乘法

       在讲logical regression之前，Andrew还特意推导了一下为什么我们用最小二乘法来做判断。用到了中心极限定律。设噪声符合高斯分布，然后在log下推导。推出了用最小二乘法是判断预测结果的形式。

4.逻辑回归（logical regression）

      首先讲了为什么要用sigmoid函数，把离散的数据变为线性的。之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每个参数。

sigmoid函数：