coursera 机器学习课程笔记（一）——回归问题

（一）线性回归

假设函数：

成本函数：

（二）Logistic 回归

假设函数：

成本函数：

（三）梯度下降算法：

第5节  解决过拟合问题

1、问题定义

欠拟合导致大的偏差bias，过拟合导致大的方差。

解决方法：（1）手工选择特定的变量；（2）模型选择算法

2、正则化成本函数

       注意，其中j从1开始，而不是0 ，因为不对θ0施加惩罚。

3、正则化线性回归

（1）梯度下降法

  

     j = 1，2，…n

（2）正规方程法

4、正则化Logistic回归

同线性回归，只是h(x)函数不一样。