吴恩达机器学习笔记_第三周

Logistic Regression逻辑回归（分类）：

0:Negative Class

1:Positive Class

二元分类问题讲起，虽然有回归二字，其实为分类算法，处理离散y值。

 

输出以以条件概率表示，若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0

 

决策边界(DecisionBoundary)：当z=0，即thetaT*X的值等于零时，此时假设函数为0.5。

 

下面是另一个边界的例子：

只要得到theta值，就能得到决策边界

 

逻辑回归的代价函数很可能是一个非凸函数(non-convex)，有很多局部最优点，所以如果用梯度下降法，不能保证会收敛到全局最小值。

 

单次的代价函数如下：

最终多样本的代价函数以及我们要做的工作：

根据前面的方法，同时地进行梯度下降法求出theta向量。

 

优化方法：共轭梯度、BFGS等等，无需选学习率，自动的，比梯度下降快，但是复杂。建议直接调用库。

 

多元分类：

1对多方法

h函数其实就对应着条件概率，所以就是训练三个分类器，选条件概率最高的。

 

过拟合问题overfitting——正则化Regulation

对训练数据效果很好，但无法对新数据进行很好的预测，泛化能力弱，就是一般性不好

参数过多，高阶项多等。

解决方法：

1、减少特征数量（找主要的，或者用算法找）

2、正则化（保留所有参数，但较少维度或数量级）

 

正则化项：加入参数过多的惩罚，其中lamda是控制正则化参数

lamda过大，容易造成欠拟合underfitting，相当于所有theta都约等于0，只剩第一项。

 

正则化线性回归：正则化+梯度下降结合：

不惩罚theta0，所以分开写

正规化方法加上正则化项后的求法：

 

正则化逻辑回归：

用梯度下降法的修改和线性回归形式一样，只是h函数不一样