Machine Learning week3

逻辑回归（Logistic Regression）
逻辑回归是用来解决分类问题的一种分类算法，适用于标签y取值离散的情况
Classification（分类问题）：二元分类问题、多元分类问题

线性回归不适合用来解决分类问题：
1、在分类问题中y值取0或者1，但是线性回归的预测值可以存在>1或者<0，二者相矛盾
2、线性回归对点的拟合度不是很好
3、如果出现离群点（最右边的红色X），那么很容易将线性回归的图像的拟合度大幅降低

逻辑回归中假设函数的表示（Hypothesis Representation）：
S型函数(Sigmoid function)、逻辑函数(Logistic Function)是指代同一个东西

对逻辑函数的输出值的解释：
输出值如果为0.7的话，表明在给定参数theta、特征值x1（肿瘤的大小）的情况下，病人肿瘤为恶性的概率为0.7。

决策边界（Decision boundary）
由逻辑函数的图像可以看出：
当z>=0时，g(z)>=0.5≈1
当z<0时，g(z)<0.5≈0
所以，可以令z=0，来求得一根线，那根线就是决策边界

如何寻找合适的theta值来拟合数据集：
数据集有m组数据，有n个特征（feature），y取值为0或1，假设函数h(x)

按照线性回归的步骤求得逻辑回归的代价函数(Cost Function) J（theta），通过函数图像发现它是一个非凸函数(non-convex function)，存在很多局部最小值。所以对于逻辑回归，我们使用另外的代价函数。

逻辑回归的代价函数如下所示：
当y=1时，如果h(theta)=1，就是说我们的假设函数计算出来的数值（肿瘤为恶性的概率）与实际的数值完全一样，那么J（theta）=0，对应右下角的蓝色点。如果当y=1时，h(theta)=0，就是说预测的数值与实际情况完全相矛盾，完全不符合，那么从图像上可以看到J（theta)=无穷大，意味着我们需要付出很大的代价。

使用梯度下降法来拟合逻辑回归的参数

高级优化算法
只需要学会使用即可，不需要理解，具体操作在第三周第二节课
多类别分类问题：
one-vs-all（一对多）分类算法
有n个类别就设置n个分类器

过度拟合问题（The problem of overfitting）与正则化（regularization）
过度拟合问题通常出现在样本数量少，但是特征值多的情况下


解决过度拟合的方法：

正则化线性回归（Regularization linear regression）

正则化逻辑回归（Regularization logistic regression）