机器学习之逻辑回归

一、什么是逻辑回归？

回归的解释：

解释一：假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称为回归。

解释二：观察所有训练样本点(x,y)符合哪种公式，例如符合y = ax + b，回归就是对该公式的未知参数进行估计，和解释一类似。

逻辑的解释：

从字面意思看逻辑就是计算机中的0和1。但这里的解释是：逻辑回归用到了sigmoid函数，此函数也成为logistic函数，该函数能够将数值映射到0到1之间。

二、怎么用逻辑回归分类，为什么要用sigmoid函数进行分类？

逻辑回归一般用于两分类问题，当某个数大于阈值时，判为一类；某个数小于阈值时，判为另一类。单位阶跃函数很符合上述目的，可惜该函数很难物理实现，就用性质类似的sigmoid函数代替单位阶跃函数。如图该函数形状很像单位阶跃函数。

三、logistic回归可以看成是一种概率估计，怎么理解这句话？

逻辑回归中利用sigmoid函数将数值映射到0到1之间，我们可以理解为将数值归一化，归一化后的值和概率值（0-1之间）看起来一样，其实没有必然的联系。

四、为什么要进行归一化？

一般用在对一个物体的多个特征值进行归一化，使这几个特征具有可比性。

举例说明：

假设我们根据当地的鞋子销量、治安情况和当地运输成本来判断是否适合在当地开店。

鞋子销量：几百双到几千双；治安情况：用0-1之间的数；运输成本：几千元到几万元不等

如果我们根据特征值的平方根来判断是否在当地开店，由于鞋子销量和运输成本值特别大，而治安情况值特别小，我们会忽略掉治安情况这个特征，但实际中这几个特征同等重要，怎么体现同等重要，那就要将这几个特征值进行归一化后进行比较。

五、为什么求出代价函数的最小值时的参数即为最佳的拟合参数？为什么用梯度下降法？

拟合直线方程和代价函数方程：

当求出代价函数的最小值时，即此时拟合直线值和真实值最接近，拟合的效果最好，所以此时求出的参数就是最佳的拟合参数。

梯度下降法用于求函数的最小值，我们需要求出代价函数J的最小值，所以我们将二者结合使用。

六、随机梯度法和梯度下降法的联系

梯度下降法又称最速下降法。

随机梯度法，对应现代信号处理中LMS算法(Least Mean Square)，其基本思想：在最速下降法的基础上，用瞬时平方误差的梯度代替均方误差梯度的估计值。

说明一点：瞬时梯度值时真实梯度值的无偏估计。

七、一般都是用梯度下降法求损失函数的最小值，为何这里用梯度上升法呢？

参考：http://blog.csdn.net/dongtingzhizi/article/details/15962797

八、什么是Normal Equations

参考：http://www.cnblogs.com/fxjwind/p/3626173.html

从此得出：

1、对于线性回归，也可以不用这种迭代最优的方式来求解，可以通过normal equations直接算出θ

2、解释为何线性回归的损失函数会选择最小二乘

3、真实值应该是以预测值为中心的一个正态分布

4、给出θ似然性的定义   
给定训练集X和参数θ，预测结果等于真正结果的概率，等同于该θ为真实θ的可能性（似然性） 

5、最小二乘回归被认为是进行最大似然估计的一个很自然的方法

参考文献：

公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归“

Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归”

Logistic regression （逻辑回归） 概述