线性回归与逻辑回归

参考：讲义和视频http://www.cnblogs.com/fanyabo/p/4060498.html

个人只是将思路整理一下。

线性回归：

1）损失函数：

2）解释：（概率解释：）

对上面的式子求“极大自然估计：”可得到损失函数。

求解过程：

对于损失函数最小化的方法：剃度下降、最小二乘法

1.1）批处理梯度下降：1.2）随机梯度下降：

2）最小二乘法：

注：自己要推导一遍。

局部（加权的）的线性回归：原因，好处，坏处

批处理梯度下降和随机梯度下降相比较：

最小二乘法与梯度下降的相比较：

----------------------------------------------------------

逻辑回归：来处理0/1分类的问题

一、sigmoid函数：

二、推导（最大似然+梯度下降）：

SoftMax回归：解决多个分类的问题

指数家族，广义线性模型GLM。