Logistic回归

《机器学习实战》 第5章直接开始梯度下降的代码，没有搞明白。补上《机器学习》这部分的原理

线性模型

f(x)=ωTx+b是直线方程。确定ω和b即可确定模型。

线性回归

线性回归通过给定数据集，确定线性模型，即确定参数ω和b

最小二乘法

基于均方误差最小化来确定线性模型中参数

(ω∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2

即求得的直线，与给定数据集之间欧式距离之和最小
记

E(w,b)=∑i=1m(f(xi)−yi)2=∑i=1m(yi−ωxi−b)2

即求使E最小的ω,b，分别对参数求偏导求解

对数线性回归

当输出在指数尺度上时，可以对线性模型进行改进

lny=ωTx+b

广义线性模型

对任一单调可微函数，均可以用来对线性模型进行扩展。

y=g−1(ωTx+b)

对数几率回归（logistic regression）

对于二值分类，可以通过广义线性模型，对线性模型进行改造。理想的{0-1}分类函数是单位阶跃函数。

y=⎧⎩⎨⎪⎪0,x<00.5,x=01,x>0

但单位阶跃函数不连续，因此使用对数几率函数（logistic function）

y=11+e−z

带入广义线性模型，得到

y=11+e−(ωTx+b)

对上式进行变化，可得

lny1−y=ωTx+b

y输出区间为(0,1)，将y视为x为正例的似然值，1−y为反例似然值，则比值y1−y为x为正例的相对可能性。取对数lny1−y得到对数几率

梯度下降法

对logistic回归，求解参数ω和b，有多种优化算法，例如梯度下降法，牛顿法。