机器学习（二）

来源：互联网发布：amd处理器优化编辑：程序博客网时间：2024/04/30 03:08

逻辑回归

h θ (x) = g (θ T x) = 1 1 + exp ( - θ ⊤ x ) \equiv σ (θ ⊤ x)

where:

g (z) = 1 1 + exp ( - z )

逻辑函数为一个二分类函数，函数图形如下：

逻辑函数的图形

逻 辑 函 数

设定：

P (y = 1 | x) P (y = 0 | x) = h θ (x) = 1 1 + exp ( - θ ⊤ x ) \equiv σ (θ ⊤ x), = 1 - P (y = 1 | x) = 1 - h θ (x) .

可以将上面的两个式子写成一个，如下：

p (y | x; θ) = (h θ (x)) y (1 - h θ (x)) (1 - y)

为了通过样本的训练得到未知参数

θ,通过最大似然估计的方法，设样本数为m则有，如下似然函数：

L (θ) = \prod i = 1 m p (y (i) | x (i); θ) = \prod i - 1 m (h θ (x)) y (i) (1 - h θ (x)) 1 - y (i)

利用最大似然函数计算方法，对似然函数取对数得到：

l (θ) = l o g (L (θ)) = \sum i = 1 m (y (i) log (h θ (x (i))) + (1 - y (i)) log (1 - h θ (x (i))))

最大化(Maximize)l(θ),利用l(θ)对θj求导得到：

\nabla θ j l (θ) = \partial l ( θ ) \partial θ j = y ( i ) h θ ( x ( i ) ) \nabla θ j h θ (x (i)) - 1 - y ( i ) 1 - h θ ( x ( i ) ) \nabla θ j h θ (x (i)) = (y ( i ) h θ ( x ( i ) ) - 1 - y ( i ) 1 - h θ ( x ( i ) )) \nabla θ j h θ (x (i)) = (y ( i ) g ( θ T x ) - 1 - y ( i ) 1 - g ( θ T x )) \nabla θ j g (θ T x) = (y ( i ) g ( θ T x ) - 1 - y ( i ) 1 - g ( θ T x )) g (θ T x) (1 - g (θ T x)) x j = (y - h θ (x)) x j

上面的推导中有：

\partial g ( z ) \partial z = g (z) (1 - g (z)) .

最后利用随机梯度上升方法：

θ j : = θ j + α (y - h θ (x)) x j .

Q1：为什么这里可以用梯度法可以取得最优解？
A1：
Q2：为什么是用梯度上升而不是梯度下降法？
A2：

0 0