逻辑回归中代价函数求导推导

来源:互联网 发布:mac office 卸载 编辑:程序博客网 时间:2024/05/16 14:23

Coursera上在推导代价函数时一笔带过了,没有过程,现推导如下:

所给代价函数:
J(θ)=1m[mi=1y(i)loghθ(x(i))+(1y(i))log(1hθ(x(i)))]

其中:
hθ(x(i))=11+eθTx

z=θTx=θ0+θ1x1+....+θnxn

z(θj)=x(i)j

hθ(x(i))=11+ez=ez1+ez

j(θ)=1m[mi=1y(i)loghθ(x(i))1hθ(x(i))+log(1hθ(x(i)))=1m[mi=1y(i)logez(i)1+ez(i)1ez(i)1+ez(i)+log(1ez(i)1+ez(i))]=1m[mi=1y(i)z(i)log(1+ez(i))]

j(θ)=1m[mi=1y(i)z(i)jez(i)1+ez(i)z(i)j]=1m[mi=1y(i)hθ(x(i))]z(i)j=1m[mi=1(hθ(x(i))y(i))x(i)j]

1 0