交叉熵到logistic和softmax

交叉熵到logistic和softmax

面试的时候被问到了softmax的问题，答的不大好，整理一下。
参考了以下作者的答案ke1th、Daniel的学习笔记、qian99、 u010223750
交叉熵在神经网络中作为损失函数。

1均方误差—线性回归

先看一下均方误差，均方误差是最常见的损失函数
损失函数如下：

J(z)=12||a−y||22

求导：

∂J∂z=a−y

求导结果作为梯度下降的参数更新。

2交叉熵

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，有以下两种形式：

H(p,q)=−∑x(p(x)logq(x)+(1−p(x))log(1−q(x))

H(p,q)=−∑xp(x)logq(x)

两种交叉熵，对应logistic和softmax回归
logistic回归主要是两类问题，一位（0/1）就能表示两种情况，属于二项分布。softmax用于多分类问题。
2.1二分类logistic回归
sigmoid函数：

a=σ(z)=11+exp(−z)

sigmoid导数：

a∗=z(1−z)

把a看作y=1的概率值:p(y=1|x)=a
似然函数：

ℓ(z)=ay(1−a)1−y

log似然：

L(z)=ylna+(1−y)ln(1−a)

最大化似然L(w)等价最小化−L(w)，损失函数：

J(z)=−ylna−(1−y)ln(1−a)

损失函数求偏导：

∂J∂z=∂J∂a∂a∂z=(−ya+1−y1−a)a(1−a)=a−y

偏导结果为预测值与目标值的残差

2.2多分类softmax
softmax函数：

ai=expzi∑kexpzk

交叉熵:

J(z)=−∑iyilnai

求偏导：

∂J∂zi=∂J∂aj∂aj∂zi

其中前面部分易知：

∂J∂aj=−∑jyiaj

后面部分求∂aj∂zi：
当i=j时

∂aj∂zi=∂expzi∑kexpzi∂zi=expzi∑kexpzk−expziexpzi∑kexpzk2=ai(1−ai)

当i≠j时

∂aj∂zi=∂expzj∑kexpzi∂zi=0∑kexpzk−expzjexpzi∑kexpzk2=−ajai

代入可得：

∂J∂zi=ai−yi

三种损失函数的求导有一样的结果，具体和指数族分布和广义线性模型有关具体见指数分布族。

==========================
tips：softmax再具体编写的时候，为了避免expxi过大,会用xi−xmax代替xi

贴上python实现的logistic和softmax简单例子欢迎学习交流