Softmax 函数及其作用（含推导）

来源：互联网发布：淘宝开店年龄要求编辑：程序博客网时间：2024/05/08 08:27

Softmax函数的定义及作用

Softmax是一种形如下式的函数：

P (i) = e x p ( θ T i x ) \sum K k = 1 e x p ( θ T k x )

其中

θi和x是列向量,

θTix可能被换成函数关于x的函数

fi(x)。

通过softmax函数，可以使得P(i)的范围在[0,1]之间。在回归和分类问题中，通常θ是待求参数，通过寻找使得P(i)最大的θi作为最佳参数。

但是，使得范围在[0,1]之间的方法有很多，为啥要在前面加上以e的幂函数的形式呢？参考logistic函数：

P (i) = 1 1 + e x p ( - θ T i x )

这个函数的作用就是使得P(i)在负无穷到0的区间趋向于0，在0到正无穷的区间趋向于1。同样，softmax函数加入了e的幂函数正是为了两极化：正样本的结果将趋近于1，而负样本的结果趋近于0。这样为多类别分类提供了方便（可以把P(i)看作是样本属于类别i的概率）。可以说，Softmax函数是logistic函数的一种泛化。

softmax的推导

虽然Softmax函数得到的是一个[0,1]之间的值，且∑Kk=1P(i)=1，但是这个softmax求出的概率是否就是真正的概率？换句话说，这个概率是否严格等于期望呢？为此在这里进行推导。

假设现在有K个类，样本属于类别i的概率为ϕ(i),i=1,…,K,由于∑ki=1ϕ(i)=1,所以只需要前K-1个参数即可：

ϕ i = P (y = i, ϕ), i = 1, \dots, K - 1. ϕ (k) = 1 - \sum i = 1 K - 1 ϕ i

引入一个k-1维列向量

T(y),y=1,…,K−1,样本属于第i类则第i行元素为1，其余为0，即：

(T(i))i=1
因为y只能属于1类，故(y不等于k时)T(y)只有一个元素为1，其余元素都为0，则y的期望为：

E (T (y)) i = P (y = i) = ϕ i, i \neq K

令

βi=logϕiϕK,i=1,…,K，则有

e β i = ϕ i ϕ K \Rightarrow ϕ k = ϕ i β i \Rightarrow ϕ K \sum i K e β i = \sum i K ϕ i = 1

所以

ϕ k = 1 \sum K i = 1 e β i

将

ϕK=ϕiβi代入，有

ϕ i = e β i \sum K i = 1 e β i

由于分母中是求和操作，可以将i换成k，得

ϕ i = e β i \sum K k = 1 e β k

所以实际的期望是具有softmax函数的形式的，当fi(x)=βi=logϕiϕK时实际期望与softmax函数严格相等，所求概率为真实值。

在回归和分类问题中，我们假设βi与样本x正相关，即βi=θTix。由于是估计值，并不是严格意义上的期望，所以用P(i)代替ϕi。代入上式可得

P (i) = e x p ( θ T i x ) \sum K k = 1 e x p ( θ T k x )

此外Softmax函数同样可用于非线性估计，此时参数θ可根据现实意义使用其他列向量替代。在词矢量的计算中1，计算基于Skip-gram的当前词WI下输出词WO出现的概率为：

p (W O | W I) = e x p ( v w o ' T v w ) \sum W w = 1 e x p ( v ' T w v w )

vwo′为根据当前词矢量vw估计出的上下文词矢量。使用softmax函数求得的概率最大值为实际上与当前词矢量在维度空间上最接近的词。

Tomas Milokov, et al. Distributed Representations of Words and Phrases and their Compositionality ↩

2 0