Softmax函数

Softmax函数简介

数学含义

　　　在数学中，softmax函数，又被称为归一化指数函数，是逻辑函数的一般化形式，它能够将一个K维的向量z转化成一个K维的、元素在[0,1]范围内的向量σ(z)，而且向量σ(z)中元素加起来等于1。softmax函数的形式如下：

σ(z)j=ezj∑Kk=1ezkforj=1,...,K

---

概率论含义

　　　在概率论里，softmax函数的输出可以用于表示一个类别分布（categorical distribution），也就是说，是关于K个不同可能结果的概率分布。事实上，softmax函数是类别概率分布中的梯度-对数-归一化工具（gradient-log-normalizer）。
　　　softmax函数被用于不同的多类别分类方法中，例如多类别逻辑回归、多类线性判别分析、朴素贝叶斯分类器和人工神经网络等。而在多类逻辑回归和线性判别分析中，softmax函数的输入是K个不同的线性函数的结果（也就是K个xTwj）；函数的输出是给定样本向量x和权重向量w下，样本向量属于第j个类别的预测概率，预测概率的公式如下：

P(y=j|x)=exTwj∑Kk=1exTwk

---

参考资料

softmax函数-维基百科 https://en.wikipedia.org/wiki/Softmax_function