softmax 回归

Softmax回归是解决多分类问题，y有多个类别，如在mnist数字识别中，k=10. 在实际问题中，给定输入x，我们的假设函数针对每一个类别i估算出概率值，P(y=i|x).

首先，给定输入x，它代表类别i的证据为

evidence(i)=∑iwix+bi

其中wix代表权重，代表偏置，然后用softmax函数转为概率y.

y=softmax(evidence)

其中

softmax(x)=normalize(exp(x))=exp(x)/∑iexp(xi)

这个幂运算表示，更大的证据对应更大的假设模型里面的乘数权重值，更进一步，整个计算过程可以写成：

y=softmax(wx+b)