softmax

softmax是柔性化最大值，是一种归一操作，使得输出在（0,1）之间

argmax其实是取得max时的arg，argmax=c

最后一层是softmax分类器，使用的是softmax函数，如同，在普通神经网络里面，使用的是逻辑回归，那么函数就是sigmoid函数。

总共有K个类别，那么概率最大值就是属于的label。

代价函数为：

1{y=j}=1 if {}里面的等式成立，损失函数对k个可能的值都进行了累加，下面的式子表示的是，遍历i,如果y(i)和类别中的某个值相等，那么该式子就成立。

softmax函数为：

以上是分类方法，softmax可以看做是对逻辑回归的拓展，但

在paper:A Neural Probablistic Language Model中，有个softmax outlayer，这里

softmax就是应用到函数值

x 应该是yi.

n表示有n个输入（X是n维向量），C表示有C种类别，t表示目标值，y(x)实际值。cross entropy表示的实际值与预测值之间的一个标准，交叉熵越小表明预测越准确。

cross entroy error in softmax layer:

这里介绍Neural Network Cross Entropy Error，非常详细，包括算法和代码