神经网络中的softmax函数

Softmax function

1 提出背景

对于一般的神经网络而言，误差函数为,但是这样的误差函数是会存在问题的：

（1）  对于互斥分类问题的概率求解问题，必须要保证,但是如果采用上述的误差函数，是没有办法保证的

（2）  对于分类问题，实际的结果是1，但是预测的结果是0.0000001，即好比实际的结果在x轴方向的，但是预测的结果却是y轴方向。那么，在缩小误差的过程中，就需要相当长的时间。

2 神经元的激励函数的变化

注意：j代表k-1层所有的神经单元

 

3 误差函数的变化

 采用熵的方法，求解误差