Cross-entropy cost

cross-entropy函数作用是让神经网络学习的更快
偏导数,大小决定了学习的快慢
我们先看一个简单的模型，只有一个输入，一个神经元，一个输出
一.cost函数的模型为

对于单个的神经元有

其中a = σ(z), z = wx + b;
则有!
假设x=1,y=0

同理可以得到

从上面可以看出偏导数的大小决定于sigmoid函数的倒数，

从sigmoid函数的图像可以看出当输出接近1或者0的时候，曲线平缓，
很小，学习很慢

二.cross-entropy函数
定义cross-entropy函数

为什么能用来做cost函数
1.函数值大于0
2.当a=y的时候cost等于0
同理对c求w，b的偏导数



根据上面三个公式可以得到

同理可以得到

从上面两个公式可以看出他们学习的快慢取决于也就是输出error，error大的时候，更新多，学习快，error小的时候更新少，学习慢。