神经网络笔记
来源:互联网 发布:惠州乐知英语 编辑:程序博客网 时间:2024/06/05 17:26
如上文所述, 如果我们使用均方误差来考量学习误差
则有
当神经元的输出接近
交叉熵的定义如下:
从交叉熵的计算公式, 可以发现:
a 和y 的取值域为[0,1] , 所以每一个单独项都是负数, 注意前面的系数−1n , 所以可以得到C≥0 .- 如果
y=0,a≈0 , 可以得到C≈0 , 同理,y=1,a≈1 , 可得C≈0 .
所以, 交叉熵是可以作为代价函数来考量学习误差的. 接下来分析学习速度.
继续推导:
因为
所以:
显然, 学习速度跟学习误差成比, 这正是所期望的.
类似的, 我们也可以由此推导
Reference
- http://neuralnetworksanddeeplearning.com/ 强烈推荐
- https://en.wikipedia.org/wiki/Cross_entropy
阅读全文
1 0
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 神经网络笔记
- 人工神经网络学习笔记
- 神经网络学习笔记
- 神经网络模型学习笔记
- 神经网络学习笔记三
- matlab神经网络笔记
- 神经网络学习笔记 - 0
- [神经网络]学习笔记
- 卷积神经网络(CNN)笔记
- BP神经网络学习笔记
- 【复习笔记】人工神经网络
- Elasticsearch基础教程
- 搜索 P
- 一道关于扔球的DP问题
- linux线程2
- java中正则表达式以及Pattern和Matcher
- 神经网络笔记
- 利用Apache Bench进行网站服务器压力测试实例
- 1006. 换个格式输出整数 (15)
- 会计科目的共同类指的是什么
- android getevent用法
- java定时器时间配置
- angular2实战笔记--组件开发
- vs"链接器工具错误 LNK2026 XXX模块对于SAFESEH 映像是不安全的"
- 反射:类的加载机制