《深度学习Ng》课程学习笔记01week3——浅层神经网络
来源:互联网 发布:js slice方法 mdn 编辑:程序博客网 时间:2024/05/19 22:56
http://blog.csdn.net/u011239443/article/details/77884830
3.1 神经网络概览
3.2 神经网络表示
3.3 计算神经网络的输出
对应的正向传播公式:
3.4 多个例子中的向量化
3.5 向量化实现的解释
3.6 激活函数
更多可以参阅《神经网络-激活函数对比》
3.7 为什么需要非线性激活函数?
如果没有非线性激活函数,那么神经网络其实就是只是单个神经元的线性组合:
3.8 激活函数的导数
sigmoid
Tanh
ReLU
3.9 神经网络的梯度下降法
更多可见 : http://blog.csdn.net/u011239443/article/details/76680704#t2
3.10 (选修)直观理解反向传播
总结
3.11 随机初始化
初始化W不能设为0,否则同一层的神经元的改变相同,使得类似于单个神经元:
解决方案,随机生成绝对值较小的初始值(初始值绝对值太大,会使得S型激活函数的绝对值趋于0,从而使得训练缓慢):
阅读全文
0 0
- 《深度学习Ng》课程学习笔记01week3——浅层神经网络
- 吴恩达深度学习笔记(一)week3 浅层神经网络
- 《深度学习Ng》课程学习笔记01week2——神经网络基础
- 《深度学习Ng》课程学习笔记01week4——深层神经网络
- 《深度学习Ng》课程学习笔记02week3——超参数调试、Batch正则化和程序框架
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络
- Andrew Ng机器学习课程笔记--week3
- 《深度学习Ng》课程学习笔记01week1——深度学习概论
- Andrew NG 深度学习课程笔记:神经网络、有监督学习与深度学习
- Coursera吴恩达《神经网络与深度学习》课程笔记(4)-- 浅层神经网络
- 吴恩达神经网络和深度学习课程自学笔记(三)之浅层神经网络
- 《深度学习Ng》课程学习笔记02week1——深度学习的实用层面
- AndrewNg神经网络和深度学习笔记-Week3-6激活函数
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络
- Coursera深度学习课程DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络
- 《深度学习Ng》课程学习笔记02week2——优化算法
- 深度学习入门课程笔记 神经网络
- 机器学习笔记week3(Andrew NG)
- Angular学习视频资料
- 斐波那契数列Fibonacci
- [初学笔记] matlab中 struct的用法,以及如何保存在xls中
- LeetCode 189. Rotate Array
- Android开发板串口(SerialPort)通信
- 《深度学习Ng》课程学习笔记01week3——浅层神经网络
- js一些常用操作
- PTC.Creo.4.0.M020.
- each遍历所有input值判断是否为空
- Lua_介绍_001
- jdbc的prooerties的配置;
- Spark1.6.3学习01——Quick Start
- Python教程百度云全集网盘分享
- 【学习摘记】马士兵Servlet&JSP_课时25-28_usebean