正态分布/BP算法—笔记
来源:互联网 发布:58上面网络销售可靠吗 编辑:程序博客网 时间:2024/05/18 03:52
1.为什么正态分布在自然界如此常见?
(1)n个独立同分布随机变量,根据中心极限定律,当n趋于无穷时,其平均值服从正太分布(高斯分布)。一个指标受到若干因素影响,但是单个因素又对指标构不成决定性影响,则该指标服从中心极限定律,收敛与正太分布——林徳伯格-费勒中心极限定理。
(2)正太分布的信息墒最大
(3)统计学三大分布:卡方分布,t分布,f分布都与正太分布有关
(4)Everyone believes in the normal law, the experimenters because they imagine that it is a mathematical theorem, and the mathematicians because they think it is an experimental fact——法国物理学家
(5)自然界最常见的分布并不是正太分布,而是长尾分布。自然界的各个变量之间往往是有关系的。
2. backpropagation
本质:通过改变网络权重(参数)来改变目标损失函数,最终转换为计算损失函数对权重的梯度,而损失函数对权重梯度公式最终由残差来表示。
(1)forward propagation:输入训练数据,结合对应权值和激活函数,传遍整个网络,最后获得输出。计算:矩阵×矩阵 ,...,矩阵x矩阵,矩阵x向量
(2)back propagation:根据网络输出的预测值和真实值获得惨差,把残差反向传遍整个网络(表现为各个权值的梯度)。计算:向量x矩阵,...,向量x矩阵——更高效!梯度的具体计算
方法是:利用多元函数求导的链式法则。
阅读全文
0 1
- 正态分布/BP算法—笔记
- 笔记(2):BP算法
- 【机器学习】BP算法学习笔记
- 神经网络——BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- 正态分布随机数算法
- 斯坦福机器学习-week5 学习笔记(1)——神经网络训练BP算法与Gradient checking
- CS231n 学习笔记(4)——神经网络 part4 :BP算法与链式法则
- DL学习笔记1—BP算法的matlab代码学习
- windows10下安装tensorflow
- C#Windows服务
- 【Intellij IDEA】设置 jdk 版本
- 2017年18岁的北京文科状元父母都是外交官,关于高考,他说出了我们竭力回避的戳心真相
- 字符串相关题目
- 正态分布/BP算法—笔记
- 11.7-全栈Java笔记:如何实现线程同步
- 浏览器渲染页面原理
- 秒变配色高手!怎么都不会错的6条网页设计配色原则
- 【C++】构造拷贝构造的 N 中调用情况
- 在Ubuntu 14.04.2 LTS上安装Qt
- java网络编程之application/x-www-form-urlencoded MIME
- Apache Jmeter入门
- Webstorm 2016 full version activation code for free