《neural network and deep learning》题解——ch03 过度拟合&规范化&权重初始化
来源:互联网 发布:淘宝开店名字可以改吗 编辑:程序博客网 时间:2024/05/29 16:47
问题一
正如上面讨论的那样,一种扩展 MNIST 训练数据的方式是用一些小的旋转。如果我们允许过大的旋转,则会出现什么状况呢?
如果我们允许过大的旋转,会使得模型不能很好的学习到数字的特征,甚至学习到错误的特征。
问题二
我们的机器学习算法在⾮常⼤的数据集上如何进行?对任何给定的算法,其实去定义一个随着训练数据规模变化的渐近的性能是一种很自然的尝试。一种简单粗暴的方法就是简单地进行上⾯图中的趋势分析,然后将图像推进到无穷大。而对此想法的反驳是曲线本⾝会给出不同的渐近性能。你能够找到拟合某些特定类别曲线的理论上的验证方法吗?如果可以,比较不同的机器学习算法的渐近性能。
待解
问题三
验证
z=∑jwjxj+b 标准差为3/2−−−√ 。下面两点可能会有帮助:(a)独立随机变量和的方差,是每个独立随机变量方差的和;(b)方差是标准差的平方
由独立随机变量和的方差,是每个独立随机变量方差的和,可得:
方差是标准差的平方,可得:
问题四
L2 规范化有时候会自动给我们一些类似于新的初始化方法的东西。假设我们使用旧的初始化权重的方法。考虑一个启发式的观点:(1)假设 λ 不太小,训练的第一迭代期将会几乎被权重衰减统治;(2)如果
ηλ≪n ,权重会按照因⼦exp(−ηλ/m) 每 迭代期衰减;(3)假设 λ 不太大,权重衰减会在权重降到1/n√ 的时候保持住,其中 n 是网络中权重的个数。论证这些条件都已经在本节给出图示的例子中满足。
待解
- 《neural network and deep learning》题解——ch03 过度拟合&规范化&权重初始化
- 《neural network and deep learning》题解——ch03 交叉熵代价函数
- 《neural network and deep learning》题解——ch03 如何选择神经网络的超参数
- 《neural network and deep learning》题解——ch03 其他技术(momentun,tanh)
- 《neural network and deep learning》题解——ch03 再看手写识别问题题解与源码分析
- 《neural network and deep learning》题解——ch01 神经网络
- 《neural network and deep learning》题解——ch02 Network源码分析
- 《neural network and deep learning》题解——ch02 反向传播
- Neural Network and Deep Learning
- neural network and deep learning (1)
- neural network and deep learning (2)
- neural network and deep learning(笔记二)
- neural-networks-and-deep-learning network.py
- Neural Network and deep learning(二)
- Deep Learning——CNN(Convolution Neural Network)
- neural network and deep learning笔记(1)
- neural network and deep learning笔记(2)
- 《Neural Network and Deep Learning》学习笔记-hyper-parameters
- JavaScript学习(五)
- java线程组
- Linux学习——shell编程之正则表达式和字符处理命令
- V分身
- 20170716Windows11_3_可等待计时器对象
- 《neural network and deep learning》题解——ch03 过度拟合&规范化&权重初始化
- Android App应用调用已安装市场,进行软件评分的功能代码实现
- poj 2443 Set Operation (bitset用法
- leetcode题解-328. Odd Even Linked List && 19. Remove Nth Node From End of List
- 《小白兔到大黑牛》第十篇锁机制基础知识
- Python中的列表、元组
- HDU5037-贪心(很好)-Frog
- connect/select超时, 三次握手就一定不能建立吗? 非也非也
- servlet中load-on-startup的含义