一天搞懂深度学习—学习笔记4(knowledge and tricks)
来源:互联网 发布:检查80端口 编辑:程序博客网 时间:2024/05/19 12:16
1.ultra deep network
世界上的摩天大楼有很多,而且大家也都一直在互相攀比谁的更高。文中给出了几个标志性建筑,Great Pyramid < Eiffel Tower < Empire State < World Trade Center < CN Tower < Burj Khalifa,有兴趣可以去查查
在神经网络的世界里,前面也提到过了,Thin and Tall会好一些,文中给出了几个经典的CNN网络层次图,如下
网络的层数越多,意味着能够提取到不同level的特征越丰富。并且,越深的网络提取的特征越抽象,越具有语义信息。原来的网络,如果简单地增加深度,会导致梯度弥散或梯度爆炸。即使通过上述方法能够训练了,但是又会出现另一个问题,就是退化问题,网络层数增加,但是在训练集上的准确率却饱和甚至下降了。这个不能解释为overfitting,因为overfit应该表现为在训练集上表现更好才对。退化问题说明了深度网络不能很简单地被很好地优化。作者通过实验证明:通过浅层网络+ y=x 等同映射构造深层模型,结果深层模型并没有比浅层网络有等同或更低的错误率,推断退化问题可能是因为深层的网络并不是那么好训练,也就是求解器很难去利用多层网络拟合同等函数。 参考http://www.jianshu.com/p/e58437f39f65
2.Attention-based Model
这个地方我觉得PDF文档写的不怎么精细,找了一个知乎的回答,算是个学习了参考https://www.zhihu.com/question/36591394
在大部分的论文中,Attention是一个权重vector(通常是softmax的输出),其维度等于context的长度。越大的权重代表对应位置的context越重要。不同论文对attention权重的计算方式不同,但其核心抛不开上述两点。
这篇博文没什么自己的内容,主要对几个比较重要的知识点做了提及,并且给出了相应的好的解释博文的连接。这篇加上以上三篇论文作为自己进入这个领域的理论知识点的一个归纳总结。希望自己以后多阅读一些机器学习的论文,向前辈学习,同时多进行整理归纳。
- 一天搞懂深度学习—学习笔记4(knowledge and tricks)
- 一天搞懂深度学习—学习笔记1
- 一天搞懂深度学习
- 一天搞懂深度学习
- 一天搞懂深度学习—学习笔记2(CNN)
- 一天搞懂深度学习—学习笔记3(RNN)
- 初步了解DeepLearning----《一天搞懂深度学习》
- 【286页干货】一天搞懂深度学习(台湾资料科学年会课程)
- 干货 | 台大“一天搞懂深度学习”课程PPT(下载方式见文末!!)
- 深度学习tricks
- 深度学习的tricks
- 深度学习常见tricks
- 一天搞懂机器学习PPT笔记-1
- 一天搞懂机器学习PPT笔记-2
- 深度学习之常见tricks
- 深度学习之常见tricks
- 深度学习之常见tricks
- 深度学习正则化Tricks——dropout
- Scheduled执行jpa的save方法的问题。
- AOP实现用户操作日志记录
- 不常用系统命令
- K-Means算法
- unity操作ini文件
- 一天搞懂深度学习—学习笔记4(knowledge and tricks)
- IntelliJ IDEA 控制台中文乱码
- WEB网站设计用户登录的安全机制
- bind()的用法
- QT5.6移植到ARM 之 移植tslib1.4总结
- 遇到问的机器学习基本问题(1)
- 基于Apache Tomee服务系统的web前端输入中文乱码问题解决办法
- 关于window.onload
- Android webView加载html页面不显示(显示白屏)