神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
来源:互联网 发布:ubuntu恢复初始命令 编辑:程序博客网 时间:2024/06/06 12:23
这是2015年斯坦福和英伟达的一篇论文。
转载自:http://blog.csdn.net/meanme/article/details/48713327之前介绍的两篇关于神经网络压缩的文章都是以这篇文章为基础进行的1.简介:
通过修剪训练后网络中的不重要连接(connections),来减少网络所需要的参数,减少内存和cpu的消耗,使网络更加适应在移动设备上运行。
2.idea思想:
1)首先训练整个网络,判断哪些是重要连接。
2)修剪不重要的连接。
3)重新训练修剪后的网络,微调保留下来的参数。
3.达到的效果:
1)在ImageNet上,减少了AlexNet 9倍的参数,从61 million的参数减少到6.1 million的参数;VGG网络则更是减少了16倍,并且修剪后的网路的accuracy没有下降。
2)可以防止过拟合
4.其它相关的工作:
1)用8位int型的activation代替16位float。
2)Network in Network和GoogleNet模型中使用了global average pooling代替FC层来减少参数,但在使用ImageNet的参数时,需要另外增加一个线性层。
3)dropout和本文的方法不同,dropout主要用来防止过拟合,并且是在训练过程中就产生0连接,而本文的方法则是在网络训练完之后对网络进行修剪,产生0连接。
4)HashNet这个本人没有看过,论文里作者猜想HashNet和pruning结合可能效果更好。
5.具体流程:
首先训练整个网络,目的是找出哪些是重要的连接;接着设置一个threshold,pruning掉low-weight的连接,将密集的网络变成稀疏的网络;最后则是对余下来的params进行微调,如果不微调,那么对网络的性能会有很大的影响。如图:
而使用本文的方法需要很大的技巧性:
1)Regularization:需要选择合适的regularization。L1范式会将更多的params转换成接近0,这在进行pruning之后,reTrain之前有很好的accuracy;L2范式在pruning和reTrain之后会降低accuracy。
2)Dropout and capacity control:dropout被当做“soft dropout”,而本文的方法则被当做“hard dropout”;这是因为dropout中被drop的在新的训练批时,可以被重新训练;而本文的则是直接去掉连接connections。而在使用本文方法的时候,dropout的ratio也分pruning之前和pruning不一样,具体如图所示:
3)Local Pruning and Parameter Co-adaptation:在reTrain的过程中,重新训练pruning后保存下来的weights比训练再次初始化的weights更好。其次,为了克服vanish gradient problem的问题,作者只训练pruning后shallow layer保存下来的params。
4)Iterative Pruning:其实就是重复的pruning,反复的找出不重要的连接然后pruning。
5)Pruning Neurons:一些0输入或者0输出的 neurons也能被pruned。
0 0
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- Learning both Weights and Connections for Efficient Neural Network -- 论文笔记
- 论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
- 神经网络压缩(2): Dynamic Network Surgery for Efficient DNNs
- 《neural network and deep learning》题解——ch01 神经网络
- 神经网络压缩(7)Soft weight-sharing for neural network compression
- 人脸识别方向论文笔记(3)-- Sparsifying Neural Network Connections for Face Recognition
- Neural Network and Deep Learning
- Standford机器学习 神经网络的学习(Neural Network Learning)
- Standford机器学习 神经网络的学习(Neural Network Learning)
- 机器学习中的神经网络Neural Networks for Machine Learning:Programming assignment 3: Optimization and generaliza
- 神经网络压缩(8)Incremental Network Quantization: Towards Lossless CNNs with Low-precision Weights
- 《neural network and deep learning》题解——ch03 如何选择神经网络的超参数
- neural network and deep learning笔记(1)
- neural network and deep learning笔记(2)
- 《Neural network and deep learning》学习笔记(一)
- ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
- 这是目前在做的事情的进度
- Android状态模式实践
- 三大常用机密算法原理与基础使用MD5、3DES、RSA
- Medium:Find Largest Value in Each Tree Row
- matplotlib的基本用法(八)——绘制柱状图
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- 周志华《机器学习》课后习题解答系列(六):Ch5.8
- 老司机带你探知存储伸缩之道
- LwIP源代码文件目录解析
- 编码解码
- 数据结构简单应用
- Java对MySQL中的数据实现增查删改
- Android6.0 最新简洁配置权限,APP专用
- Android studio 注解的配置