论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
来源：互联网 发布：智慧树网络课答案2017 编辑：程序博客网 时间：2024/06/04 00:33
因为对深度压缩中的剪枝不太理解遂读了原文作者更早的这篇详细讲网络剪枝的文章点击打开链接
剪枝的过程为：
1.首先剪枝的前提是对已完成训练的网络
2.进行剪枝 要点：根据一个阈值去裁剪参数
a.阈值的确定：首先这个阈值相关于这一层权重的标准差（The pruning threshold is chosen as a quality parameter multiplied by the standard deviation of a layer’s weights.），同时每一层的阈值的确定也要参考相应层对裁剪的敏感度（We used the sensitivity results to find each layer’s threshold: for example, the smallest threshold was applied to the most sensitive layer, which is the first convolutional layer. ）。文中以折线图的形式展示了AlexNet每一层对裁剪的敏感度如下：
b.某个权重被裁剪后，与其相连的前一层或者后一层的连接也自动失效了。
3.迭代剪枝（即一次剪枝+一次重新练为一个迭代）
a.重新练的时候参数是在剪枝完的基础上，所以不需要重新初始化；
b.为了消除裁剪产生的错误率，重新训练的时候卷积层固定为剪完后的参数不变，仅重训练全连接层的参数，反之亦然；
c.重新训练采用L2规则化效果更好
4.剪枝完成
如下图示：对AlexNet的第一个全连接层剪枝完后的前后权重分布差异，之前分布范围在 [−0.015,0.015]，之后为 [−0.025,0.025].
阅读全文
0 0
- 论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
- Learning both Weights and Connections for Efficient Neural Network -- 论文笔记
- 神经网络压缩（3）：Learning both Weights and Connections for Efficient Neural Network
- 神经网络压缩（3）：Learning both Weights and Connections for Efficient Neural Network
- 论文阅读：Sparsifying Neural Network Connections for Face Recognition
- cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
- cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
- cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
- [论文阅读] EIE: Efficient Inference Engine on Compressed Neural Network
- 人脸识别方向论文笔记（3）-- Sparsifying Neural Network Connections for Face Recognition
- A Simple Deep and Effective Neural Network for Semantic Role Labelling 论文阅读
- neural network and deep learning(笔记二)
- 论文笔记《IS object localization for free? Weakly-supervised learning with convolutional neural network》
- Feed Forward and Backward Run in Deep Convolution Neural Network 论文阅读笔记
- 论文阅读笔记-learning multi-domain convolutional neural networks for visual tracking
- [论文解读] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
- [NLP论文阅读]LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
- [论文阅读]MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
- Java实现Excel导入数据库，数据库中的数据导入到Excel
- 分布式监控解决方案zabbix03-监控mysql
- 阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
- 强烈推荐的机器学习，深度学习课程以及python库
- Umeng推送无法打包问题
- 论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
- linux中file_operations结构体
- 页面的缓存与不缓存设置
- Oracle11g dgbroker进行自动failover
- Eclipse常用快捷键
- spring4.0.2+mybatis3.2.4+sharding-jdbc1.4.2实现分库分表、读写分离及事物支持
- oracle 最大编码后四位自加并且补零
- 什么是跨域？
- 如何去除vue项目中的 # --- History模式
