网络压缩-量化方法对比
来源:互联网 发布:淘宝外观专利侵权 编辑:程序博客网 时间:2024/05/21 12:49
转自:http://blog.csdn.net/shuzfan/article/details/51678499
本次介绍的是一种压缩神经网络模型大小的方法,来自《2014 arxiv:Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样,基本只对全连接层有效,因此这里权作了解。
由论文名可以看出,主要是对密集权重矩阵进行量化编码来实现压缩。
论文做了很多种量化方法的对比试验,不过都只针对全连接层,至于为什么不处理卷积层,大家可以考虑一下。下面就简单介绍一下这些方法。
SVD分解
全连接层的权重矩阵记作
为了能够用两个较小的矩阵来表示
我们唯一需要保存的就是3个比较小的矩阵
二值化
这种量化方法的想法来自于Dropconnect,量化如下:
假设原来的
K-Mmeans 标量量化
首先把
乘积量化
乘积量化就是把原始数据划分成若干个子空间,在每个子空间中分别进行K-Means。
比如原来的
残差量化
残差量化可以看做是一种分层量化、迭代量化。
首先对原始的
对比试验
接下来就是大量的对比试验,这里只列举一部分:(试验都在AlexNet的全连接层进行操作)
下图的横坐标是PQ的子空间分割数,K代表子空间中聚类的个数。
下图是不同方法的对比,结果发现PQ较好。此外为了综合考量准确率与压缩比,这里PQ中K=8。
总结
论文是Facebook投到2015ICLR的,估计是被拒了,因为通篇只有对比试验而没有自己原创内容。此外,我们唯一可以收获的是了解了一些简单的量化方法,而这些方法是可以作为其它高级方法的基础的。
- 网络压缩-量化方法对比
- 网络压缩-量化方法对比
- cnn网络压缩、量化和优化实现
- 量化压缩与量化补偿
- 常用图像压缩方法的对比
- Unity 贴图压缩方法和对比
- SIFT量化方法-乘积量化
- 存储容量单位和量化对比
- K-均值散列:学习二进制压缩码的近邻保留量化方法(董帆翻译)
- 【网络】HTTP 方法:GET 对比 POST
- IIS开启GZIP压缩效率对比及部署方法
- IIS开启GZIP压缩效率对比及部署方法
- IIS开启GZIP压缩效率对比及部署方法
- IIS开启GZIP压缩效率对比及部署方法
- IIS开启GZIP压缩效率对比及部署方法
- 计算机体系结构量化研究方法
- Matlab:向量量化学习网络
- LVQ学习向量量化网络
- 计量器具管理系统调试
- 远程调用框架dubbo
- 使用Kotlin语言编写Android程序
- springmvc里面获取request,response,session
- 在Win7下正确使用Python自带的pip管理工具下载
- 网络压缩-量化方法对比
- spark任务运行及jar包
- zabbix监控系统安装(Client端篇)
- Umeng多渠道打多包
- javascript的全选,反选,全不选,即点即改,批量删除
- webStorm与mongoDB
- POJ Problem 3941 Expected Allowance
- hdu 5903 Square Distance
- caffe-windows利用python对数据进行可视化