Devolutional network阅读笔记
来源:互联网 发布:对网络直播的看法作文 编辑:程序博客网 时间:2024/06/07 22:13
Matthew D. Zeiler, Dilip Kirshnan, Graham W. Taylor, and Rob Fergus. Deconvolutional Network.Computer Vision and Pattern Recognition (June 13-18, 2010) 论文下载 Code Images Videos
简单理解,可能有些地方理解的不到位,还望大家多多指教
1. Deconvolutional Networks的出发点
从图像中提取特征,从这一点而言,Deconvolutional network和Convolutional network的出发点是一致的,只不过,为了实现这一目的使用的策略是不同的
2. Deconvolutional Networks的应用
Deconvolutional network被提出时,是为了从图像中提取特征,从而,可以应用到object recognition中,但后来并没有朝这个方向发展,因为Convolutional network已经很强大了,而且,深层的Deconvolutional network做optimizing还是很困难的;现在的deconvolutional network主要朝着feature visualization方向发展
3. Convolutional network和Deconvolutional Network异同
既然Deconvolutional network和convolutional network的出发点是一致的,那么,他们到底有什么区别呢?它们的具体实现机制是不同的!
- CNN:给定一组图像及其相应的labels,学习一系列的filters(多层),将这些学习到的filters对输入图像进行卷积可以将输入的图像映射成不同的feature maps
- DCNN:给定一组图像(不需要labels),去学习一系列的filters和feature maps,使得这些filters对feature maps做卷积后等于输入的图像
- 这里的“反卷积”应该是与卷积相对的
- 卷积:利用filters对输入图像进行卷积,得到小一点feature maps
- 反卷积:利用filters对feature maps进行卷积,得到大一点的输入图像(或者是上一层的feature maps)
4. Deconvolutional Networks到底如何实现的呢?
在《Deconvolutional Network》的文中,作者主要是通过讨论一个优化问题来解决了从输入图像中learn features(latent features)
5. 下面配几张图
文章中的公式(1):任何一幅图像的某一个channel都可以表示为一组feature maps和一组filters的卷积和
文章中的公式(2):构造一个loss function,使得任何图像(多个channels)都可以表示为多组feature maps和多组filters的卷积和
文章中的公式(3):求解第
l 层的多幅(I )图像的feature maps和fitlers的目标函数;或者说是:求解第l 层多个feature maps对应的上一层(l−1 )的feature maps和filters的目标函数;是DCNN的核心,后续的工作其实就是在求解该优化问题
6. DCNN的优化问题求解
这部分还不太理解,大致就是类似于EM的iterative的方法:给定输入图像,先固定filters,求解feature maps;再固定feature maps,求解flters;如此依次迭代,最后得到输入图像对应的features maps和filters(可能是多层的哦!)
参考文献:
http://blog.csdn.net/langb2014/article/details/50836102
- Devolutional network阅读笔记
- NIN-Network In Network阅读笔记
- UNIX Network阅读笔记 第三章socket介绍
- In-network PCA and anomaly detection阅读笔记
- Deep Convolutional Network Cascade for Facial Point Detection阅读笔记
- "A MultiPath Network for Object Detectio" 阅读笔记
- Deep Convolutional Network Cascade for Facial Point Detection阅读笔记
- Deep Convolutional Network Cascade for Facial Point Detection阅读笔记
- UFLDL阅读笔记1—Multi-Layer Neural Network
- Deep Cascaded Bi-Network for Face Hallucination--阅读笔记
- Multi-Task Convolutional Neural Network for Face Recognition阅读笔记
- Hierarchical Attention Network for Document Classification阅读笔记
- Deep Convolutional Network Cascade for Facial Point Detection阅读笔记
- SANet:Structure-Aware Network for Visual Tracking 阅读笔记
- Distilling the Knowledge in a Neural Network 阅读笔记
- 文章阅读: network in network
- 论文阅读:Network in Network
- 论文阅读《Network in Network》
- linux安装jdk和tomcat
- 发现一个比较有价值的论坛
- C++:IO流条件状态
- List集合中的对象根据属性排序
- hover事件1,鼠标移入改变css样式
- Devolutional network阅读笔记
- Android初学之Runnable和Thread
- 单点登录的实现原理
- Unity单例模式
- 九度OJ 1069 查找学生信息
- 行为识别
- POJ-3176 Cow Bowling【基础DP】
- RxJava(三)简单常用操作符
- pdf格式转换之pdf转换成word文档的方法