paper read weekly(two)
来源:互联网 发布:编写c语言的步骤 编辑:程序博客网 时间:2024/06/14 21:44
- 丫头姐姐要生小宝宝了,愿母女一切顺利平安,丫头辛苦了
- 公司出了新产品,老板一激动,又给我们灌了一个多小时的鸡汤。还给每个人留下了一个必须回答的哲学问题——你快乐吗???
- 去清华听了4位参与CVPR2017同学的论文分享,感触颇深
本周工作很紧,但忙里偷闲,还是看到了几篇耳目一新,有所启发的paper。
- Residual Attention Network for Image Classification
attention机制一直是一个比较符合人类认知的先验知识,之前看过一些文章,但对它的理解和怎么运用还是没把握,直到看到这篇paper,才顿然有所得。
我们先来看看网络长啥样:
- 熟悉的skip connection结构
- 熟悉的hourglass沙漏block
- 熟悉的Resblock
还有element-wise product
element-wise product的乘式因子就是attention map和feature map了。重点就是这个attention map的获取。它就是由下图的soft Mask Branch完成的。可以看到,这个结构和resblock很像,亮点在于他将hourglass和resblock结合了起来,使得无论是分类、检测还是识别问题都融入了attention,从而能更简单更高效的完成这些任务。
个人insights:
- attention map和feature map的融合一如SENet(ImageNet 2017 竞赛 Image Classification 任务的冠军网络)里的特征提取融合,对feature map的使用不再局限于简单的forward或者skip connetion,而是引入了对feature map重要性的考量,使得特征运用更加的高效。特征提取是基础,如何后续融合特征也是保证特征提取器效果重要trick。
- 回归到自己的工作上,attention机制是否可以用在depth estimation中呢?目前还没想好,但可以肯定的是,attetion map和feature的element-wise product是可以吸取的,而且能肯定的是,类似这特征融合的机制是通用的。
特征融合还有一种方法就是局部特征的拼接融合了。先来一张图感受下:
[图片来自于Fully Convolutional Instance-aware Semantic Segmentation]
,有兴趣的同学自己去看吧,我贴这张图只是示意,不打算讲这篇paper啦。
局部特征拼接的优势在于,局部的精细化会做的更好,而且这对精细化分类也是有启发的。当然,难点在于如何完美拼接了。之前也一直在思考这一点,也攒了几篇paper,接下里就要好搬砖,要是效果不错,再来分享自己的代码心得了。
最后,这周末去听了cvpr的报告,讲讲感触:
- 怎么都是和我一样的瘦子,尤其是Momenta的总监孙刚老师,比我还瘦吧
- 顶级paper的工作都缺不了很solid的积淀,还是要多看paper,多思考
- 无论做什么task,在迁移时更多的应该是思考task之间本质的区别所在,然后将这种区别线索反应到所设计的网络结构中,而不是简单粗暴的改输出、改kernel,加减层。
阅读全文
0 0
- paper read weekly(two)
- Paper read weekly(one)
- paper read weekly(three)
- Paper read weekly(Four)
- paper read weekly(five)
- paper read weekly(six)
- Paper Read Records
- [Read Paper] Maxout Networks
- Paper tp read
- How to Read a Paper
- After read the WSDM paper
- How to read a paper
- How to read a paper
- how to read a paper
- How to read a paper?
- How to Read an Engineering Research Paper
- How to Read a CS Research Paper
- How to read a research paper
- HandlerMapping和BeanNameUrlHandlerMapping的使用
- SpringMVC 注解
- SpringMVC学习(1)
- Ubuntu 16.04 系统构建CUDA8.0,CuDnn5.1安装血泪史
- Spring连接数据源
- paper read weekly(two)
- SpringMVC学习(2)
- SpringMVC 注解2
- ASCII,Unicode,UTF-8
- 用注解实现springmvc
- 又是一个莫名的WA【极其不爽】洛谷 [USACO1.2]方块转换
- 数据仓库相关开源技术
- springMVC对静态资源访问的处理
- spring事务