论文笔记 | Metric Learning with adaptive density discrimination
来源:互联网 发布:cs1.5优化教程视频 编辑:程序博客网 时间:2024/04/30 12:51
Authors
Oren Rippel(有趣的是作者喜欢中文)
Manohar Paluri
Piotr Dollar
Lubomir Bourdev
Abstract
本文介绍了一种Distance Metric Learning (DML),效果比triplet还要好,而且需要的迭代次数更少。
1 Introduction
与传统的DML相比,Magenet不仅考虑intra-class variation 而且还考虑inter-class similarty。
2 Motivation
- target neighborhood structure是先验predefined的,大多数只考虑label的语义,忽略了类内的区别,应该将设置为adaptively
- objective formulation ,传统的目标函数只是针对一对或者是triplets,所以这会造成1性能下降short sightedness 2需要更多的迭代次数、
3 Magnet Loss
本文的DML算法是找出不同类别overlap的区域并将其分开。
3.1 Model Formulation
作者建立的objective如下:
公式里标注的小类就是一个大类之间的子类。
其中 rn代表某个点的representation,u(r)代表其聚类中心,K代表一个大类中利用k-means得到k个子类。与标准的dml方法不同的是这里使用了variance standardiztion。这就使得不同问题之间有了可比性,
3.2 Training Procedure
上面的模型是针对整个样本总体的,训练过程中我们要construct 一个 minibatch来实现我们的objective。
3.2.1 neighbourhood sampling
分为以下三步:
- samples a seed cluster
- 相近的选取m个cluster
- 对于每个cluster选取D个example
然后计算loss
3.2.2 cluster index
训练到一定程度更新cluster index。
3.3 Evaluation Procedure
这里L=128
3.4 Relation to existing models
- triplet 将D设为2,M=2,忽略方差,就会得到triplet的公式
- Neighborhood component analysis
- Nearest class Mean
学习线性矩阵W
4 Experiment
作者使用带batch normalization的GoogLeNet,但是是partly trained(3 epochs),测试时用了16个augmentation的average。
试验说明Magnet loss 在多数情况下都会好于triplet和softmax,训练速度快于triplet,而且使用的kNC再Magent loss上也好于KNN
Appendix B
momentum 0.9
smaller dataset refresh index every epoch 。 for ImageNet Attributes every 1000 iterations
总结
- Authors
- Abstract
- Introduction
- Motivation
- Magnet Loss
- 1 Model Formulation
- 2 Training Procedure
- 21 neighbourhood sampling
- 22 cluster index
- 3 Evaluation Procedure
- 4 Relation to existing models
- Experiment
- Appendix B
- 总结
- 论文笔记 | Metric Learning with adaptive density discrimination
- (论文阅读笔记1)Collaborative Metric Learning(一)(WWW2017)
- (论文阅读笔记1)Collaborative Metric Learning(二)(WWW2017)
- 《论文阅读笔记》Deep Metric Learning via Lifted Structured Feature Embedding
- 论文笔记:MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching
- [深度学习论文笔记][CVPR 16]Deep Metric Learning via Lifted Structured Feature Embedding
- [论文笔记]Adaptive Subgradient Methods for Online Learning and Stochastic Optimization
- 【Machine Learning】笔记:Adaptive learning rates
- 笔记-2012-Fast Online Training with Frequency-Adaptive Learning Rates for CWS and New
- 【论文学习笔记】Face Recognition with Learning-based Descriptor
- 论文笔记(二). Learning Identity mapping with Residual Gates
- 【论文笔记】Sequence to sequence Learning with Neural Networks
- Sequence to Sequence Learning with Neural Networks论文笔记
- 论文笔记:Adaptive Run Length Smoothing
- 【2017_ICCV】Deep Metric Learning with Angular Loss
- Learning Policies for Adaptive Tracking with Deep Feature Cascades
- Visual Object Tracking using Adaptive Correlation Filters 论文笔记
- METRIC LEARNING(度量学习)
- 在阿里云上装docker
- 搜索
- UVA 12304 2D Geometry 110 in 1! 六个直线与圆的问题+经典几何
- [LeetCode]112. Path Sum&113. Path Sum II
- Android开发在string.xml文件中设置部分字体颜色大小
- 论文笔记 | Metric Learning with adaptive density discrimination
- 图解Linux命令之--userdel命令
- ACM-ICPC国际大学生程序设计竞赛北京赛区(2016)网络赛 F. Periodic Signal(FFT 优化乘法)
- 逞年轻多学习(2016/10/01)
- Hashtable与HashMap的区别
- codeforces-C. Journey(广搜+记录路径)
- 将你的Laravel应用部署到Heroku上
- ListView点击item底部弹出popupWindow删除、修改、取消选择框
- 嵌入式系统学习(三)-S5P4418 芯片存储空间分布说明