【CVPR2017论文】Loss Max-Pooling for Semantic Image Segmentation

问题引入

CNN的发展在很多任务取得了很好的效果，但是很少有工作注意到怎么合理的处理类别分布不均衡的问题。所谓的不均衡指的就是大多数的数据组成了数据中的类别数目较少的大类别，而其余的属于小类别，形成了相对不具有代表性的类别，数据聚集在某些类别上，因此，可以观察到可以观察到，在没有校正机制的情况下进行训练的分类器在推断期间倾向于偏向大类别。

减轻类不均衡问题的方式

一种方式是首先强调数据集的均衡汇集，大致统一收集样本。ImageNet，Caltech，CIFAR10这些数据集是遵循这点的典型代表，训练集验证集和测试集大致均衡，每一类的样例数均衡。
另一种使用广泛的是在汇集实际训练数据时，对数据较少的类别进行过度采样或从大多数人群中进行抽样。这样的方法改变了底层的数据分布，并且可能导致次优利用可用数据，增加计算工作量，或在重复访问来自数据量小的类别的样本时过度拟合的风险。但是它的效率以及可以直接应用于图片分类任务取得了普遍认同的做法。
被称为成本敏感学习的另一种方法是通过引入特定类别的权重来改变算法行为，这通常是从原始数据统计中得出的。这些方法最近在深度学习领域研究，其中一些方法遵循先前在诸如随机森林或支持向量机等浅层学习方法中应用的想法。这些工作中许多使用静态定义的代价矩阵或引入额外的参数学习步骤。 由于空间排列和相邻像素之间的类间强相关性，因此当执行像语义分割任务中的密集像素分类时，成本敏感的学习技术优于重采样方法。 然而，当前语义分割数据集的趋势表现出复杂性的增加，增加了更多的少数类别。

贡献

在这项工作中，我们提出了一个原则性的解决方案来处理在深度学习方法中语义分割任务的的数据集不平衡问题。 具体而言，我们引入了一个新的损失函数，限制了传统损失的上界，传统损失中每个像素的权重相等。 这个上界是通过作用于像素损失级的广义最大池化操作获得。
最大化是通过像素加权函数实现的，由此基于它们实际展现出的的损失，提供对每个像素的贡献的自适应重新加权。 一般来说，训练期间较高损失的像素的权重大于损失较低的像素，从而间接地补偿了数据集内潜在的类间和类内不平衡。 后一种不平衡是因为我们的动态重新加权是类无关的，即我们没有利用以前的成本敏感学习方法的类标签统计。
广义的最大池化操作，即我们的新损失，可以以不同的方式实例化，这取决于我们如何划分可行像素加权函数的空间。 在本文中，我们重点研究了具有有界p范数和∞范数的特定加权函数族，并研究了在这种情况下我们的损失函数所表现的性质。 此外，我们提供了在这种特殊情况下得到我们的损失函数的显式表征的理论贡献，其使得能够计算深度神经网络的优化所需的梯度。

PS:
这篇论文后续就是很多的公式推导，数据分析。