Co-segmentation（联合分割）论文摘记

[1][2]分别用潜在前景直方图的L1和L2距离来衡量前景的差异，并把该差异作为一项全局约束加入基于马尔科夫随机场的能量。通过优化该能量方程来实现共同前景的分割。但注意，不论是L1还是L2，方程整体都是NP-hard的，因此作者采用了不同的近似方法逼近准确结果，前者采用的TRGC后者采用了二次伪布尔优化（QPBO）
沿着这一思路文[3]采用了一个“奖励”模型，基于该模型可以得到次模的优化解，但其中有个问题在于。前景向量的内积并不能完全说明前景向量的相似度
文[2]及[3]都需要用户交互来完成初始的图像中点的特征先验模型的建立
文[4]把目标方程简化为只有平滑约束和全局约束的优化形式。其中全局约束抛弃了文1中模型的选择的过程，而把前景一致性当成了一个前提。然后把全局约束定义为1个前景模型和n个背景模型，基于该潜在的n+1个模型确定各点属于前背景的概率，以EM的方式实现分割。该方法的分割结果偏向于将同一个bin同时设定为前景或者背景
以上四种方法均是基于MRF并包含一个全局约束项，实验作用于2张的图像对，且图像之间前景的尺度基本不变。
文[7]同文[1-4]一致，都是致力于建立一个基于MRF的优化能量。能量的第一项为单张图像内部的能量项，包括像素点标号代价能量项和像素点之间标号一致性的能量项。前者通过引入的联合重要度计算了每个点的平均重要度，并规范化到[0,1]，计算能量。能量的第二项为全局能量项，作者通过引入前景区域的一致性和每张图像前景和背景的不一致性，化简后得到一个次模的优化方程。此外作者还对词典的生成方法进行的改进，基本原则是基于L1，L2模的特点(当作为最小化约束时，L1模趋向于集中到某几个bin入口，L2模趋向于平均到每个bin入口)。用L12模约束kmeans聚类过程是的不同图像上的相似表征可以聚类到同一类，相同图像上的各种表征尽量分开
文[11]建立了一个基于MRF的能量函数，同前面的优化方程一样该函数包含图像内能量和图像间能量，图像内的能量包含三项，第一项为各像素点的标号代价，第二项为超像素的标号代价，第三项为子区域与父区域标号差异性的代价。图像间的能量基于区域匹配得到，即匹配区域的标号差异代价。区域的匹配由基于匹配对图的方法实现。算法的开始采用了“物体性”的自动分割方法，得到初始分割区域后建立前景像素点的颜色模型及超像素的纹理模型，计算像素点和超像素的标号代价。因此整体算法也可以说是无监督的。
文[8]把待分割的图像潜在前景特征向量组合成矩阵，由于前景只有一个，因此前景特征矩阵的阶为1。在建立优化方程把该条件作为约束放入优化方程，其优点是1）不同图像上的前景尺度可容许变化 2）迭代优化的过程可分解到在每幅图像上单独进行，因此保证了分割过程与图像数目的线性关系。
文[9]把待分割图像的潜在前景特征向量组成矩阵，由于只有有限几个前景，因此该矩阵中各个向量之间的相互关系可以用一个关联矩阵C来表示。且C是稀疏的。通过将这种稀疏性形式化为全局约束放入基于MRF的能量方程中，用EM的方法优化求解各图像像素点的前背景标号。以上方法的一个局限是背景必须不同，当有相同背景出现是，作者给出了一个基于用户指导的联合分割方法。此时由于前景已固定，可采用前景向量的直接组合方式给出能量方程并通过QPB的方法求解
文[5]考察一系列分割标准，并给每个超像素的标号难度打分，每次选择一个难度最高的超像素块交给用户进行交互，完成交互后，完善先前模型，再对每个超像素块重新打分并进入新一轮的循环，知道所有的图像得到满意的分割结果为止。值得注意的是，该方法只能作用于所有图像的前景和背景都各自属于同一个类的情形，因此按文中方案为所有图像的前景和背景分别建立一个高斯混合模型（GMM）
文[6]可针对多图像(>2)进行图像分割。使用判别聚类来实现分割。判别聚类的概念是指，通过建立优化方程求解给定的特征的类别标号使得如果把这些特征和所求对应标号放入SVM时，所得到的分割超平面距离最大。由判决聚类的概念很适合联合分割的问题。本文使用Ncut作为图像内部的分割基础，用判别聚类作为整个图像集的特征分类基础。
把图像分成2部分让用户选择哪一部分为前景。文[7]是把文[6]的问题扩展到多object情形，
图像内分割采用多分割，全局的分割用多标记判别聚类来形式化。只是整体的优化方法有所不同
文[10]的基本思想是通过对每个图像进行多次基于“对象性”的分割，并跳出其中分数最高的前n(n=50)个分割。再对目标图像集的中所有图像组成一个完全图，图的每条边有n*n种可能的权值，权值的大小通过随机树回归器学习并推导得到。最后优化得到最大化该带权图的能量，得到联合分割结果。优化算法通过A*-搜索或LBP得到
文[12]所要解决问题的基本定位是多前景分割问题，其解决方法是个迭代的过程，主要包括2个子过程，前景建模和区域标号。前景的建模过程分别基于GMM和SVM对颜色和SIFT为每个前景建模（所有的背景也当做一个前景）。区域标号过程是一个拍卖算法过程，基于前面的建模过程，为每个区域计算其属于各个前景类的得分。在此基础上，将区域标号过程转化为使得整体标号划分所得分数最大的最优化组合问题。由于该问题是个指数级的组合爆炸问题，作者采用了启发式的算法近似求解最后的标号结果，具体来说，通过相邻关系减少可组合区域，在通过保留各类最高得分的区域减少候选区域集。过滤有重叠的区域的候选集，最后通过搜索算法完成标号。
 
[1]C. Rother, T. Minka, A. Blake, and V. Kolmogorov. Cosegmentation
of image pairs by histogram matching: Incorporating a global constraint into MRFs.
[2]L. Mukherjee, V. Singh, and C. Dyer. Half-integrality based
algorithms for cosegmentation of images. In CVPR, pages
2028–2035, 2009.
[3]D. Hochbaum and V. Singh. An efficient algorithm for cosegmentation.
In ICCV, pages 269–276, 2009.
[4] S. Vicente, V. Kolmogorov, and C. Rother. Cosegmentation
revisited: Models and optimization. In ECCV, pages II: 465–479, 2010.
[5] D. Batra, A. Kowdle, D. Parikh, J. Luo, and T. Chen. iCoseg:
Interactive co-segmentation with intelligent scribble guidance.
In CVPR, pages 3169–3176, 2010.
[6] A. Joulin, F. Bach, and J. Ponce. Discriminative clustering
for image co-segmentation. In CVPR, pages 1943–1950, 2010.
[7] K. Chang, T. Liu, and S. Lai. From co-saliency to cosegmentation:
An efficient and fully unsupervised energy
minimization model. In CVPR, 2011.
[8] L. Mukherjee, V. Singh, and J. Peng. Scale Invariant Cosegmentation
for Image Groups. In CVPR, 2011.
[9] L. Mukherjee, V. Singh, X. Jia and C. Maxwell D. .Analyzing the Subspace Structure of Related Images: Concurrent Segmentation of Image Sets. In ECCV 2012.
[10] S. Vicente, C. Rother, and V. Kolmogorov. Object cosegmentation.
In CVPR, 2011.
[11] Jose C. Rubio1, Joan Serrat1, Antonio L′opez1, Nikos Paragios Unsupervised co-segmentation through region matching CVPR 2012
[12] Gunhee Kim Eric P. Xing On Multiple Foreground Cosegmentation CVPR 2012
[13] Maxwell D. Collins1 Jia Xu1 Leo Grady2 Vikas Singh1, RandomWalks based Multi-Image Segmentation: Quasiconvexity Results and GPU-based Solutions CVPR 2012
 
Distributed Cosegmentation via Submodular Optimization
on Anisotropic Diffusion
将分割问题建模为各向热扩散的温度最大化问题并通过次模优化来求解。应用到联合分割时只是简单地把对应的发热点手动绑定