Majorization-Minimization优化框架

来源：互联网发布：淘宝买家问质量怎么样编辑：程序博客网时间：2024/06/16 23:59

题目：Majorization-Minimization优化框架

Majorization-Minimization优化框架在各类算法中是很常见的，而且这个思想其实也很容易理解，简单点说，只需文献【1】中的三页PPT即可：

或者用文献【2】中的三页PPT来说明：

注意一点：在迭代过程中，新的目标函数是不断随着迭代点的变化而变化的，这个可以从文献【1】的那个图解过程清晰的看到。

可以看出，Majorization-Minimization流程很简单，关键的问题是如何构建新的目标函数，有关这个问题在文献【2】【3】【4】中都有涉及，这个得具体问题具体分析。

另外，文献【5】将Majorization-Minimization进行了推广，即Generalized MM：

懂得Majorization-Minimization这个优化框架很重要，很多迭代类的算法均基于此，否则无法透彻的理解一些算法。

参考文献：

【1】谷鹄翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html

【2】Ying Sun and Daniel P. Palomar. Majorization-Minimization Algorithm: Theory andApplications[slides]. 2015,HongKong. (Available at:http://www.ece.ust.hk/~palomar/ELEC5470_lectures/11/slides_MM_algorithms.pdf)

【3】Lange, K., Hunter, D.R., Yang, I..OptimizationTransfer Using Surrogate Objective Functions[J]. Journal ofComputational &Graphical Statistics, 2000, 9(1):1-20. (Available at:http://sites.stat.psu.edu/~dhunter/papers/ot.pdf)

【4】D. R. Hunter, and K. Lange, ”A Tutorial on MMAlgorithms”, Amer. Statistician, pp. 30-37, 2004. (Available at: http://sites.stat.psu.edu/~dhunter/papers/mmtutorial.pdf)

【5】Parizi S N, He K, Sclaroff S, et al.Generalized Majorization-Minimization[J]. Computer Science, 2015,121(2):95-108. (Available at: http://arxiv.org/pdf/1506.07613.pdf)

1 0