Iterative Projection Method

概念

今天看了一篇有意思的优化文章，Iterative Projection Methods for Structured Sparsity Regularization，其中提出了一种求解形如

L(f)=F(f)+2τJ(f)

优化问题的算法，其中F:H→R是一个严格凸并可导的函数，J:H→R∪{∞} 是一个凸并且满足one-homogeneous的函数。所谓one-homogeneous，即为：

J(λf)=λJ(f)

像常见的L1 范数，是满足的。H 表示希尔伯特空间。
上述目标函数中，F 通常是数据项，J 通常是正则项。

Iterative Projection Method

算法流程如下

其中K=∂J(0) 是J 的次梯度在0处的取值，是一个集合。 πτσK 是到集合τσK 的投影。

证明

首先给出几个性质
引理1: Young-Fenchel 等式
令J∗(g) 是J(f) 的共轭函数，则

g∈∂J(f)⇔f∈∂J∗(g)

引理2
若函数J(f)是one-homogeneous的，即J(λf)=λJ(f)， K=∂J(0) 是次梯度在0处的集合，则J∗(f) 是K 的示性函数。
因为：
J∗(g)=supfgTf−J(f)，最优的f∗ 满足g∈∂J(f∗)。由于J(λf)=λJ(f)， 则J∗(g)=supfgTf−J(λf)λ，同理，最优的f∗ 满足g∈∂J(λf∗)。注意，λ 可以取任何值，因此f∗=0，且J∗(g) 只在g=0 处取值为0，其他处没有定义，取值为∞.

以下是证明过程
若f 是目标函数的minimizer，则一定满足：

0∈2τ∂J(f)+∇F(f)

使用引理1，可以得到

f∈∂J∗(−12τ∇F(f))

令g=f−12∇F(f), 将f 移到右边，并将12∇F(f) 进行替换，可以得到

0∈1τ(g−f)−gτ+1τ∂J∗(1τ(g−f))

令w=1τ(g−f)，则w 是下述问题的最优解：

12∥w′−gτ∥2+1τJ∗(w′)

由于J∗() 函数是K 的示性函数， 则上述问题实际上是在K 中寻找与gτ的最近点，即上述问题的解为πK(gτ)。
因此， f=g−τπK(gτ)=g−πτK(g)，即

f=f−12∇F(f)−πτK(g)

对F和τ同时除以σ，即得到一个fix-point update。