ISTA算法求解L1正则化问题

L1正则化问题：

minxf(x)+λ∥x∥1

若f(x)可导，且f(x)满足 L-Lipschitz条件，即存在常数L>0使得

∥∇f(x′)−∇f(x)∥22≤L∥x′−x∥22(∀x,x′)

则在xk附近可将f(x)二阶taylor展开近似为：

f^(x)≃f(x0)+⟨∇f(x0),x−x0⟩+L2∥x−x0∥2=L2∥x−(x0−1L∇f(x0))∥22+const

上式的最小值为：

x=x0−1L∇f(x0)

若通过梯度下降法对f(x)进行最小化，则每一步迭代等价于最小化二次函数f^(x).

L1正则化问题的迭代公式为：

xk+1=argminxL2∥x−(xk−1L∇f(xk))∥22+λ∥x∥1

令z=xk−1L∇f(xk),然后求解：

xk+1=argminxL2∥x−z∥22+λ∥x∥1

解得：

xik+1=⎧⎩⎨⎪⎪⎪⎪zi−λL,0,zi+λL,λL<zi|zi|≤λLλL>zi

其中，xik+1与zi分别是xk+1与z的第i个分量。