Efficient sparse coding algorithms

Honglak Lee,  Alexis Battle,  Rajat Raina,Andrew  Y.Ng

Stanford University

文章内容：

稀疏编码：找出一系列基和系数，表示数据。

Ｌ１约束有利于找到数据稀疏表示，但是不连续可导。

设基为Ｂ，系数为Ｓ，固定一个求解另外一个，此时优化问题为凸。　同时考虑两个变量，优化问题非凸。

对于系数Ｂ，　二次优化问题，利用拉格朗日乘子法求解。

对于系数Ｓ，　加入Ｌ１惩罚项，为提高效率，同时避免梯度下降的不收敛，提出了ｆｅａｔure－ｓｉｇｎ step，　去掉绝对值符号。

给出了三个ｌｅｍｍａ证明，该方法可以减小目标函数，并收敛至最优解。