信源编码作业六

最小均方算法LMS（Least mean square ）在通信信号处理领域非常常见，比如自适应滤波器，是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想。根据最小均方误差准则以及均方误差曲面，沿每一时刻均方误差的最陡下降在权向量面上的投影方向更新，也就是通过目标函数的反梯度向量来反复迭代更新。由于均方误差性能曲面只有一个唯一的极小值，只要收敛步长选择恰当，不管初始权向量在哪，最后都可以收敛到误差曲面的最小点，或者是在它的一个邻域内。这种沿目标函数梯度反方向来解决最小化问题的方法，我们一般称为最速下降法。

感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。
LMS算法步骤：
1,、设置变量和参量：
X(n)为输入向量，或称为训练样本
W(n)为权值向量
b(n)为偏差
d(n)为期望输出
y(n)为实际输出
η为学习速率
n为迭代次数
2、初始化，赋给w(0)各一个较小的随机非零值，令n=0
3、对于一组输入样本x(n)和对应的期望输出d，计算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判断是否满足条件，若满足算法结束，若否n增加1，转入第3步继续执行。