最小均方算法LMS总结



一、算法介绍

最小均方算法（Least Mean Square，LMS）由 Bernard Widrow 和 Marcian E. Hoff提出，用于修正滤波器参数使均方差（Mean Square Error，MSE）达到最小。

LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。

二、算法详解

LMS的各种最优化方式有几下几类：

1、LMS滤波结构

原理上跟感知机也差不多，也是对包含一组共M个元素的x₁、x₂、x_3。。。x_M的输入用一个线性组合器处理，也就是对其进行加权求和，得出结果y，与期望响应d相比较，获得误差信号e，并由此修正权值，如下图：

可以表述成：

y(i)=w₁(i)x₁(i)+w₂(i) x₂(i)+w₃(i) x₃(i)+…+w_M(i) x_M(i)

误差信号为期望响应跟输出的差，即：

e(i)=d(i)-y(i)

三、总结

之前自学过斯坦福大学的机器学习公开课的一部分，对LMS算法还是挺理解的，这里就简单总结总结，不详细展开了。

参考资料：

http://blog.csdn.net/qq_32611933/article/details/52008538

https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E5%9D%87%E6%96%B9%E7%AE%97%E6%B3%95/12725098?fr=aladdin

http://blog.csdn.net/xiahouzuoxin/article/details/9749689