LMS权值更新法则(Least mean squares,最小均方)

训练样例(X，V(X))， 其中X为特征值和权重的内积W*X。
如果目标函数表示成:
V(X)=W0+W1*X1+W2*X2+W3*X3+W4*X4+W5*X5+W6*X6
对于每一个训练样例(X，V(X))
使用当前的权计算V(X)
对每一个权值wi进行如下更新
Wi←Wi+η(V(X)-V(X)) Xi (其中V(X)为训练集的期望值（人工标注的值），V`(X)为经验值（模型计算出来的值）)

这里η是一个小的常数（比如0.1）用来调整权值更新的幅度，称作步长或者学习率。
如何理解LMS权值更新：
当误差（V(X）-V(X)）为0时，权不会被改变。即当经验值和期望值相同的时候说明当前的权重W是比较符合真实模型（假设空间中最对的那个模型）的，W不需要调整。
当(V(X)-V(X))为正时说明V(X)是低于期望值的，此时就要升高V(X), 所以每一个权值会根据其对应特征值增加一定的比例。这会提升V(X)的值而减小误差。当V（X）高于V（X）的值的时候是同样的道理。
注意如果某个特征值(参数)Xi为0，那么它的值不会因这个误差而改变，这样便使只有那些在训练样例中确实出现的特征的权值才被更新。
LMS算法通常用于权值更新，使得模型逐渐逼近真实模型。