【信源编码 LMS算法】

一、LMS算法

全称 Least mean square 算法。中文是最小均方算法。

感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。

均方差这个概念的公式如下所示： 

 （1） 
上述公式中的R表示正确的预期结果，C表示当前计算结果。这个便是LMS算法中终止算法的核心公式。 
如何得到当前计算结果C的公式如下所示： 
 （2） 
i表示输入值，W表示输入端所对应的权值，对这两个值进行乘法运算后，并求和。对于求和的结果可以进行一定处理，比如大于0的O便为1；否则就为-1。 
用于调整输入端权值的公式如下所示： 
 （3） 
在算法运行时，不断利用公式（2）进行输入端的权值调整，使权值越来越接近正确值。其中w便是输入端所对应的权值，I是输入值，它表示学习参数，一般为小于1的正数。 

LMS算法步骤：

1,、设置变量和参量：

X(n)为输入向量，或称为训练样本

W(n)为权值向量

b(n)为偏差

d(n)为期望输出

y(n)为实际输出

η为学习速率

n为迭代次数

2、初始化，赋给w(0)各一个较小的随机非零值，令n=0

3、对于一组输入样本x(n)和对应的期望输出d，计算

e(n)=d(n)-X（n）^W(n)

W(n+1)=W(n)+ηX(n)e(n)

4、判断是否满足条件，若满足算法结束，若否n增加1，转入第3步继续执行。

二、代码

 LMS(Least Mean Squre)算法
% 输入参数:
%     xn   输入的信号序列      (列向量)
%     dn   所期望的响应序列    (列向量)
%     M    滤波器的阶数        (标量)
%     mu   收敛因子(步长)      (标量)     要求大于0,小于xn的相关矩阵最大特征值的倒数    
%     itr  迭代次数            (标量)     默认为xn的长度,M<itr<length(xn)
% 输出参数:
%     W    滤波器的权值矩阵     (矩阵)
%          大小为M x itr,
%     en   误差序列(itr x 1)    (列向量)  
%     yn   实际输出序列             (列向量)

% 参数个数必须为4个或5个
if nargin == 4                 % 4个时递归迭代的次数为xn的长度 
    itr = length(xn);
elseif nargin == 5             % 5个时满足M<itr<length(xn)
    if itr>length(xn) | itr<M
        error('迭代次数过大或过小!');
    end
else
    error('请检查输入参数的个数!');
end


% 初始化参数
en = zeros(itr,1);             % 误差序列,en(k)表示第k次迭代时预期输出与实际输入的误差
W  = zeros(M,itr);             % 每一行代表一个加权参量,每一列代表-次迭代,初始为0

% 迭代计算
for k = M:itr                  % 第k次迭代
    x = xn(k:-1:k-M+1);        % 滤波器M个抽头的输入
    y = W(:,k-1).' * x;        % 滤波器的输出
    en(k) = dn(k) - y ;        % 第k次迭代的误差
    
    % 滤波器权值计算的迭代式
    W(:,k) = W(:,k-1) + 2*mu*en(k)*x;
end

% 求最优时滤波器的输出序列
yn = inf * ones(size(xn));
for k = M:length(xn)
    x = xn(k:-1:k-M+1);
    yn(k) = W(:,end).'* x;
end