转：对LS,MMSE,LMMSE,ML,MAP,LMS,AR，MSE误差等算法进行一次清楚的比较

    谈谈我的理解，不当之处欢迎大家指正：
这一系列算法都可以是基于接收数据来对目标数据进行估计，
1。LS用于接收到的数据块长度一定，并且数据、噪声（干扰）的统计特性未知或者非平稳的情况，
其优化目标是使得基于该数据块的估计与目标数据块间加权的欧几里德距离最小，
当有多个数据块可用时，可用其递归算法RLS减小计算量；
2。MMSE的优化目标是为了使基于接收数据的估计值和目标数据的均方误差最小化，
LMMSE算是MMSE的特例，在这种情况下，基于接收数据的估计值是接收数据的
线性变换，
在数据统计特性已知的情况下，某些时候可以直接求解，比如维纳解；
在数据统计特性未知但是平稳的时候，可以通过递归迭代的算法求解，诸如：LMS算法。
3。ML和MAP顾名思义，前者是为了使似然概率最大后者是为了使得后验概率最大，
具体说来就是，假设接收数据为rx，目标数据为tx，在已知rx的情况下，
ML就是求使得p(rx|tx)最大的tx，MAP就是求使得p(tx|rx)最大的tx。
4。AR（自回归），这是假设目标数据满足自回归模型，
这时我们需要求解的就是相应的模型的系数了。
5。MSE？如果是指均方误差，就可参见前面的叙述。
我记得有种算法是MOE，即最小化输出能量，结合一定的约束，
它可以使得输出信号中目标信号成分不变，但是干扰最小化。

我先来谈谈ML(Maximum Likelihood，最大似然)和MAP(Maximum a posteriori Probability，最大后验概率)算法的区别
在MAP算法中，后验概率由似然函数和先验概率组成。由于引入了数据源的先验统计特性，理论上MAP算法比最大似然估计算法（ML）估计得要准确（如果输入的数据先验概率不等的话，如果先验概率相等的话性能是相当的）。

以信道解码为例，最大似然译码等同于寻找最接近于接收向量的码字，最大后验概率的不同在于使符号(bit)出错的概率最小，而不是码字出错概率最小。1974年Bahl, Cocke, Jelinik and Raviv提出了一种基于MAP的译码算法BCJR，这是Turbo码算法的基础。
以信道Turbo迭代均衡为实例如图，可以看到，经过交织后的信息被反馈到输入，输入增加了数据的先验统计信息。

"最大后验概率的不同在于使符号(bit)出错的概率最小，而不是码字出错概率最小"这个说法是不太正确的，最大后验概率检测可以是针对“码字”也可以是针对每个“编码符号”。实际上，BCJR算法也称为“逐符号最大后验概率译码”。BCJR算法是4个提出者首字母的缩写，其原论文题目好像是optimal decoding of linear codes for minimizing symbol error rate，由题目就可以知道BCJR算法是使编码符号错误概率最小的算法。

 

建模只是一种主管看法而已，不一定就符合客观。既然用了某种参数模型，就入乡随俗吧。
任何数据，只要接收到了，就是确定的，因此所谓的先验分布只是“信仰”，作为一种“偏见”，也一定要考虑到评价准则中去。不承认序列的先验分布这个“信仰”而只承认噪声的先验分布，极大似然的序列估计就被认为是最优的。如果噪声的先验也不能相信，还有半参数非参数办法，当然有人说统计学不是数学，甚至科学都不是。
信仰问题没法证伪。我喜欢极大似然是因为其它的准则得到的方法性能在单次观测下不能保证。作为一种偏好，我喜欢推得的方法能在各种情况下都获得确定的效果，而不是加一个期望了事。
从实用主义的角度，加入更多的先验分布，往往有助于简化计算，仅此而已。

 

 

转载水木上关于LS和MMSE的区别的回答

ls 是误差平方和最小，mmse是误差平方和均值最小。它们的准则是不同的，一个是统计意义,一个是确定意义的。虽然统计意义的量实际也要用样本来计算，但是也不能说他们是等价的吧。
MMSE要到相关矩阵(虽然也要用样本来计算)，但是LS中却没有统计相关量的影子。

更具体的说，如果观测到的含噪结果Y是待估计参数X的一个函数：F(X)=Y。MMSE准则是基于最小化E{(X'-X)^H*(X'-X)}来计算估计值X'的；而least squares是选择X'而令Y-F(X')的二乘和最小。

所以我们看到，这里考虑误差的对象是完全不一样的（且不论误差定义的不同）：MMSE考虑的是estimator的误差，而LS考虑的是观测量的误差。在这样的情况下，MMSE估计必须要知道条件概率P(X|Y)，通常情况下即X和噪声的分布。而LS估计因为只着眼于观测量，则完全没有这样的限制。这里我们看到，如果讨论estimator是否最优，必须考虑到各estimator所具有的先验信息（MMSE要求知道函数F的形式，以及X和噪声分布；LS仅要求知道函数F）。

考虑一个最简单的Y=AX+V模型在LMMSE准则和LS准则下的估计，这里V是零均值高斯白噪声（因此LMMSE和MMSE等价）。此时，LMMSE给出X'=inv[inv(R_x)+(A^H)*inv(R_v)*A]*(A^H)*inv(R_v)*Y；而LS给出X'=inv[(A^H)*A]*(A^H)*Y。显然仅在噪声的谱密度趋近为零的时候，两个estimator才可能等价（即此时噪声的信息已经无关紧要了）。

以上式中 ^H表示共轭转置

 

 

 

LS是“最小二乘”，MMSE“最小均方误差”，是两种优化代价函数的准则，二者的理论基础相当，主要区别是前者不使用统计量，后者使用统计量。MAP与ML，前者是Bayesian方法，后者不是，先验概率不能简单的说是有助于简化计算，在先验概率不等的情况下，先验概率会影响判决结果的。AR是最回归过程，是一种参数化信号模型，还有MA, ARMA等，但AR过程求解简单，而且与线性预测误差模型有一定的等价性，因此应用较广。

 

用多天线接收机作为实例刚好可以将这些概念穿起来，下面的话很多是朋友们前面发言的重复，也有自己的杜撰， 可能不对，因此莫轻信，并且希望朋友们纠正：

（1）最general的方法是MAP符号判决，问题是如何拿到发送符号的概率分布？

（2）通常在发射端会有一个比特随机化的过程，使“0”和“1”的概率各为50%，因此避免了MAP判决，使用ML判决就可以了。

（3）判决通常是做如下处理：s = arg min (w*y-s)，即将多路天线上的接收信号分别乘以各自的权值w，再求和，与发射符号比较。

（4）权值w的求法最简单的是MRC（最大比合并）。

（5）w的求法还可以是DMI（直接矩阵求逆），属MMSE法。

（6）w的求法还可以是LMS，属MMSE法。

（7）w的求法还可以是RLS，属LS法。

AR和MSE我不了解。

另外，MMSE听上去感觉特好，实际上不一定能用。如：在OFDM的信道估计中，Hmmse是Hls乘了个变换矩阵，令H的估算误差最小。变换矩阵是由各子载波的信道的相关度决定的。实际的无线环境可能变化莫测，套现成的统计模型就不一定合适

 

 

实际算法当然和现实差距十分大，很多时候根本就是象牙塔里面的杜撰。这是因为实际的系统相当的复杂，影响算法的因素很多。更多的时候是算法花费了巨大的代价，性能根本没有改善，甚至会有非常大的恶化，就说楼上的说法，实际中你是无法和发送信号相对比的，因为你根本就不知道发送的是什么符号。而且发送数据的统计特性一方面是主观的，另一方面实际中也是具有很大的相关性的，比如，语音信号和图像信号，都具有很强的相关性，所以很多算法的方差之类的，实际并没有什么用，最多只能做理论上的推导。但另一方面来说，像LS算法因为没有使用信道的信息，所以估计的精度会差很多，大家的看法还是需要利用信道的信息来进行估计，这样估计出来的性能肯定会有大的提高。在辅助符号下的信道估计应该是比较靠谱的，这样就推导出来了很多的算法，MMSE算法的复杂程度确实是非常高的，不但要有自相关阵，而且还需要信道的互相关阵的计算，这些计算在实际系统中量很大。所以MMSE可以作为评价的标准

 

 

楼上说的没错，但是一个人的能力有限，一个算法的考虑也有限，社会的发展是需要各种人，更需要各种算法的存在与对比。你可以说很多理论算法在实际中很难用上，但是你不能说这些算法没有作用。失败是成功之母，没有一些算法的分析与失败，一些经典算法也是很难呈现的。此外，我认为楼上应该是搞工程的，科学技术转化为生产力这一环节的，可能对科学发展这一环节并不太感兴趣。但是，没有科学的发展，社会是不会进步的，你所说的象牙塔里的杜撰有点过于贬低了科学的发展。每个人有每个人的工作与职责，搞理论研究的也有其存在的意义，你不能因为其缺乏一定得实用性就否定了它的价值。另外要说的就是，每个人的能力有限，考虑的方面也有限，但是总有其存在的意义和价值。一个算法并不适用所有的环境这是很正常的