LS与MSE

转载水木上关于LS和MMSE的区别的回答

ls 是误差平方和最小，mmse是误差平方和均值最小。它们的准则是不同的，一个是统计意义,一个是确定意义的。虽然统计意义的量实际也要用样本来计算，但是也不能说他们是等价的吧。

MMSE要到相关矩阵(虽然也要用样本来计算)，但是LS中却没有统计相关量的影子。

更具体的说，如果观测到的含噪结果Y是待估计参数X的一个函数：F(X)=Y。MMSE准则是基于最小化E{(X'-X)^H*(X'-X)}来计算估计值X'的；而least
squares是选择X'而令Y-F(X')的二乘和最小。

所以我们看到，这里考虑误差的对象是完全不一样的（且不论误差定义的不同）：MMSE考虑的是estimator的误差，而LS考虑的是观测量的误差。在这样的情况下，MMSE估计必须要知道条件概率P(X|Y)，通常情况下即X和噪声的分布。而LS估计因为只着眼于观测量，则完全没有这样的限制。这里我们看到，如果讨论estimator是否最优，必须考虑到各estimator所具有的先验信息（MMSE要求知道函数F的形式，以及X和噪声分布；LS仅要求知道函数F）。

考虑一个最简单的Y=AX+V模型在LMMSE准则和LS准则下的估计，这里V是零均值高斯白噪声（因此LMMSE和MMSE等价）。此时，LMMSE给出X'=inv[inv(R_x)+(A^H)*inv(R_v)*A]*(A^H)*inv(R_v)*Y；而LS给出X'=inv[(A^H)*A]*(A^H)*Y。显然仅在噪声的谱密度趋近为零的时候，两个estimator才可能等价（即此时噪声的信息已经无关紧要了）。

以上式中 ^H表示共轭转置

在做二阶收敛分析以及一阶收敛分析时用到的假设有：是数据与权系数误差是独立，也被叫做false assumption，输入数据与前一时刻输出数据是无关的。因为他们本身是相关的。权系数就是有数据推导出来的。we make yet another obviously false
assumptioon that k

2 and Xk are

statistically independent. This is obviously false, since k = dk − WkT

Xk. Otherwise,