最小二乘法学习二

继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。

一个模型的复杂程度与系数有关，最简单的模型是直接给所有系数赋值为0，则该模型总会预测出0值，模型虽然足够简单，但是没有意义，因为它不能有效预测。

定义模型的复杂度为：



由于我们的目的是使模型不要过于复杂，所以让上述值小是有意义的，因此新的目标函数为：



即



前一项为数据拟合程度的惩罚项，数据拟合的越好，该项值越小，但是也有可能过于拟合样本数据导致模型过于复杂；后一项为模型复杂程度的惩罚项，当模型越复杂，该项值越大，即为了最小化目标函数，我们要让数据拟合的好同时模型不至于太复杂。其实就是在基本最小二乘法的目标函数中增加了一个正则化项，所谓正则化，可以看为函数光滑性。将上式目标函数进行参数求偏微分，解得：



下面从参数空间约束的角度介绍 L2 约束的最小二乘法。



L2约束的最小二乘法是以参数空间的原点为圆心，在一定半径范围内（一般为超球）内进行参数求解。

转化为拉格朗日对偶问题为：





目标函数形式与前面分析是一致的。

下面对下面高斯核模型执行L2约束下的最小二乘学习。实例如下;

带宽h = 0.25 正则化参数 λ
设置为0.1.其中，绿色曲线是基本最小二乘法结果，红色曲线是正则化下的最小二乘结果。通过加入正则项，使过拟合现象得到很好地抑制。

带宽 h 和正则化参数 λ 值的选取会直接影响最终结果，为了得到更好的学习效果，应该选择合适的带宽和正则化参数。

%高斯核模型L2约束的最小二乘法学习
clear all;
close all;

n = 60;
N = 1000;
x = linspace(-4,4,n)';
X = linspace(-4,4,N)';
pix = pi*x;
y = sin(pix)./(pix) + 0.1*x + 0.05*randn(n,1);

x2 = x.^2;
X2 = X.^2;
hh = 2*0.25^2;%高斯核函数带宽 0.3
e =0.1;%正则化参数

k = exp(-(repmat(x2,1,n)+repmat(x2',n,1)-2*x*x')/hh);
K = exp(-(repmat(X2,1,n)+repmat(x2',N,1)-2*X*x')/hh);
t1 = k\y;
F1 = K*t1;
t2 = (k^2+1*eye(n))\(k*y);
F2 = K*t2;

figure(1);
clf;
hold on;
axis([-4 4 -0.5 1.2]);
plot(X,F1,'g-');
plot(x,y,'bo');
plot(X,F2,'r--');

一点总结：

本文先介绍了基本的最小二乘法，基于其易过拟合，介绍了部分空间约束的最小二乘法和L2约束（正则化）的最小二乘法，是的过拟合现象得到了一定缓解。但是，它们都需要选择合适的正交投影矩阵P 对参数空间选择 和正则化参数选择抑制模型复杂度。此外，对于线性模型的基函数选择和以及核函数参数也需要选择。

从机器学习的角度来说，我们要做的其实就是一种问题真实模型的逼近。我们将训练样本的模型输出与真实结果之间的差值定义为经验风险，我们需要得到一个模型，而又没有定义模型好坏的标准，直观的说，我们能想到最简单的标准就是经验风险最小化，前面所做的其实也就是对经验风险平方和最小化的求解。

这种思想其实就是用训练样本（真实世界的一部分样本）的经验风险去逼近真实风险，数学上的以局部估计整体的思想，虽不一定正确，但也是一种选择。

事实上，对于有监督学习来说，我们学习的目的不在于记忆输入训练样本，而是对未知的测试输入样本也能正确的得到输出。所以，并不是要训练样本的误差越小越好，因为训练样本的数目远远不及真实的所有样本量。上面实验中的绿色曲线为了使误差最小，基本经过了每一个点，但是它的预测效果是相当差的。我们既要克服过拟合又要得到较好的泛化能力，这个折中问题就是偏差-方差平衡。（下面关于偏差-方差的内容来自http://scott.fortmann-roe.com/docs/BiasVariance.html）

偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。



一个很形象的例子如下（引用知乎网友回答）

想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:

1.子弹基本上都打在队伍经过的一棵树上了，连在那棵树旁边等兔子的人都毫发无损，这就是方差小（子弹打得很集中），偏差大（跟目的相距甚远）。

2.子弹打在了树上，石头上，树旁边等兔子的人身上，花花草草也都中弹，但是敌军安然无恙，这就是方差大（子弹到处都是），偏差大（同1）。

3.子弹打死了一部分敌军，但是也打偏了些打到花花草草了，这就是方差大（子弹不集中），偏差小（已经在目标周围了）。

4.子弹一颗没浪费，每一颗都打死一个敌军，跟抗战剧里的八路军一样，这就是方差小（子弹全部都集中在一个位置），偏差小（子弹集中的位置正是它应该射向的位置）。

一个算法如果逐渐提高对训练数据的适应性（如加入更多的模型参数使模型更复杂），那么它会很好地拟合数据，趋于更小的偏差，但是会导致更大的方差。相反，如果这个模型参数较少，通常偏差较大，数据拟合性能相对不太还，但是拟合的程度对于不同数据集变化不会太大，方差较低。

一个实际有效克服过拟合的方法是交叉验证法，把训练样本中的一部分拿出来不进行学习，而作为测试样本进行最终学习结果的评价。

参考文献：《Pattern Classfication》

《机器学习基础教程》

《图解机器学习》