线性回归——最小二乘求解

线性回归

线性回归用于数值预测，它的主要思想是利用预定的权值将属性进行线性组合来表示类别：

y=w0+w1x1+w2x2+...+wnxn

其中，y是类别属性值，x1,x2,...,xn是一般属性值，w1,w2,...,xn是权值， w0称为偏置，类似于一元线性回归y=ax+b中b。

求解线性回归就是通过已知的一些数据点

(1,xi1,xi2,...,xin,yi)

算出权重(w0,w1,...,wn)。在属性集合中加了一个1，是为了与权重w0对应，属性值的上标i，是指这个属性值属于第i个数据点。

最小二乘求解线性回归

假设我们已知m个数据点的属性值，我们便有了包含m个方程的方程组：

y1=w0+w1x11+w2x12+...+wnx1n

y2=w0+w1x21+w2x22+...+wnx2n

…

ym=w0+w1xm1+w2xm2+...+wnxmn

方程组可以表示为矩阵形式：

⎡⎣⎢⎢⎢⎢⎢y1y2⋮ym⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢11⋮1x11x21⋮xm1⋯⋯⋱⋯x1nx2n⋮xmn⎤⎦⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢w0w1⋮wn⎤⎦⎥⎥⎥⎥

其中，

⎡⎣⎢⎢⎢⎢⎢y1y2⋮ym⎤⎦⎥⎥⎥⎥⎥

称为观测向量，

⎡⎣⎢⎢⎢⎢⎢11⋮1x11x21⋮xm1⋯⋯⋱⋯x1nx2n⋮xmn⎤⎦⎥⎥⎥⎥⎥

称为设计矩阵，

⎡⎣⎢⎢⎢⎢w0w1⋮wn⎤⎦⎥⎥⎥⎥

称为参数向量。

这里假设设计矩阵的各列线性无关，也就是说，用于表示y的其它属性各贡献了不同方向的力量。

我们知道，当m≤n+1时，通过消元法，就能求出(w0,w1,...,wn)，有一个解，或者多个解；但是当m>n+1时, 方程可能无解，这时设计矩阵的列向量生成了R(n+1)的一个子空间，也就是设计矩阵的列空间，当观察向量属于列空间时，方程组有解，但是当观测向量不属于列空间时，方程组就没有解了。当方程组没解时，我们该怎么办呢？算近似解。这儿，我们用列空间中离观测向量最近的向量代替观测向量求解方程组。列空间中离观测向量最近的向量就是观测向量列空的正交投影。关于这个结论有一个定理：

假设W是Rn空间中的一个字空间，y是Rn中的任意向量，y′是y在W上的正交投影，那么y′是W中最接近y的向量，也就是说，

|y−y′|≤|y−v|

对所有属于W又异于y′的v都成立。其中|y-y’|是指向量y−y′的模，它的计算公式是：

∑nk=1(y1−y1′)2

使得这个公式的值最小便是“最小二乘”这个名字的由来。

在我们这里，y是观测向量，y′就是列空间中用来代替y的向量，叫做预测向量。

接下来的重点就是算观测向量在设计矩阵列空间的正交投影了。我这里简要地给出求一个向量在一个空间中正交投影的计算方法。

如果{u1,u2,...,up}是Rn中子空间W的单位正交基，那么

projwy=(yu1)u1+(yu2)u2+...+(yup)up

其中，ui都是向量。

要得到设计向量列空间的单位正交基，可以通过把设计矩阵进行QR分解得到。关于QR分解的定理如下：

如果m x n矩阵A的列向量线性无关，那么A可以分解为A=QR, 其中Q是一个m x n矩阵，其列形成A矩阵列空间的一个单位正交基，R是一个mn x n可逆矩阵且在对角线上的元素为正数。

参考资料：

1.《概率导论》第2版，（美）伯特瑟卡斯，（美）齐齐克利斯 著，郑忠国，童行伟 译

2.《数据挖掘 实用机器学习工具与技术》第3版，

（新西兰）威滕（Witten,I.H.），（新西兰）弗兰克（Frank,E.） 著，董琳 译

3.《线性代数及其应用》第3版，（美）莱（Lay,D.C.） 著，刘深泉 等译