通过投影矩阵推导最小二乘法
2015-05-26 17:45
323 查看
最小二乘用于参数拟合,说它是统计中最重要的公式都不为过,其线性推导如下。
对于一个公式
,其中A为已知数据组成的列空间,x为待估计参数,b是x的线性组合。然而,在很多情况下,由于误差或其它原因,使得b不再A的列空间中,这会造成方程无解。于是必须将b投影到A的列空间。其投影的误差为
,
其中“x帽"为当b投影到A的列空间后的估计参数,当
的值最小时矩阵e应该位于与A垂直的空间的列空间(这里画几条线段就很好理解),所以有
。将式子展开后有
,所以参数求解的最小二乘公式为:
对于一个公式
,其中A为已知数据组成的列空间,x为待估计参数,b是x的线性组合。然而,在很多情况下,由于误差或其它原因,使得b不再A的列空间中,这会造成方程无解。于是必须将b投影到A的列空间。其投影的误差为
,
其中“x帽"为当b投影到A的列空间后的估计参数,当
的值最小时矩阵e应该位于与A垂直的空间的列空间(这里画几条线段就很好理解),所以有
。将式子展开后有
,所以参数求解的最小二乘公式为:
相关文章推荐
- [3D基础]投影矩阵的推导(1)
- (转)投影矩阵的推导(Deriving Projection Matrices)
- 空间向量在任意平面的投影公式推导 (矩阵方法)
- 最小二乘法矩阵求导过程的推导
- 最小二乘法解的矩阵形式推导
- OpenGL中投影矩阵的推导
- OpenGL中投影矩阵的推导
- 通过投影矩阵反求视域锥 get frustum via projection matrix
- 最小二乘法解的矩阵形式推导
- OpenGL投影矩阵的推导过程
- 图形中投影矩阵的推导
- OpenGL投影矩阵的推导
- 投影矩阵的推导(Deriving Projection Matrices)
- OpenGL学习: 投影矩阵的推导
- 3D中投影矩阵公式的推导
- 投影矩阵推导遇到的问题
- [3D基础]投影矩阵的推导
- OpenGL: 3D中投影矩阵公式的推导
- openGL中投影矩阵的推导
- OpenGL学习脚印: 投影矩阵的推导