最小二乘法
2016-05-06 08:44
330 查看
(一)正交集与正交基
如果![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506083910935-908172448.png)
,S中任何两个不同的向量都正交,那么,S称为正交向量集。
如果S是正交向量集 并且是 线性无关集,那么S是正交集。
证明:
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506083922529-2095080598.png)
同理,所有的ci都是0,所以S是线性无关集。
上述证明思路在下文中会经常使用,故称之为证明方法1.
(二)正交投影
假设![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506083932404-1653780755.png)
是Rn子空间W的正交基,对W中的每个向量y,有线性组合:
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506083941044-780713346.png)
利用证明方法1,可以得到:
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506083953591-1687526646.png)
向量在向量上的正交投影。
一个向量y可以分解为两个向量之和:一个向量是u的数量乘积,一个向量与u垂直。
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084004466-1305972148.png)
向量在空间上的正交投影。
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084012638-597446205.png)
单位正交基
正交基中我的向量长度都为1.
一个m×n矩阵U具有单位正交列向量的充分必要条件是UTU=I。
有:
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084021513-109106846.png)
其中性质1)和2)表明线性映射U保持了向量的长度和正交性。
结合上述知识,我们可以得到:
如果
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084038216-119390994.png)
是单位正交基,那么
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084048888-1855078386.png)
也即:
若U是n×p列单位正交矩阵
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084105779-477857519.png)
如果U是n×n方阵,那么y的投影依然是y。
(三)普通基转化为正交基:格拉姆-施密特方法
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084121935-317455930.jpg)
(四)QR分解
如果m×n矩阵A的列线性无关,那么A可以分解为A=QR,其中Q是一个m×n矩阵,Q的列形成ColA的标准正交基(即:单位正交基),R是一个n×n上三角可逆矩阵且对角线上的元素为正数。![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084134482-160094544.jpg)
(五)最小二乘法
Question:Ax=b。寻找最优的x。![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084144435-1739554539.png)
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084155185-149119939.png)
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084203529-1063830857.png)
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084213091-1048373003.png)
(称之为Ax=b的法方程)
如果A是线性无关列,那么可以对A进行QR分解。得
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084224529-1394466842.png)
扩展加权最小二乘法
![](https://images2015.cnblogs.com/blog/570455/201605/570455-20160506084239091-1017128282.jpg)
相关文章推荐
- 大数据实验室(大数据基础培训)——Spark的安装、配置及基础使用
- python实现HTTP 请求
- 大数据实验室(大数据基础培训)——Hadoop的安装、配置及基础使用
- 动态对象创建(new/delete & malloc/free)
- WebView methods on same thread error
- 大数据实验室(大数据基础培训)——基础概念
- php复习-连接数据库做表
- 机器学习、计算机视觉书籍推荐
- 《C++精英内参之程序员高效指南》-1如何管理你的任务
- 基于jquery实现即时检查格式是否正确的表单
- Redis学习总结
- Assertion failure in -[UIApplication _runWithMainScene:transitionContext:completion:], /BuildRoot/Li
- 对于160个CrackMe之23的分析
- [C语言][LeetCode][20]Valid Parentheses
- Object 监视器方法分解成截然不同的对象, 以便通过将这些对象与任意Lock 实现组合使用,为每个对象提供多个等待 set
- 利用redis完成自动补全搜索功能(三)
- Android官方开发文档Training系列课程中文版:高效显示位图之在非UI线程中处理图片
- 配置管理服务diamond和disconf横向对比
- 【BZOJ 3165】【HEOI 2013】Segment
- PHP访问数据,增删改