什么是协方差?为什么需要协方差以及对应的矩阵
2018-01-14 20:40
513 查看
一、统计学的基本概念
统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:均值:
标准差:
方差:
均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。
以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],两个集合的均值都是10,但显然两个集合的差别是很大的,计算两者的标准差,前者是8.3后者是1.8,显然后者较为集中,故其标准差小一些,标准差描述的就是这种“散布度”。之所以除以n-1而不是n,是因为这样能使我们以较小的样本集更好地逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
二、为什么需要协方差
标准差和方差一般是用来描述一维数据的,但现实生活中我们常常会遇到含有多维数据的数据集,最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量,我们可以仿照方差的定义:来度量各个维度偏离其均值的程度,协方差可以这样来定义:
协方差的结果有什么意义呢?如果结果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),也就是说一个人越猥琐越受女孩欢迎。如果结果为负值, 就说明两者是负相关,越猥琐女孩子越讨厌。如果为0,则两者之间没有关系,猥琐不猥琐和女孩子喜不喜欢之间没有关联,就是统计上说的“相互独立”。
三、协方差矩阵
前面提到的猥琐和受欢迎的问题是典型的二维问题,而协方差也只能处理二维问题,那维数多了自然就需要计算多个协方差,比如n维的数据集就需要计算个协方差,那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义:
这个定义还是很容易理解的,我们可以举一个三维的例子,假设数据集有三个维度,则协方差矩阵为:
可见,协方差矩阵是一个对称的矩阵,而且对角线是各个维度的方差。
尽管协方差矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度来看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。
相关文章推荐
- 什么是协方差,怎么计算?为什么需要协方差?
- 什么是虚拟专用服务器(VDS),以及为什么需要它
- 什么是相关性以及为什么需要初始化它?
- 什么是算法,为什么需要学算法,以及算法学到什么程度
- 谈谈为什么ORMapping不适合企业应用的构建,以及未来企业应用系统构建需要什么要素
- IoC容器Autofac(1) -- 什么是IoC以及理解为什么要使用Ioc
- yarn是什么?为什么会产生yarn,它解决了什么问题?以及yarn的执行流程
- 什么是 Unix 以及它为什么这么重要
- SqlServer:索引是什么,以及为什么使用索引
- 什么是重定位?为什么需要重定位?【转】
- 关于不可变架构以及为什么需要不可变架构
- 有了函数名为什么还需要函数指针,函数指针有什么作用
- 为什么读博士以及有什么意义
- 什么是viewport,为什么需要viewport
- Pjax是什么以及为什么推荐大家用
- 什么是dtd文件,为什么需要
- 文件浏览 manifest里需要什么权限吗为什么运行会异常中止
- 一张图讲解为什么需要自己搭建自己的git服务以及搭建的途径
- 第一章 什么是git,为什么需要它?