样本方差的无偏估计与(n-1)的由来
2014-03-22 20:06
239 查看
原文出处: http://blog.sina.com.cn/s/blog_c96053d60101n24f.html
在PCA算法中用到了方差,协方差矩阵,其中方差公式为,协方差矩阵公式为,当时不明白为什么除的不是m,而是m-1,那么想要知道为何,下面就是你想要的答案。
假设X为独立同分布的一组随机变量,总体为M,随机抽取N个随机变量构成一个样本,
和
是总体的均值和方差, 是常数。
是对样本的均值和方差,由于样本是随机抽取的,
也是随机的。
既然是随机变量,就可以观察他们的均值方差。
这里需要注意的是,由于样本是随机的,所以X1,X2,X3...都是随机的。上式中可以看出,样本均值这个变量的期望就是总体的均值,因此可以说均值是无偏的。
接下来看样本方差的均值:
根据方差公式,可以得到:
因此:
这里可以看出样本方差的期望并不是无偏的,要无偏估计,应该再乘上一个系数:
所以无偏估计的样本的方差:
。
n-1既为自由度,就是说,在一个容量为n的样本里,当确定了n-1个变量以后,第n个变量就确定了,因为样本均值是无偏的。
协方差除以m-1原理和方差一样,因为方差为协方差的特殊情况。
在PCA算法中用到了方差,协方差矩阵,其中方差公式为,协方差矩阵公式为,当时不明白为什么除的不是m,而是m-1,那么想要知道为何,下面就是你想要的答案。
假设X为独立同分布的一组随机变量,总体为M,随机抽取N个随机变量构成一个样本,
和
是总体的均值和方差, 是常数。
是对样本的均值和方差,由于样本是随机抽取的,
也是随机的。
既然是随机变量,就可以观察他们的均值方差。
这里需要注意的是,由于样本是随机的,所以X1,X2,X3...都是随机的。上式中可以看出,样本均值这个变量的期望就是总体的均值,因此可以说均值是无偏的。
接下来看样本方差的均值:
根据方差公式,可以得到:
因此:
这里可以看出样本方差的期望并不是无偏的,要无偏估计,应该再乘上一个系数:
所以无偏估计的样本的方差:
。
n-1既为自由度,就是说,在一个容量为n的样本里,当确定了n-1个变量以后,第n个变量就确定了,因为样本均值是无偏的。
协方差除以m-1原理和方差一样,因为方差为协方差的特殊情况。
相关文章推荐
- linux系统编程之信号(四):alarm和可重入函数
- mac 下安装配置 MySQL + Apache +phpMyAdmin
- 并查集
- SQL Server 2008 R2 企业版/开发版/标准版(中英文下载,带序列号)
- 围观汉澳sinox下面几个软件,亮瞎你的眼睛没
- 数据结构-B树实现
- UVa:1508 Equipment
- poj 1988
- C简单算法编写
- linux系统编程之信号(三):信号安装、signal、kill,arise讲解
- SharePoint 2013 Backup Farm Automatically With a Powershell and Windows Task Schedule
- The sound of music
- C编程
- iframe在ie和firefox中的高度兼容性问题解决
- Verilog例子整理(转载)
- git使用笔记
- 如何为Windows Azure订阅添加协同管理员
- linux系统编程之信号(二):信号处理流程(产生、注册、注销、执行)
- 杭电2081 手机短号
- UML之类图