计算统计-Chap6 推断统计的蒙特卡罗方法 (3)蒙特卡罗方法
2011-01-16 10:41
351 查看
很多时候,我们不清楚统计量的分布,或不确定对它所作的假设是否合理。蒙特卡罗模拟可以处理这些情况,它的应用包括:
1)当待检测统计量(the test statistics)从未知时,进行推断
2)当参数假设(parametric assumptions),评估推断方法的性能
3)在各种情况下进行假设检验
4)比较不同检测子(estimator)的质量
第一步是决定一个伪总体(pseudo-population),假设它可以表达真实总体。这里“伪”是为了强调样本是利用计算机和伪随机数生成的。同时,这里讨论的蒙特卡罗模拟类型都是参数化的技术,应为都是从已知的或假设的分布中抽样。具体步骤:
1)确定伪总体,或可表达真实分布的模型
2)从伪总体中抽样
3)计算统计量的值
4)重复2、3,进行M次实验
5)利用4中获得的M个统计量值来研究统计量的分布
需要注意的是:从伪总体中抽样时,要保证所有相关特征反映同样的统计状况。例如,相同的样本大小和抽样策略。这意味着,通过此方法获得的统计量分布仅对此抽样过程和伪总体假设有效。
最后一步就是利用对统计量分布的估计来研究感兴趣的统计特征。如估计偏度、峰度、标准差等。
回顾假设检验的critical value approach:首先给定置信水平(significance level)a;然后利用此a找到在null hypothesis为真下检验统计量分布上的置信区间(critical region)。而在蒙特卡罗方法中,我们利用假设统计量的估计分布来确定置信值的,步骤如下:
1)利用总体的大小为n的随机样本(这时实际观测的数据),计算检验统计量的观测值
2)确定一个能反映null hypothesis为真下真实总体特征的伪总体
3)从伪总体中抽样n次,形成大小为n的随机样本
4)利用3中的随机样本,计算检验统计量的值
5)重复3和4共M次,获得值
,它们就是对null hypothesis为真条件下的检验统计量分布的估计
6)获得对于给定置信水平a下的critical value
Lower Tail Test: get the a-th sample quantile,
, from the
.
Upper Tail Test: get the (1-a)-th sample quantile,
, from the
.
Two-Tail Test: get the sample quantiles
and
from the
.
7)若
落入判决区间,则拒绝null hypothesis
例:关于总体均值的假设检验。数据mcdata有25条记录;null and alternative hypotheses为:
;检验统计量为
。分析过程如下:
1)计算检验统计量的观测值
2)确定
的正态分布为伪总体的分布模型(即null hypothesis为真条件下的检验统计量的分布)。通过绘制下面的qq图,从而验证此模型的合理性。
3)重复1000次实验。每此都从null hypothesis(正态分布
)为真条件下的检验统计量分布抽样,并计算检验统计量的值,Tm中保存了检验统计量的估计分布
% Get the critical value for alpha.
% This is a lower-tail test, so it is the
% alpha quantile.
alpha = 0.05;
cv = csquantiles(Tm,alpha);
5)因为检验统计量的观测值
小于估计的cirital value(
),从而拒绝
1)当待检测统计量(the test statistics)从未知时,进行推断
2)当参数假设(parametric assumptions),评估推断方法的性能
3)在各种情况下进行假设检验
4)比较不同检测子(estimator)的质量
1.基本蒙特卡罗过程
用于推断统计的蒙特卡罗模拟的根本思想是:统计量的特征可通过从相同总体中重复抽样,并观察统计量在这些样本上的表现来获得。第一步是决定一个伪总体(pseudo-population),假设它可以表达真实总体。这里“伪”是为了强调样本是利用计算机和伪随机数生成的。同时,这里讨论的蒙特卡罗模拟类型都是参数化的技术,应为都是从已知的或假设的分布中抽样。具体步骤:
1)确定伪总体,或可表达真实分布的模型
2)从伪总体中抽样
3)计算统计量的值
4)重复2、3,进行M次实验
5)利用4中获得的M个统计量值来研究统计量的分布
需要注意的是:从伪总体中抽样时,要保证所有相关特征反映同样的统计状况。例如,相同的样本大小和抽样策略。这意味着,通过此方法获得的统计量分布仅对此抽样过程和伪总体假设有效。
最后一步就是利用对统计量分布的估计来研究感兴趣的统计特征。如估计偏度、峰度、标准差等。
2.蒙特卡罗假设检验
在统计假设检验中,利用检验统计量null hypothesis应该被拒绝或接受的信度。当观测到检验统计量的值后,需要通过判断这个值是否与null hypothesis一致。估计检验统计量在null hypothesis下的分布是蒙特卡罗假设检验的目标之一。回顾假设检验的critical value approach:首先给定置信水平(significance level)a;然后利用此a找到在null hypothesis为真下检验统计量分布上的置信区间(critical region)。而在蒙特卡罗方法中,我们利用假设统计量的估计分布来确定置信值的,步骤如下:
1)利用总体的大小为n的随机样本(这时实际观测的数据),计算检验统计量的观测值
2)确定一个能反映null hypothesis为真下真实总体特征的伪总体
3)从伪总体中抽样n次,形成大小为n的随机样本
4)利用3中的随机样本,计算检验统计量的值
5)重复3和4共M次,获得值
,它们就是对null hypothesis为真条件下的检验统计量分布的估计
6)获得对于给定置信水平a下的critical value
Lower Tail Test: get the a-th sample quantile,
, from the
.
Upper Tail Test: get the (1-a)-th sample quantile,
, from the
.
Two-Tail Test: get the sample quantiles
and
from the
.
7)若
落入判决区间,则拒绝null hypothesis
例:关于总体均值的假设检验。数据mcdata有25条记录;null and alternative hypotheses为:
;检验统计量为
。分析过程如下:
1)计算检验统计量的观测值
2)确定
的正态分布为伪总体的分布模型(即null hypothesis为真条件下的检验统计量的分布)。通过绘制下面的qq图,从而验证此模型的合理性。
3)重复1000次实验。每此都从null hypothesis(正态分布
)为真条件下的检验统计量分布抽样,并计算检验统计量的值,Tm中保存了检验统计量的估计分布
M = 1000;% Number of Monte Carlo trials % Storage for test statistics from the MC trials. Tm = zeros(1,M); % Start the simulation. for i = 1:M % Generate a random sample under H_0 % where n is the sample size. xs = sigma*randn(1,n) + 454; Tm(i) = (mean(xs) - 454)/sigxbar; end
4)估计lower tail的critical value,得到它为
% Get the critical value for alpha.
% This is a lower-tail test, so it is the
% alpha quantile.
alpha = 0.05;
cv = csquantiles(Tm,alpha);
5)因为检验统计量的观测值
小于估计的cirital value(
),从而拒绝
相关文章推荐
- 计算统计-Chap6 推断统计的蒙特卡罗方法 (1)引言
- Michael Jordan在“21世纪的计算大会”上的主题演讲:大数据的分治和统计推断
- 用蒙特卡罗方法计算五人传球问题
- Java 基于Spring、MyBatis使用HashMap嵌套列表统计不同国家、指定类型船舶指定时间段在某区域进出量计算方法
- Excel在统计分析中的应用—第六章—抽样与抽样分布-抽样样本大小的计算方法
- 【解题报告】 URAL 1333 Genie Bomber 2 -- 利用类似统计的方法计算覆盖效率
- c# 统计方法执行时间,计算缓存读取数据方法的命中率
- 统计学习方法第10章隐马尔可夫模型的概率计算方法的前向算法
- 蒙特卡罗(Monte Carlo)方法计算圆周率π
- SQL 关于如何利用聚合函数把nvarchar型转成int型进行统计计算的方法
- ORANGE’S:一个操作系统的实现-chap4之:软盘结构(磁头号和起始扇区的计算方法)
- Java统计英文句子中出现次数最多的单词并计算出现次数的方法
- 计算统计-Chap4 生成随机变量 (1)通用技术
- Michael Jordan在“21世纪的计算大会”上的主题演讲:大数据的分治和统计推断
- Pyhton科学计算工具Pandas(五)—— 常用的数值计算和统计方法
- [导入]c# 统计方法执行时间,计算缓存读取数据方法的命中率
- C# 正则计算中文,数字,英文字数统计方法
- 用蒙特卡罗方法计算圆周率的近似值,java程序
- JavaScript重复元素处理方法分析【统计个数、计算、去重复等】
- 用蒙特卡罗方法计算区域面积以matlab实现