Frequentist 观点和 Bayesian 观点
2016-12-11 16:10
375 查看
1. Frequentist view
Frequentist approach views the model parameters as unknown constants(未知的常数,而不是一个变量,variable) and estimates them(参数估计) by matching the model to the training data using an appropriate metric (某个适当的准则,criterion)。比如对于,{(x⃗ i,yi)}Ni=1 训练数据给定,对其进行线性估计(linear regression):
∑i=1N(yi−x⃗ Tiα⃗ )2
通过最小二乘对 α 进行估计。频率学派,在统计的观点下,常用的模型是 MLE,最大似然估计。同样也可从 MLE 的角度,理解上述公式,y∼N(x⃗ Tα,σ2)=12π√σexp(−(y−x⃗ Tα)22σ2),则假定不同的 yi 是独立同分布的,则对于全部样本有:
ΠNi=1(12π−−√σ)Nexp(∑(yi−x⃗ Tiα⃗ )2)
最后取对数,再转化为最小化,和最小二乘形式是相同的。
2. Bayesian 观点
首先和频率派观点相同的是,模型是某一概率分布,也即服从,y∼N(x⃗ Tα,σ2),Bayesian 观点要再向前走一步,参数 α 为某一随机变量,模型:生成数据,概率分布;(似然概率)
参数:random variable,先验概率(prior);
α∼N(0,λ2):
σ∼Γ(⋯)(必须为正值)
后验 ∝ 先验 * 似然:
p(α|X)∝p(α)⋅p(X|α)
点估计:MAP,最大后验估计;
基于后验,做采样,称为贝叶斯分析;
相关文章推荐
- Bayesian and frequentist reasoning in plain English
- Frequentist和Bayesian的差别
- issue4:model selection in frequentist and Bayesian
- Frequentist and Bayesian:智慧的碰撞
- Frequentist和Bayesian之间的故事
- 听同事讲 Bayesian statistics: Part 1 - Bayesian vs. Frequentist
- Java 面临的挑战--来自Sybase、Oracle、Novell、Sun、Borland、BEA、Motorola的11种观点
- 海尔张瑞敏的十三个观点
- [观点]要对大学生进行通才教育
- 回答-中国大陆30岁程序员现象的迷茫及部分“老大”的观点(转贴)
- [观点][幽默网文]八十年代新一辈的十大尴尬
- [观点][幽默网文]校园无厘头:金庸人物中最令人讨厌的十种女子
- 观点争鸣 AJAX是否能够取代桌面应用程序
- 如何才算掌握Java : 别人观点 (zz)
- 【阿冈观点】“潜规则”绯闻导演老巢首次现身电视扮窦娥鸣冤!
- Kingofark关于学习C++和编程的50个观点2003修订版
- 学习ASP和编程的28个观点
- 一些专家的个人观点,五大趋势,以及由此形成的第六大趋势
- 测试人员对 RUP 四个阶段的贡献:另一种观点(二)
- 关于计算机软件的几个观点