再谈最大似然估计与最小二乘
2016-06-16 11:14
176 查看
最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了,其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化,是个连乘积,只要取对数,就变成了线性加总。此时通过对参数求导数,并令一阶导数为零,就可以通过解方程(组),得到最大似然估计值。 最小二乘:找到一个(组)估计值,使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的,但绝对值在数学上求最小值比较麻烦,因而替代做法是,找一个(组)估计值,使得实际值与估计值之差的平方加总之后的值最小,称为最小二乘。“二乘”的英文为least square,其实英文的字面意思是“平方最小”。这时,将这个差的平方的和式对参数求导数,并取一阶导数为零,就是OLSE。 我所认为的还有一个原因是估计值和实际值之间的误差服从高斯分布,因为搞死分布有二次。
相关文章推荐
- nginx-upload-module模块实现文件断点续传
- 7个杀手级的开源监测工具
- 设计模式(2)-----策略模式
- Sorting File Contents and Output with sort
- 高手速成android开源项目【项目篇】
- 微信支付之退款
- <Android>自定义Log开关
- UIWebView保存图片
- HDCP学习
- 前端发展薪资等杂七杂八
- Django快速搭建Blog
- Xdebug文档(五) 代码覆盖分析
- PhotoShop CS6 安装及破解
- 美欧科学家清晰地探测到引力波
- UEFI模式下安装ubuntu14.04和windows8.1双系统
- JS原型对象的创建方法详解
- Retrolambda 配置
- (python 1)python中staticmethod函数、内建函数setattr
- 事务的概念以及ACID原则
- WebLogic Cluster Sevlet的配置