机器学习小组知识点7:伯努利分布(Bernouli Distribution)
2016-11-08 10:43
851 查看
适用环境:伯努利分布是较为简单的一种分布,应用于两种实验结果。要么成功,要么失败,一定程度上是二元的性质。这里,我们假设成功的概率为p,显然失败的概率就变成了1−p。
概率公式可以表示为f(x)=px(1−p)1−x,x为0或1,1代表成功,0代表失败。
接下来我们研究以下统计量,
但是我们知道x只能取0或者是1,那么对于一个随机变量,
∑2i=1xif(xi)=1∗p+0∗(1−p)=p
p(D|p)=ΠNi=1f(xi)=ΠNi1pxi(1−p)1−xi
又是一个连乘的式子,那么老办法用递增的函数ln(x),则转化为,
lnp(D|p)=∑Ni=1xilnp+∑Ni=1(1−xi)ln(1−p)
然后求导得到
pML=1N∑Ni=1xi
这个就是伯努利分布的最大似然估计。
好玩的地方是,上式中,令N趋于无穷,那么结果怎么样?
感兴趣的同学可以看下大数定律。
概率公式可以表示为f(x)=px(1−p)1−x,x为0或1,1代表成功,0代表失败。
接下来我们研究以下统计量,
1.数学期望
E(x)=E(x1)+E(x2)+⋯+E(xn)=x1p1+x2p2+⋯+xnpn=∑ni=1xnf(xn)但是我们知道x只能取0或者是1,那么对于一个随机变量,
∑2i=1xif(xi)=1∗p+0∗(1−p)=p
2.方差
Var(x)=E(x2)−(E(x))2=E(x)−(E(x))2=p−p2=p(1−p)3.最大似然估计与伯努利分布
还记得最大似然估计的假设吗? 相互独立且同分布!那么有,p(D|p)=ΠNi=1f(xi)=ΠNi1pxi(1−p)1−xi
又是一个连乘的式子,那么老办法用递增的函数ln(x),则转化为,
lnp(D|p)=∑Ni=1xilnp+∑Ni=1(1−xi)ln(1−p)
然后求导得到
pML=1N∑Ni=1xi
这个就是伯努利分布的最大似然估计。
好玩的地方是,上式中,令N趋于无穷,那么结果怎么样?
感兴趣的同学可以看下大数定律。
相关文章推荐
- 机器学习小组知识点4:批量梯度下降法(BGD)
- 机器学习小组知识点26:数据预处理之数据规约(Data Reduction)
- 机器学习小组知识点32:马尔科夫蒙特卡罗采样算法1:(Metropolis-Hasting )
- 机器学习小组知识点19:贝塔分布(Beta Distribution)
- 机器学习小组知识点39:广义线性模型(Generalized Linear Model)
- 机器学习小组知识点40:岭回归(L2)和LASSO(L1)
- 机器学习小组知识点33:马尔科夫蒙特卡罗采样算法2:(Gibbs )
- 机器学习小组知识点4&5:批量梯度下降法(BGD)和随机梯度下降法(SGD)的代码实现Matlab版
- 机器学习小组知识点13:泊松分布(Poisson Distribution)
- 机器学习小组知识点14:均匀分布(Uniform Distribution)
- 机器学习小组知识点8:二项式分布(Binomial distribution)
- 机器学习小组知识点11:几何分布(Geometric Distribution )
- 机器学习小组知识点37:Canoy聚类
- 机器学习小组知识点24:数据预处理之数据清理(Data-Cleaning)
- 机器学习小组知识点1:均方误差(MSE)
- 机器学习小组知识点6:最大似然估计法(MLE)
- 机器学习小组知识点38:谱聚类(Spectral-KMeans)
- 机器学习小组知识点12:超几何分布(Hyper-Geometric Distribution)
- 机器学习小组知识点30:接受-拒绝采样(Acceptance-Rejection Sampling)
- 机器学习小组知识点34:K-means聚类