最大似然估计
2018-01-31 23:38
176 查看
单纯从原理上来说,最大似然估计并不是一个非常难以理解的东西。最大似然估计不过就是评估模型好坏的方式,它是很多种不同评估方式中的一种。未来准备写一写最大似然估计与它的好朋友们,比如说贝叶斯估计 (Beyasian Estimation), 最大后验估计(Maximum Posterior Estimation)的关系。
(版权所有,转载请注明出处)
最大似然估计
如果写出最大似然估计的公式的话是这样的:θML=argmaxθP(Y|X;θ)
假设一个模型是一个图片分类任务,从一个256×256256×256的图片来识别出模型到底是一个猫,一个狗,还是其他什么东西。那么输入就是256×256256×256的矩阵(图片),输出就是一个3维的向量,比如说{0.1,0,2,0.7}{0.1,0,2,0.7}代表从图片到对应三个分类的概率。
对于这个任务而言,我们需要学习的是一个给定分类函数的参数θθ,
这个函数可以是任何函数,只要这个函数最终能输出三分类对应的概率向量就可以了。对于θθ而言,我们的目标是,对于给定的输入,输出值越接近真实值越理想,这个就是所谓的最大似然。
如果用模型训练的角度上来说,我们可以把公式展开成如下的形式:
argmaxθ∑i=1nlogP(y(i)|x(i);θ)
在这里,x(i)x(i)和y(i)y(i)分别代表一张训练数据的图片和训练数据图片代表的分类结果,在公式里面求和是希望考虑所有的样本情况。由于用于训练的图片是事先标注好的属于某一个类别,所以最终的概率向量的每一个分量不是00就是11,比如说{0,1,0}{0,1,0}, {0,0,1}{0,0,1}之类的。
那么问题来了,我们如何来判断目前θθ的输出概率更接近于真实的概率呢?在这里我们能用到一个现成的工具:
KL Divergence (KL散度), KL 散度是用来判断两个概率分布的距离,其公式为(假设我们要判断从概率分布P到概率分布Q的距离):
DKL(P||Q)=−∑iP(i)logQ(i)P(i)DKL(P||Q)=−∑iP(i)logQ(i)P(i)
所以说在我们这里就成为:
DKL(Y||Y^)=−∑iy(i)logy^(i)y(i)
在这里y(i)y(i)指的是标注好的输出,而y^(i)y^(i)指的是算法的输出。
那么我们的优化目标就变成了使得DKLDKL最小。
交叉熵
这里不想叙述太多关于熵和交叉熵的基本知识,简单来说交叉熵是用来计算两个函数或者概率之间的距离,计算的方式也是使用的KL Divergence,在机器学习的世界里面大概可以认为交叉熵和最大似然估计是一回事,如果看到这两个术语应该把他们联系在一起。具体可以参考下面的几篇文章:
1) Andrew Moore关于信息论的Tutorial。
2) A Friendly Introduction to Cross-Entropy Loss
与深度学习的关系
那么最大似然估计(交叉熵)与深度神经网络有什么关系呢?如果你写过TensorFlow的程序的话,你会注意到程序的最后往往会加上一个Softmax函数。Softmax函数一个重要的性质就是把输出归一化转换到每一个对应分类的概率。一旦转换为概率之后,我们就可以用到最大似然估计(交叉熵)的方式来求得最大似然或者最小交叉熵。在这里推荐Tobe同学的一篇总结Cross Entropy在Tensorflow中应用的文章:
其他参考资料
1) https://www.autonlab.org/_media/tutorials/mle13.pdf2) http://www.mi.fu-berlin.de/wiki/pub/ABI/Genomics12/MLvsMAP.pdf
相关文章推荐
- logistic回归和用最大似然估计选取CostFunction
- 最大似然估计法(MLE)
- 最大似然估计的学习
- 参数估计(Parameter Estimation):频率学派(最大似然估计MLE、最大后验估计MAP)与贝叶斯学派(贝叶斯估计BPE)
- 语言模型的参数估计-最大似然估计、MAP及贝叶斯估计
- 最大似然估计(maximum likelihood estimation)
- matlab练习程序(最大似然估计)
- 最大似然估计 高斯分布
- 最大似然估计Maximum-likelihood (ML) Estimation
- 最大似然估计(MLE)与最小二乘估计(LSE)的区别
- 最大似然估计
- 参数估计-最大似然估计和贝叶斯参数估计
- 概率统计之最大似然估计
- 最大似然估计 (MLE) 最大后验概率(MAP)
- 最大似然估计(Maximum likelihood estimation)(通过例子理解)
- 最大似然估计(MadTurtle)
- 参数估计之最大似然估计
- 【bayes】贝叶斯估计与最大似然估计
- 模式识别学习笔记(5)——最大似然和贝叶斯参数估计
- 最大似然估计的缺陷 —— 方差和均值的 bias