先验概率、后验概率、似然函数

以下以因果关系来刻画先验概率、后验概率以及似然概率的关系。

先验概率：根据经验得到的结果的概率（已知结果）；

后验概率：在知道原因的情况下，求结果发生的概率（执因求果）；

似然概率：知道结果的情况下，求最可能导致结果发生的原因（知果求因）；

举个例子：

已知车祸有一定概率会导致堵车，此处车祸是因，堵车是果。

P(堵车) 是先验概率。

P(堵车|车祸)是后验概率。

我们有以下三个随机事件

A 警察查酒驾

B 下班高峰

C 车祸

三个事件都会导致堵车，在已知堵车的情况下，哪个事件最可能发生，即是极大似然估计，即求 argmax(P(A|堵车)，P(B|堵车)，P(C|堵车))。argmax返回A,B,C三者中使得概率最大的事件。

先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；

似然——下雨（果）的时候有乌云（因 or 证据 or 观察的数据）的概率，即已经有了果，对证据发生的可能性描述；

后验——根据天上有乌云（原因或者证据 or 观察数据），下雨（结果）的概率；后验 ~ 先验*似然 ： 存在下雨的可能（先验），下雨之前会有乌云（似然）~ 通过现在有乌云推断下雨概率（后验）；

最大似然估计：在已知模型和采样样本的情况下，求得模型的参数，使得该模型能最好的符合样本情况。最大似然估计只考虑某个模型能产生某个给定观察序列的概率。而未考虑该模型本身的概率。这点与贝叶斯估计有区别。

MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。

关于最大似然估计和最大后验估计可以参照以下博客：

http://blog.csdn.net/HUSTLX/article/details/51144710

https://www.zhihu.com/question/24261751/answer/88663605

https://zhuanlan.zhihu.com/p/24423230

http://blog.csdn.net/HUSTLX/article/details/51144710