第三章 模式识别 - 最大似然估计和贝叶斯参数估计

第三章    最大似然估计和贝叶斯参数估计

    第二章的贝叶斯决策论中，在分类之前需要知道一些概率特征，包括类条件概率密度（似然函数）和先验概率。先验概率相对获知是比较容易的，而类条件概率密度就比较困难，原因有两点：

           1.训练样本少     2. 特征向量的维数较大，复杂度问题

    那如何估计类条件概率密度呢？如果事先知道类条件概率密度的分布，而只是分布的参数不知道，这样就可以把求未知函数转变为求未知参数！比如一条直线函数的参数（斜率），正态分布的参数（均值、方差）。

    通过转换，下面的任务就是求参数了，而最大似然估计和贝叶斯参数估计（不是贝叶斯决策）都是对参数进行估计的方法。













哲学对比：
    举例：设参数为桌子的长度，估计该参数，通过测量得到了不同时刻测量的长度值｛x1,x2,…,xn｝。
    唯物主义的方法：长度是确定的；估计方法有均值、中值等
    唯心主义的方法：长度是不确定的，即变量；估计方法给出各个取值的可能性（概率）或者分布。
    在参数估计的数学表达上，唯物主义的结果是得到一个确定的值来作为估计的结果。而贝叶斯则得到一个概率值来作为估计结果，而必须是变量才有概率意义，这也是贝叶斯将参数做作不确定变量的直接数学表达。
     经典学派是唯物主义，从理性出发，认为参数是确定的。贝叶斯学派是唯心学派，从感性出发，不同的测量样本空间确实得到了不同的值，因此是随机变量；
     在实际的应用中，贝叶斯的方法比经典学派要好。
     http://star.sgst.cn/upload/attach/attach200910140408470m9mz6gd83.pdf

两种方法的选择原则：

    1.  复杂度：最大似然的复杂度小于贝叶斯估计

    2. 可理解性：最大似然较易理解

    3. 对先验知识的信任程度：贝叶斯较好

误差根源：

    1.  贝叶斯误差：实际过程中类条件概率密度函数相互重叠引起的。

    2. 模型误差：选择了不正确的模型

    3. 估计误差：训练样本的局限性