学习记录——统计学习简介之贝叶斯决策理论

统计决策理论：

比较统计过程的形式化理论

Bayes决策常用的准则

最小错误率准则
最小风险准则
最小条件错误率准则:在限定一类错误率条件下使另一类错误率为最小
最小最大决策准则

问题描述

（1）给定：m个类，训练样本和未知数据
（2）目标：给每个输入数据标记一个类属性
（3）两个阶段：
1）建模/学习：基于训练样本学习分类规则
2）分类/测试：对输入数据应用分类规则

最大后验（Maximum A Posterior）分类

什么是最优分类器
已有：类条件概率密度函数p（x|Ci）
预知：后验概率p（Ci|x）

Bayes最小错误率（MAP）决策

MAP决策的错误率

Bayes决策是一致最优决策


使得每个观测值下的条件错误率最小因而保证了（平均）错误率小

MAP决策的扩展：最小Bayes风险

决策的风险：
（1）做决策要考虑决策可能引起的损失
（2）以医生根据白细胞浓度判断一个人是否患血液病为例：
没病（Wi）被判为有病（W2），还可以做进一步检查，损失不大
有病（W2）被判为无病（W1），损失严重

Bayes决策：讨论

基于Bayes决策的最优分类器
Bayes决策的三个前提：
（1）类别数确定
（2）各类的先验概率P（Ci）已知
（3）各类的条件概率密度函数p（x|Ci）已知
问题的转换：
（1）基于样本估计P（Ci）和p（x|Ci）
（2）基于样本直接确定判别函数