统计学习方法笔记(四)朴素贝叶斯方法
2015-10-22 14:54
239 查看
基本的朴素贝叶斯方法:
假设我们面对的是一个分类问题,一个样本点的特征向量和类别标签为:
我们期望在知道x的情况下得到y=cj的概率,即:
如果我们想要具体的知道这个样本属于哪一类别的概率最大,即需要求解最大的后验概率:
先验概率为:
条件概率为:
朴素贝叶斯方法做了条件独立性假设,于是可以有:
以上的条件独立假设等于说是用于分类的特征在确定的条件下都是条件独立的,那么现在再来看后验概率:
我们要求的最大后验概率如上所示,由于对于所属的每一类来说,分母项都是不变的,所以
朴素贝叶斯方法的目标函数的含义(另一种解释):
我们期望的是分类的准确度尽可能的高,即期望风险最小话,所以损失函数选择0-1函数:
期望风险函数为:
所以优化函数为:
所以后验概率最大化准则为:
现在有了最大后验概率准则之后,可以对给定样本进行类别判断:
后验概率 正比于 先验概率* 似然函数
那么这时候需要估计先验概率和似然函数:
1. 最大似然估计
其中ajl表示的是特征的第j个维度的第l个可能取值。
2. 贝叶斯估计
假设我们面对的是一个分类问题,一个样本点的特征向量和类别标签为:
我们期望在知道x的情况下得到y=cj的概率,即:
如果我们想要具体的知道这个样本属于哪一类别的概率最大,即需要求解最大的后验概率:
先验概率为:
条件概率为:
朴素贝叶斯方法做了条件独立性假设,于是可以有:
以上的条件独立假设等于说是用于分类的特征在确定的条件下都是条件独立的,那么现在再来看后验概率:
我们要求的最大后验概率如上所示,由于对于所属的每一类来说,分母项都是不变的,所以
朴素贝叶斯方法的目标函数的含义(另一种解释):
我们期望的是分类的准确度尽可能的高,即期望风险最小话,所以损失函数选择0-1函数:
期望风险函数为:
所以优化函数为:
所以后验概率最大化准则为:
现在有了最大后验概率准则之后,可以对给定样本进行类别判断:
后验概率 正比于 先验概率* 似然函数
那么这时候需要估计先验概率和似然函数:
1. 最大似然估计
其中ajl表示的是特征的第j个维度的第l个可能取值。
2. 贝叶斯估计
相关文章推荐
- 2015年亚太地区邮件营销表现
- 纯CSS画的基本图形技巧绘制(矩形、圆形、三角形、多边形、爱心、八卦等)
- Python 正则学习
- Json格式如何转为String类型
- 创建全局的安全描述符
- 三维重建的方法---大类别分类
- css 文字超出省略号
- 记录
- 使用双栈实现一个队列
- Python截取路径中的文件名
- Android layout_weight体验(实现按比例显示)
- shell更改目录编码
- 解决安卓全屏“FLAG_FULLSCREEN”状态下“adjustResize”失效,全屏状态下WebView的输入框被软键盘挡住的问题
- [sikulim] 几个testcase
- ie6 不支持png24
- 杀死僵尸进程
- 一些重要的算法源码
- web开发 mysql数据库操作 之 分页技术
- 表单标签--浏览器交互
- ios 适配问题