朴素贝叶斯分类器本质上是线性分类器
2016-02-08 20:40
344 查看
朴素贝叶斯分类器是一种应用贝叶斯定理的分类器。线性分类器是通过特征的线性组合来做出分类决定的分类器。本质上,朴素贝叶斯分类器是一种线性分类器。朴素贝叶斯分类器是建立在属性变量相互独立的基础上,后验概率为判定准则的分类器。下面不等式成立,样例[Math
Processing Error]为正类;否则样例为负类。
[Math
Processing Error]
线性分类器则是直观地来说,是在高维样本空间中找到一组超平面,将样本空间划分了两个区域。每个区域对应于不同的类别。数学上来说,线性分类器能找到权值向量[Math
Processing Error],使得判别公式可以写成特征值的线性加权组合。
[Math
Processing Error]
如果上面的不等式成立,则样本属于正类;反之,则样本属于负类。
一般离散特征的取值范围有两种,[Math
Processing Error]或者[Math
Processing Error]。这两种取值方式不会影响分析。不妨假设离散特征的取值范围为[Math
Processing Error]。下面的不等式成立,样例[Math
Processing Error]为正类。
[Math
Processing Error]
对于某个特征[Math
Processing Error],我们很容易推导出下面的公式
[Math
Processing Error]
其中[Math
Processing Error]也有类似的结果,从而有
[Math
Processing Error]
因此我们容易得到如下公式
[Math
Processing Error]
上面的公式意味着,离散特征的朴素贝叶斯分类器判别公式能够写成特征值的加权线性组合。也就是说,离散特征的朴素贝叶斯分类器本质上是线性分类器。
朴素贝叶斯分类器也适用于连续特征。一般情况下,连续特征的朴素贝叶斯分类假设条件概率[Math
Processing Error]满足高斯分布。
[Math
Processing Error]
如果同一个特征的条件概率方差相同,连续特征的朴素贝叶斯分类器也是线性分类器。条件概率的方差是指,在不同类别的条件下某属性值成立的条件概率的方差相同。
[Math
Processing Error]
因此我们有
[Math
Processing Error]
方差相同的情况下,连续特征的朴素贝叶斯分类器可以写成特征值的线性加权组合。方差相同的情况下,连续特征的朴素贝叶斯分布本质上是线性分类器。直观上看,方差相同的情况下,两个类别的特征和类别的联合分布(即p([Math
Processing Error]|T)*p(T)和p([Math
Processing Error]|F)*p(F))如下图的左图所示。判别准则其实就是下图右图中的黑色直线。
其实并不是所有的朴素贝叶斯分类器都是线性分类器。如果连续特征的朴素贝叶斯分类器中方差不相同,那我们就会发现判别公式不能写成特征值的线性加权组合。
[Math
Processing Error]
上面的不等式表明,方差不相等的情况下,连续特征的朴素贝叶斯分类器判别公式不能写成特征值的线性加权组合(判别公式与特征值[Math
Processing Error]的二次方有关)。这个例子表明,只有某些具有特定属性的朴素贝叶斯分类器才是线性分类器。
Processing Error]为正类;否则样例为负类。
[Math
Processing Error]
线性分类器则是直观地来说,是在高维样本空间中找到一组超平面,将样本空间划分了两个区域。每个区域对应于不同的类别。数学上来说,线性分类器能找到权值向量[Math
Processing Error],使得判别公式可以写成特征值的线性加权组合。
[Math
Processing Error]
如果上面的不等式成立,则样本属于正类;反之,则样本属于负类。
离散特征的朴素贝叶斯分类器
一般离散特征的取值范围有两种,[MathProcessing Error]或者[Math
Processing Error]。这两种取值方式不会影响分析。不妨假设离散特征的取值范围为[Math
Processing Error]。下面的不等式成立,样例[Math
Processing Error]为正类。
[Math
Processing Error]
对于某个特征[Math
Processing Error],我们很容易推导出下面的公式
[Math
Processing Error]
其中[Math
Processing Error]也有类似的结果,从而有
[Math
Processing Error]
因此我们容易得到如下公式
[Math
Processing Error]
上面的公式意味着,离散特征的朴素贝叶斯分类器判别公式能够写成特征值的加权线性组合。也就是说,离散特征的朴素贝叶斯分类器本质上是线性分类器。
连续特征的朴素贝叶斯分类器
朴素贝叶斯分类器也适用于连续特征。一般情况下,连续特征的朴素贝叶斯分类假设条件概率[MathProcessing Error]满足高斯分布。
[Math
Processing Error]
如果同一个特征的条件概率方差相同,连续特征的朴素贝叶斯分类器也是线性分类器。条件概率的方差是指,在不同类别的条件下某属性值成立的条件概率的方差相同。
[Math
Processing Error]
因此我们有
[Math
Processing Error]
方差相同的情况下,连续特征的朴素贝叶斯分类器可以写成特征值的线性加权组合。方差相同的情况下,连续特征的朴素贝叶斯分布本质上是线性分类器。直观上看,方差相同的情况下,两个类别的特征和类别的联合分布(即p([Math
Processing Error]|T)*p(T)和p([Math
Processing Error]|F)*p(F))如下图的左图所示。判别准则其实就是下图右图中的黑色直线。
不是线性分类器的朴素贝叶斯分类器
其实并不是所有的朴素贝叶斯分类器都是线性分类器。如果连续特征的朴素贝叶斯分类器中方差不相同,那我们就会发现判别公式不能写成特征值的线性加权组合。[Math
Processing Error]
上面的不等式表明,方差不相等的情况下,连续特征的朴素贝叶斯分类器判别公式不能写成特征值的线性加权组合(判别公式与特征值[Math
Processing Error]的二次方有关)。这个例子表明,只有某些具有特定属性的朴素贝叶斯分类器才是线性分类器。
相关文章推荐
- Stanford 机器学习笔记 Week2
- 自动增长字段
- 动画之逐帧
- 水木社区上看到的一道概率题
- 水木社区上看到的一道概率题
- iPhone计步器
- bzoj1864 三色二叉树
- 装饰器与函数的多层嵌套
- AngularJS中的http拦截
- ANDROID_MARS学习笔记_S01_007Linear_layout嵌套与layout_weight的设置
- 【小白的CFD之旅】03 老蓝
- hdu1272 小希的迷宫
- bzoj4318 OSU!
- KMP
- Linux下安装webstorm
- ANDROID_MARS学习笔记_S01_006ImageView
- 功能测试(二)软件的易用性
- 内存中的堆与栈到底是怎么回事?
- 三篇IMO的文章
- 为什么过去这么久,我还没谈恋爱