分类算法之朴素贝叶斯——简单天气预报算法

这两天学习了一个相对照较简单可是十分有用的分类算法——贝叶斯分类算法，与我做项目使用的svm算法相比确实有非常多精妙之处，。好比撒尿牛丸——好吃又好玩。而贝叶斯分类器则是简单又强大。本文结合简单天气预报进行解说。

贝叶斯定理：

贝叶斯定理是概率论里面一个计算条件概率的法器！

为什么是法器，且看后文。先摆出计算公式：



或许乍一看这公式没什么。可是我们先将公式移项得：P(A|B)P(B)=P(AB)。此时再将A与B互换一下。发现什么没有？一个伟大的公式来了：

P(A|B)P(B)=P(AB)=P(B|A)P(A)

=>


整个分类算法的核心思路就是依据这个公式！

为什么？且往下看！

什么是分类：

比方。如果将天气分为简单的晴天和雨天，那么晴天和雨天各为一个分类。

那么，怎样进行天气预报 ？ 非常easy，利用已知的一些大气特性！

为了简化问题，这里如果大气对天气预报实用的属性仅仅有空气湿度、云层密度两个特征属性。那么 天气预測就是： 提供某一天的空气湿度和云层密度两个属性值，输出一个晴天或雨天的结果！

朴素贝叶斯依据上述问题简化进行简单天气预測：

对于之前的天气预測问题的简化看起来和之前的公式没什么联系，可是请大家细看：
假设用H表示湿度，而且湿度分为1、2、3级分别表示为h1、h2、h3。 而云层密度用G表示，也分为1、2、3级，分别用g1、g2、g3表示。另外，天气W表示，分为1、2两级。晴天和雨天分别表示为w1、w2 。
那么，通过以往的数据我们能够统计出现晴天或者雨天结果时（条件）。h和g出现的概率。即：P（
H | W）、和 P( G | W ) 。当中H、G、W在之前提到的分级值范围内取值, 假设空气湿度H和云层密度G 相对独立，那么天气预报转换为求：
P=P(W |G,H )=P(W|G)xP(W|H)
利用之前的公式转化为：

P=[P(G|W)P(W)/P(G)
]X[P(H|W)P(W)/P(H)]

上式的P(G|W) 、P(H|W) 为之前统计出的概率，而P(W)为天气为晴天和雨天的概率，能够统计出晴天概率P(W1)和雨天概率P(W2)，而P（G）、P(H）对每个分类类别为常数，比方无论H是1、2、3哪一种，P（H）都是常数（想想为什么？）

到此，我们就能够进行预測了！

天晴的概率：
P1=P(w1|G,H)=[P(G|W1)P(W1)/P(G)]X[P(H|W1)P(W1)/P(H)]

雨天的概率：

P2=P(w2|G,H)=[P(G|W2)P(W2)/P(G)]X[P(H|W2)P(W2)/P(H)]

当中等式的右边各个式子均为已知项。比如某天的湿度为h1，云层密度为g1，则课分别带入上面的公式。然后比較P1和P2的大小！
这样，就能够简单地预測天气了！

总结：贝叶斯可依据样本数据的概率统计而进行分类概率预測，在非常多问题上可用，比方推断微博用户是否为僵尸账号！详细就不说了。

通用的朴素贝叶斯分类的正式定义例如以下：

1、设

为一个待分类项，而每一个a为x的一个特征属性。

2、有类别集合

。

3、计算

。

通常将P最大的项。作为目标分类。