Fisher线性判别（*）

对原文中部分公式中的“错误”（可能是图片不清楚，或者是我自己搞错了，我是按照老师教授的版本为准）做了修改，并在最后做了适当补充。

原文地址：http://blog.csdn.net/carson2005/article/details/6699939，仅供个人和新手学习之用，中间图片部分即作者原文，头和尾的文字部分即本人后来补充的部分。若有错误，希望指正。

修正1：在定义的几个“基本变量”这一部分中，第一个

“各类样本的均值向量mi”

下面图中公式当中的1/N中的N应该加上下标i，容易理解，某类样本的均值向量应该在其该类数量的基础上计算平均，而不应该是所有类样本的总量。



修正2：在”一维Y空间“部分中的”各类样本均值“中的第一个公式的问题同上。



说明1：下图文中的求和符号下方的X和Y都是带有i下标的（图片不是很清楚），即分类别的。



补充：请看最后。













补充：上面已经讲到，求出向量w*，就可以实现将每一个已知类别样本或者待测样本的映射成 一维的y值，即y=w*x

然后对于待测样本x，比较其求得的y值和阈值y0的大小，就可以做出决策。

y0如何确定？

(1)当维数d和样本数N都很大时，可采用贝叶斯决策规则，从而获得一种在一维空间的“最优”分类器。

(2)如果上述条件不满足，也可利用先验知识选定分界阈值点 ，如以下几种选择方法：



式中P（w1）和P（w2）分别为w1类和w2类样本的先验概率。

这样对于任意给定的未知样本x，只要计算它的投影点y，

再根据决策规则


就可判定x属于什么类别。

(对于y0的确定和最终x类别的决策，在网上我发现了另外一套方法，公司类似，但不相同，因此此处也有待商榷，需研究两种方法是否等价或者孰优孰劣)