白话机器学习算法（七）LDA

http://blog.csdn.net/wangxin110000/article/details/22201777

LDA也是一种线性变换，其整个证明过程与PCA非常相似，找到目标函数，利用特征值，但是其跟PCA的目标是不同的，PCA目的是在新坐标系中方差最大，LDA则是在新坐标系中，类内方差尽量小，类间距离尽量大，并以这两个指标定义一个目标函数，通过最大化这个目标函数然后得到相应的映射方法，即新坐标系；

这两者本质原理类似，都是线性映射，但是目标不同；LDA是有标签的训练方法，使得映射以后更容易判决！

LDA与PCA可以联系起来用，先PCA降维，再LDA找到一个新的坐标系，然后将数据在新坐标系上进行判决！