PCA & LDA 区别
2016-03-26 16:11
204 查看
http://blog.csdn.net/sunmenggmail/article/details/8071502
LDA,基本和PCA是一对双生子,它们之间的区别就是PCA是一种unsupervised的映射方法而LDA是一种supervised映射方法,这一点可以从下图中一个2D的例子简单看出
![](http://hi.csdn.net/attachment/201012/18/114542_1292688413RtUs.png)
图的左边是PCA,它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上,映射时没有利用任何数据内部的分类信息。因此,虽然做了PCA后,整组数据在表示上更加方便(降低了维数并将信息损失降到最低),但在分类上也许会变得更加困难;图的右边是LDA,可以明显看出,在增加了分类信息之后,两组输入映射到了另外一个坐标轴上,有了这样一个映射,两组数据之间的就变得更易区分了(在低维上就可以区分,减少了很大的运算量)。
PCA 是无监督的,它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上,映射时没有利用任何数据内部的分类信息
用主要的特征代替其他相关的非主要的特征,所有特征之间的相关度越高越好
但是分类任务的特征可能是相互独立的
LDA是有监督的,使得类别内的点距离越近越好(集中),类别间的点越远越好。
在实际应用中,最常用的一种LDA方法叫作Fisher Linear Discriminant,其简要原理就是求取一个线性变换,是的样本数据中“between classes scatter matrix”(不同类数据间的协方差矩阵)和“within classes scatter matrix”(同一类数据内部的各个数据间协方差矩阵)之比的达到最大。关于Fisher
LDA更具体的内容可以见下面课件,写的很不错~
http://www.csd.uwo.ca/~olga/Courses//CS434a_541a//Lecture8.pdf
LDA,基本和PCA是一对双生子,它们之间的区别就是PCA是一种unsupervised的映射方法而LDA是一种supervised映射方法,这一点可以从下图中一个2D的例子简单看出
![](http://hi.csdn.net/attachment/201012/18/114542_1292688413RtUs.png)
图的左边是PCA,它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上,映射时没有利用任何数据内部的分类信息。因此,虽然做了PCA后,整组数据在表示上更加方便(降低了维数并将信息损失降到最低),但在分类上也许会变得更加困难;图的右边是LDA,可以明显看出,在增加了分类信息之后,两组输入映射到了另外一个坐标轴上,有了这样一个映射,两组数据之间的就变得更易区分了(在低维上就可以区分,减少了很大的运算量)。
PCA 是无监督的,它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上,映射时没有利用任何数据内部的分类信息
用主要的特征代替其他相关的非主要的特征,所有特征之间的相关度越高越好
但是分类任务的特征可能是相互独立的
LDA是有监督的,使得类别内的点距离越近越好(集中),类别间的点越远越好。
在实际应用中,最常用的一种LDA方法叫作Fisher Linear Discriminant,其简要原理就是求取一个线性变换,是的样本数据中“between classes scatter matrix”(不同类数据间的协方差矩阵)和“within classes scatter matrix”(同一类数据内部的各个数据间协方差矩阵)之比的达到最大。关于Fisher
LDA更具体的内容可以见下面课件,写的很不错~
http://www.csd.uwo.ca/~olga/Courses//CS434a_541a//Lecture8.pdf
相关文章推荐
- Hibernate一对多关系映射及各种操作
- Android中style的使用1(借鉴css思想)
- 盒模型的各种魔法(有点黑)
- 自己写的Dijkstra模板
- 孙俪袭击入股海润影视折射啥弊端?
- Unity 问题汇总
- Java并发编程:Lock
- CentOS7安装配置redis-3.0.0
- NetBeans invalid jdkhome specified 问题解决方法
- 20145305 《Java程序设计》第4周学习总结
- Java并发编程
- 在mybatis中怎么书写工具类,也就是创建一个sqlsessionFactory
- Object-C基础(4)—— 函数
- 软件工程个人作业03
- android学习11——Handler,Looper,MessageQueue工作原理
- 位运算
- [WebView学习之三]:使用WebView来创建Apps
- web前端移动端开发记录
- JIRA Agile破解
- 关系网络图(igraph)-1