LDA与最小二乘法的关系及其变种详解

1 LDA与最小二乘法的关联

对于二值分类问题，令人惊奇的是最小二乘法和LDA分析是一致的。回顾之前的线性回归，给定N个d维特征的训练样例

（i从1到N），每个

对应一个类标签

。我们之前令y=0表示一类，y=1表示另一类，现在我们为了证明最小二乘法和LDA的关系，改变训练目标：



就是将训练目标0/1做了值替换。我们列出最小二乘法代价函数：



w和

是拟合权重参数。分别对

和w求导得：






从第一个式子展开可以得到：




消元后，得

。又因为：



化简第二个求导式子展开后和下面的公式等价：



其中

和

是二值分类中类内离散矩阵和类间离散矩阵。由于


因此，最后结果仍然是：



这个过程从几何意义上去理解也就是变形后的线性回归（将类标签重新定义），线性回归后的直线方向就是二值分类中LDA求得的直线方向w。
2.LDA的变种详解