LDA中的三个散度矩阵

LDA中的三个散度矩阵

在学习LDA（Linear Discriminate Analysis）的时候接触到了散度矩阵的概念，并且很多文章提到到混合散度矩阵等于类间散度矩阵与类内散度矩阵之和。我自己证明了一下。

总体散度矩阵（total scatter matrix）

St=∑i=1C∑j=1nip(i,j)(xij−μ)(xij−μ)T

其中xij表示第i类的第j个样本，p(i,j)表示xij出现的概率，μ为总体均值，C为类数，ni为第i类的样本数。

类内散度矩阵（within-class scatter matrix）

Sw=∑i=1Cp(i)Si

其中Si=∑Ci=1p(i)(μi−μ)(μi−μ)T，表示第i类的类间散度矩阵，p(i)为第i类出现的概率，并且p(i)p(j|i)=p(i,j).

类间散度矩阵（between-class scatter matrix）

Sb=∑i=1Cp(i)(μi−μ)(μi−μ)T

其中μi是第i类的均值。我们可以对St作分解，

St=∑i=1C∑j=1nip(i,j)(xij−μi+μi−μ)(xij−μi+μi−μ)T=∑i=1C∑j=1nip(i,j)(xij−μi)(xij−μi)T+∑i=1C∑j=1nip(i,j)(μi−μ)(μi−μ)T+∑i=1C∑j=1nip(i,j)(xij−μi)(μi−μ)T+∑i=1C∑j=1nip(i,j)(μi−μ)(xij−μi)T

将上式中的四部分分别记为A,B,C,D, 那么

ABC同理D=∑i=1Cp(i)∑j=1nip(j|i)(xij−μi)(xij−μi)T=∑i=1Cp(i)Si=Sw=∑i=1Cp(i)(μi−μ)(μi−μ)T∑j=1nip(j|i)=∑i=1Cp(i)(μi−μ)(μi−μ)T=Sb=∑i=1Cp(i)⎛⎝∑j=1nip(j|i)(xij−μi)⎞⎠(μi−μ)=∑i=1Cp(i)⎛⎝∑j=1nip(j|i)xij−μi⎞⎠(μi−μ)=0=0

所以St=Sb+Sb