协作表示PK稀疏表示

　　上篇文章介绍了基于稀疏表示的人脸，相对先前的人脸识别方法具有重大突破进展，其核心思想：通过训练样本对测试样本进行线性表示，使用L1−normL_{1}-norm求解稀疏系数，最后，利用残差对测试样本进行分类判别。SRC（Sparse Representation for classification）突出的是表示中的稀疏性是识别率提高的关键点，然而有关学者在进行研究过程中发现，稀疏性并不是真正的决定性点，提出类别之间的协作表示在分类中的重要性，本文从协作表示和稀疏表示之间的关系出发，介绍其中的异同点。

　　参考文章：Lei Zhang, Meng Yang, Xiangchu Feng. Sparse Representation or Collaborative Representation: Which Helps Face Recognition?

　　Algorithm1: Sparse Representation for Classifiaction

　　step1：对训练样本和测试样本进行单位L2−normL_{2}-norm归一化

　　step2：使用训练样本对测试样本进行系数编码：

　　　　　　　　　　　α^=argminα{∥y−Xα∥22+λ∥α∥1} \hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1} \right \} 　　　　　　　(1)

　　step3：根据编码系数求解每类样本残差：

　　　　　　　　　　　　　　　　ri=∥y−Xiα^i∥2r_{i}=\left \| y-X_{i} \hat{\alpha}_{i} \right \|_{2}　　　　　　　　　　　　　(2)

　　step4：输出测试样本yy的label：

　　　　　　　　　　　　　　identity(y)=argminiriidentity(y)=argmin_{i}{r_{i}} 　　　　　　　　　　　(3)

式(1)中，对于稀疏编码向量的约束采用L1−normL_{1}-norm，逼近残差则采用L2−normL_{2}-norm进行约束，在进行分析之前，先介绍一下对重构残差和稀疏系数的约束有什么意义。

　　当残差约束为L2−normL_{2}-norm来说成为传统稀疏表示(S-SRC)，即α^=argminα{∥y−Xα∥2+λ∥α∥1} \hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{2}+\lambda \left \| \alpha \right \|_{1} \right \} ；

　　当约束为L1−normL_{1}-norm来说称为鲁棒稀疏表示(R-SRC)，即α^=argminα{∥y−Xα∥1+λ∥α∥1} \hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{1}+\lambda \left \| \alpha \right \|_{1} \right \}，这是因为L1−normL_{1}-norm对于遮挡或噪声来说具有鲁棒性。而稀疏系数的L1−normL_{1}-norm约束则是保证测试样本的稀疏表示，也就是使系数向量有尽可能多的零系数。

　　稀疏表示（S-SRC/R-SRC）假设训练样本充足时，XiX_{i}为过完备寻找测试样本的稀疏解，由于测试样本未知，则由整体训练样本进行线性表示，求解稀疏解，而此时先前工作则忽略其他类别样本的协作表示作用，尤其是当出现SSS（Small smaple size）情况时，导致每类样本构成欠完备字典，稀疏性求解时正确类别也会产生较大残差，故需要由其他类别共同的部分线性表示测试样本，通俗的将就是借别人的与自己相同东西凑一凑，这就是协作表示的本质，于是协作表示把分类问题转化为哪一类奉献的最多，其他类奉献的较小，就归为哪一类。

　　其实由上述问题，我们可以看出稀疏表示就是协作表示的一种特殊情况，协作表示的通用模型为：α^=argminα{∥y−Xα∥lq+λ∥α∥lp} \hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{l_{q}}+\lambda \left \| \alpha \right \|_{l_{p}} \right \} ，很熟悉的形式了，稀疏表示就是设置p=1p=1，根据是否有遮挡或者噪声，设置q=1或2q=1或2，在张磊的协作表示论文中，介绍当为样本维数很小时稀疏性则很有效（论文中有实验证明三种范数之间的关系，请读者自行学习），但通常样本维数不会很小，故我们将pp设置为2，构成最小二乘解形式，可以减少字典XX欠完备时求得稳定解，L2−normL_{2}-norm相对L1−normL_{1}-norm有较弱的稀疏性，但是在求解时，复杂度却减少很多。

　　Algorithm2：Collaborative representation for classification

　　step1：对样本进行归一化处理

　　step2：求解稀疏系数：

　　　　　　　　　　　　　　　α^=Py\hat{\alpha}=Py

其中，P=(XTX+λI)−1XTP=(X^{T}X+\lambda I)^{-1}X^{T}　

　　step3：求解正则残差　

　　　　　　　　　　　　　ri=∥y=Xiαi^∥2/∥α^∥2r_{i}=\left \| y=X_{i}\hat{\alpha _{i}}\right \|_{2}/\left \| \hat{ \alpha} \right \|_{2}　

　　step4：输出测试样本label

　　　　　　　　　　　　　Identity(y)=argminiriIdentity(y)=\arg min_{i}{r_{i}}

　　这篇文章写的非常好，引用率非常高，协作表示在稀疏表示人脸分类工作中经常被用作改进工作，大家可以细读一下，收获会很大，张磊主页：http://www4.comp.polyu.edu.hk/~cslzhang/ 里面有很多文章和代码。