Trading Convexity for Scalability

这篇文章发表于ICML06，很有意思的点在于，它抓住了随着样本规模的大幅度提升，SVs的数量也随之而提升的问题，这样，由于稀疏性的不好导致计算的耗时也很多。作者以Hinge Loss作例举，当y⋅f(x)<1y\cdot f(x)<1时，约束得到的点则均被认为support vectors，作者认为，这里面的很多outliner不应该被认为sv，所以，作者构造一个新的损失函数，Rs(z)=H1(z)−Hs(z)R_s(z)=H_1(z)-H_s(z),这样问题就变成了一个非凸问题，接着，作者用cccp来解决。

在文章第四部分，作者又将自己提出的方法应用到了semi-supervised learning的问题上，同样，也构造了一个非凸问题，然后用cccp去解。

personal：

这篇文章是在查cccp应用的paper时找到的，对于大规模样本问题，作者从SVs的数量切入，很巧妙的构造了一个新的loss function，并得到了很不错的结果，只是文章比较短，没有给出过多的推导证明，上面这种新的损失函数的合理性就不太明白了，回头找找看看作者是不是在其他问题中有提到吧。