ML—SVM高级应用总结

华电北风吹

日期：2015/12/3

SVM近期研究结果总结，不定期更新。。。

一、SVM提升算法

基于单个SVM分类器构建强分类器。核函数采用RBF核K(xi,xj)=e−γ||xi−xj||2的时候会发现，采用较小的γ容易欠拟合，而较大的γ又会造成过拟合，这在使用单个分类器的时候在配合Adaboost的样本权重更新机制，就可以达到boosting的效果。

(http://download.csdn.net/detail/zhangzhengyi03539/9267641)

二、SVM的多核学习

SVM里面引入核技巧是一个成功。而多核学习则是将这个成功更大大的往前推进了一步。SVM里面的多核分为两种情况：

1、通过一些简单的核构造新的核

假设有m个样本(xi,yi),xi∈Rn,yi∈R,i=1,2,...,m，分别建立p个不同的核函数Kk(xi,xj),i,j∈1,2,...,m,k∈1,2,...,p，模型自动选择各个核下的权重，训练分类器，模型表述如下

K(xi,xj)=w1K1(xi,xj)+w2K2(xi,xj)+...+wpKp(xi,xj)

参考：(http://blog.csdn.net/zhangzhengyi03539/article/details/50062057)

2、对样本特征的不同子集使用不同的核函数

假设有m个样本(xi,yi),xi∈Rn×p,yi∈R,i=1,2,...,m，其中xi=[xi1,xi2,...,xip]表示p个模态或者p个任务下采集到的数据，因此可以对每个模态下的特征分别建立核函数，也就是建立p个核函数Kk(xik,xjk),i,j∈1,2,...,m,k∈1,2,...,p，然后给每个核函数分配合适的权重，训练分类器，模型表述如下

K(xi,xj)=w1K1(xi1,xj1)+w2K2(xi2,xj2)+...+wpKp(xip,xjp)

这种类型可以通过libsvm里面的自定义核函数方便求解。

三、SVM级联

SVM级联操作就是把SVM输出值不进行符号函数运算，而是在打上标签训练下一级的SVM。这方面应用我所见的应用最好的就是程明明2014年发表在cvpr上的关于一般物体检测的文章，文章数据集代码均可以下载运行。

参考：

(http://www.cvchina.info/2014/02/25/14cvprbing/)