线性SVM与非线性SVM
2017-12-10 10:57
357 查看
所谓线性SVM与非线性SVM是指其选用的核类型。
用于分类问题时,SVM可供选择的参数并不多,惩罚参数C,核函数及其参数选择。对于一个应用,是选择线性核,还是多项式核,还是高斯核?还是有一些规则的。
实际应用中,多数情况是特征维数非常高。如OCR中的汉字识别,提取8方向梯度直方图特征,归一化的字符被等分成8*8的网格,每个网格计算出长度为8的方向直方图,特征维数是8*8*8 = 512维。在这样的高维空间中,想把两个字符类分开,用线性SVM是轻而易举的事,当然用其它核也能把它们分开。那为什么要选择线性核,因为,线性核有两个非常大的优点:
预测函数简单f(x) = w’*x+b,分类速度快。对于类别多的问题,分类速度的确需要考虑到,线性分类器的w可以事先计算出来,而非线性分类器在高维空间时支持向量数会非常多,分类速度远低于线性分类器。
线性SVM的推广性有保证,而非线性如高斯核有可能过学习。再举个例子,基于人脸的性别识别,即给定人脸图像,判断这个人是男还是女。我们提取了3700多维的特征,用线性SVM就能在测试集上达到96%的识别正确率。因此,线性SVM是实际应用最多的,实用价值最大的。
如果在你的应用中,特征维数特别低,样本数远超过特征维数,则选用非线性核如高斯核是比较合理的。如果两类有较多重叠,则非线性SVM的支持向量特别多,选择稀疏的非线性SVM会是一个更好的方案,支持向量少分类速度更快,如下图:
现在对选用线性SVM还是非线性SVM有一个基本认识了吧?以上为个人的一些理解,难免有偏差之处,欢迎大家指正或补充。后面会继续写一些SVM方面的帖子,希望对感兴趣的人有点用处。
转自:http://xiaozu.renren.com/xiaozu/121443/356866219
用于分类问题时,SVM可供选择的参数并不多,惩罚参数C,核函数及其参数选择。对于一个应用,是选择线性核,还是多项式核,还是高斯核?还是有一些规则的。
实际应用中,多数情况是特征维数非常高。如OCR中的汉字识别,提取8方向梯度直方图特征,归一化的字符被等分成8*8的网格,每个网格计算出长度为8的方向直方图,特征维数是8*8*8 = 512维。在这样的高维空间中,想把两个字符类分开,用线性SVM是轻而易举的事,当然用其它核也能把它们分开。那为什么要选择线性核,因为,线性核有两个非常大的优点:
预测函数简单f(x) = w’*x+b,分类速度快。对于类别多的问题,分类速度的确需要考虑到,线性分类器的w可以事先计算出来,而非线性分类器在高维空间时支持向量数会非常多,分类速度远低于线性分类器。
线性SVM的推广性有保证,而非线性如高斯核有可能过学习。再举个例子,基于人脸的性别识别,即给定人脸图像,判断这个人是男还是女。我们提取了3700多维的特征,用线性SVM就能在测试集上达到96%的识别正确率。因此,线性SVM是实际应用最多的,实用价值最大的。
如果在你的应用中,特征维数特别低,样本数远超过特征维数,则选用非线性核如高斯核是比较合理的。如果两类有较多重叠,则非线性SVM的支持向量特别多,选择稀疏的非线性SVM会是一个更好的方案,支持向量少分类速度更快,如下图:
现在对选用线性SVM还是非线性SVM有一个基本认识了吧?以上为个人的一些理解,难免有偏差之处,欢迎大家指正或补充。后面会继续写一些SVM方面的帖子,希望对感兴趣的人有点用处。
转自:http://xiaozu.renren.com/xiaozu/121443/356866219
相关文章推荐
- [机器学习实验6]线性SVM分类和非线性SVM分类
- 用tensorflow实现svm的线性和非线性分类
- [机器学习之SVM] 线性SVM还是非线性SVM?【转】
- 线性SVM还是非线性SVM
- 线性与非线性SVM, 机器学习中的范数规则化之(一)L0、L1与L2范数
- 关于线性SVM以及非线性SVM的问题
- [机器学习之SVM] 线性SVM还是非线性SVM?
- SVM详解(包含它的参数C为什么影响着分类器行为)-scikit-learn拟合线性和非线性的SVM
- 线性SVM还是非线性SVM?
- SVM入门(四)线性分类器的求解——问题的描述Part1
- SVM入门(五)线性分类器的求解——问题的描述Part2
- svm理论与实验之2:线性分类器
- SVM入门(二)线性分类器Part 1
- 深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
- 机器学习19-SVM线性可分公式推导(一)
- 线性结构和非线性结构
- 机器学习之logistic分类线性与非线性实验(续)
- SVM对非线性数据的科幻理解
- SVM再次总结 - 3 - 线性支持向量机
- 学习SVM(五)理解线性SVM的松弛因子