支持向量机(Support Vector Machine,SVM)
2017-08-07 03:34
337 查看
SVM:
1. 线性与非线性 核函数;
2. 与神经网络关系 置信区间结构;
3. 训练方法;
4.SVM light,LS-SVM;
5. VC维
u-SVC 与 c-SVC 区别?
除参数不同外,两者基本一样。
c-SVC c∈(0,∞)
u-SVC c∈[0,1]
c是一个很好的特征,它与支持向量的比率和训练误差的比率 相关。
SVM求解QR问题中,变量维数=训练样本个数。从而使其中矩阵元素的个数 是 训练样本个数的平方。
SVM标准算法中,需要求解复杂的QP问题,理论上获全局最优解,并且 大部分 拉格朗日乘子 均为0.,使得最终的决策只依赖于少数 支持向量;使SVM方法中解显示出稀疏的特点。
在LS-SVM中,由于其优化问题的目标函数使用了误差平方项,以及等式约束条件,将SVM的QP问题转化为一组 线性方程组 求解,使得Lagrange乘子与误差项成比例关系,直接的后果就使得最终决策函数与所有样本都有关,也就失去了SVM方法中解的稀疏性的特点。但是LS-SVM方法通过对最终求解得到的Lagrange乘子进行排序,并使用“修剪”算法,仍然可以在一定程度上 实现解的稀疏性。
1. 线性与非线性 核函数;
2. 与神经网络关系 置信区间结构;
3. 训练方法;
4.SVM light,LS-SVM;
5. VC维
u-SVC 与 c-SVC 区别?
除参数不同外,两者基本一样。
c-SVC c∈(0,∞)
u-SVC c∈[0,1]
c是一个很好的特征,它与支持向量的比率和训练误差的比率 相关。
SVM求解QR问题中,变量维数=训练样本个数。从而使其中矩阵元素的个数 是 训练样本个数的平方。
SVM标准算法中,需要求解复杂的QP问题,理论上获全局最优解,并且 大部分 拉格朗日乘子 均为0.,使得最终的决策只依赖于少数 支持向量;使SVM方法中解显示出稀疏的特点。
在LS-SVM中,由于其优化问题的目标函数使用了误差平方项,以及等式约束条件,将SVM的QP问题转化为一组 线性方程组 求解,使得Lagrange乘子与误差项成比例关系,直接的后果就使得最终决策函数与所有样本都有关,也就失去了SVM方法中解的稀疏性的特点。但是LS-SVM方法通过对最终求解得到的Lagrange乘子进行排序,并使用“修剪”算法,仍然可以在一定程度上 实现解的稀疏性。
相关文章推荐
- 支持向量机(Support Vector Machine, SVM)
- 5.1 支持向量机SVM(support Vector Machine)算法概念(上)
- SVM支持向量机(Support Vector Machine)-翻译版
- 支持向量机(Support Vector Machine,SVM)详解
- 机器学习之支持向量机SVM Support Vector Machine (一) 线性SVM模型与软硬间隔
- (十一)机器学习中的一个常用算法SVM算法,即支持向量机Support Vector Machine(SVM)
- 支持向量机(Support Vector Machine)-----SVM之SMO算法(转)
- 机器学习:支持向量机(Support Vector Machine, SVM)
- 【机器学习实战】第6章 支持向量机(Support Vector Machine / SVM)
- 机器学习十大经典算法支持向量机SVM(Support Vector Machine)(上篇)
- 神经网络学习笔记-支持向量机(Support Vector Machine,SVM )
- 机器学习——支持向量机SVM(Support Vector Machine)(下)
- 支持向量机(Support Vector Machine)-----SVM之SMO算法(转)
- SVM支持向量机(Support Vector Machine)
- 可支持向量机SVM(support vector machine)基础
- 【机器学习实战】第6章 支持向量机(Support Vector Machine / SVM)
- 机器学习笔记八 - SVM(Support Vector Machine,支持向量机)的剩余部分。即核技法、软间隔分类器、对SVM求解的序列最小化算法以及SVM的一些应用
- 机器学习之支持向量机SVM Support Vector Machine (二) 非线性SVM模型与核函数
- 机器学习之支持向量机SVM Support Vector Machine (五) scikit-learn算法库
- Stanford Machine Learning: (5). Support Vector Machines(SVM支持向量机)