关于SVM核函数的选择
2017-10-17 21:35
309 查看
今天去面试的时候,面试官问了我一个问题:SVM的核函数如何选择?我说试试吧,答案可能也对,但这样会浪费时间。
上网搜索了一下,Andrew的说法是:
1.当样本的特征很多时,特征的维数很高,这是往往样本线性可分,可考虑用线性核函数的SVM或LR(如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的)。
2.当样本的数量很多,但特征较少时,可以手动添加一些特征,使样本线性可分,再考虑用线性核函数的SVM或LR。
3.当样特征维度不高时,样本数量也不多时,考虑用高斯核函数(RBF核函数的一种,指数核函数和拉普拉斯核函数也属于RBF核函数)。
LR和SVM都是判别模型,判别模型会生成一个表示P(Y|X)的判别函数(或预测模型),而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说,在计算判别模型时,不会计算联合概率,而在计算生成模型时,必须先计算联合概率。或者这样理解:生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。常见的判别模型有:KNN、SVM、LR,常见的生成模型有:朴素贝叶斯,隐马尔可夫模型。
上网搜索了一下,Andrew的说法是:
1.当样本的特征很多时,特征的维数很高,这是往往样本线性可分,可考虑用线性核函数的SVM或LR(如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的)。
2.当样本的数量很多,但特征较少时,可以手动添加一些特征,使样本线性可分,再考虑用线性核函数的SVM或LR。
3.当样特征维度不高时,样本数量也不多时,考虑用高斯核函数(RBF核函数的一种,指数核函数和拉普拉斯核函数也属于RBF核函数)。
LR和SVM都是判别模型,判别模型会生成一个表示P(Y|X)的判别函数(或预测模型),而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说,在计算判别模型时,不会计算联合概率,而在计算生成模型时,必须先计算联合概率。或者这样理解:生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。常见的判别模型有:KNN、SVM、LR,常见的生成模型有:朴素贝叶斯,隐马尔可夫模型。
相关文章推荐
- SVM 核函数的选择
- SVM 核函数的选择
- SVM 核函数的选择
- SVM 核函数的选择
- svm核函数的理解和选择
- svm核函数的理解和选择
- 关于SVM中SMO算法第一个向量选择的问题
- 关于核函数和SVM的几点思考
- 关于Logistic Regression 与 SVM的选择
- 支持向量机SVM核函数的选择(七)
- svmtrain和svmclassify参数细说_核函数选择
- 【机器学习笔记】SVM part2: 核函数与SMO算法
- 关于cache文件格式的选择:png8,png24,png32 or jpeg
- 关于jQuery对html中的元素进行选择的选择器问题
- 一个学生的来信《关于职业选择的问题》
- SVM(三),支持向量机,线性不可分和核函数
- 关于bootstrap的treeview不显示多选(复选框)的问题,以及联动选择的问题,外加多选后取值
- svm理论与实验之18: libsvm自动参数选择
- 关于选择
- 【转】【8.29日志】关于职业选择,关于大学