机器学习基石-Nonlinear Transformation
2017-11-22 19:52
337 查看
大纲
Quadratic Hypotheses
线性模型虽然简单,dVC很小,Ein≈Eout,但是对于某些线性不可分的数据,会导致Ein太大,那这样的分类器效果也不是很好。我们如何打破线性模型的限制呢?
Circular Separable
虽然上面的数据点线性不可分,但是他可以用一个圆圈分开,我们从这里得到启发,是否我们可以设计Circular-PLA,Circular-Regression算法来进行分类
Circular Separable and Linear Separable
这种xn⇒zn的转换可以看成是x空间的点映射到z空间中去,而在z域中,可以用一条直线进行分类,也就是从x空间的圆形可分映射到z空间的线性可分。z域中的直线对应于x域中的圆形。因此,我们把xn⇒zn这个过程称之为特征转换(Feature Transform)。通过这种特征转换,可以将非线性模型转换为另一个域中的线性模型。
已知x域中圆形可分在z域中是线性可分的,那么反过来,如果在z域中线性可分,是否在x域中一定是圆形可分的呢?答案是否定的。由于权重向量w取值不同,x域中的hypothesis可能是圆形、椭圆、双曲线等等多种情况。
General Quadratic Hypothesis Set
对于更加一般的二次假设,还应该包括一次项和常数项这样子Z空间中一条直线,可以包括X空间的所有二次曲线,所有的直线,或者点。
Nonlinear Transform
Good Quadratic Hypothesis
如果我们的目标是学习一个好的二次假设,那么我们可以把目标转化为在Z域中寻找一个好的分类直线
The Nonlinear Transform Steps
我们可以分为以下几步做把原始数据从X空间通过一个函数ϕ(x)转化到Z空间,即{(xn,yn)}⇒{(zn,yn)}
通过一个好的线性分类算法A,学习好的参数w̃
返回g(x)=sign(w̃ Tϕ(x))
总结一下,非线性模型 = 非线性变换 + 线性模型
Price of Nonlinear Transform
虽然非线性变换,看起来很强大。好像很强大,让我们来分析非线性变换的代价Computation/Storage Price
对于Q阶多项式,我们需要的时间复杂度和空间复杂度都是O(Qd),很难去计算和存储
Model Complexity Price
d̃ +1=O(Qd)自由变量的数量 = d̃ +1≈dVC(HϕQ)
dVC(HϕQ)≤d̃ +1
所以Q越大,dVC越大
Generalization Issue
我们又回到机器学习最本质的两个问题的权衡了,所以选择一个合适的Q很重要
Structured Hypothesis Sets
Structured Hypothesis Sets
高阶次的假设包含低阶次的假设
高阶次的假设的VC维不小于低阶次的VC维
高阶次假设的训练误差不大于低阶次假设的训练误差
由上图可以看出,随着dVC的增大,Ein逐渐减少,模型复杂度逐渐增大,Eout先变小后增大
在实践中,我们应该先尝试好的模型,看Ein是否足够小,如果不够,则增大假设空间的阶数。
相关文章推荐
- 台大机器学习听课笔记---基石 9-1 Linear Regression
- 机器学习基石 4.4 Connection to Real Learning
- 4. 机器学习基石-When can Machine Learn? - Feasible of Learning
- 机器学习基石 5.2 Effective Number of Lines
- 台湾大学机器学习基石Lecture2
- 【Linear Models for Binary Classification】林轩田机器学习基石
- 台湾大学机器学习基石Lecture3
- 5. 机器学习基石-Why can Machine Learn?
- 8. 机器学习基石-How can Machine Learn? - Logistic Regression
- 机器学习基石 - Feasibility of Learning
- 机器学习基石 作业3 Logistic回归/线性回归/特征转换
- 机器学习基石-09-4-Linear Regression for Binary Classification
- 机器学习基石笔记(3-6)——机器学习的类型及机器学习有效性证明
- 机器学习基石-10-1-Logistic Regression Problem
- 机器学习基石HOW部分(4)
- 台大-林轩田老师-机器学习基石学习笔记8
- 机器学习基石_课后练习答案链接
- 機器學習基石(Machine Learning Foundations) 机器学习基石 手写版笔记大全
- 机器学习基石2-2 PLA(Perceptron Learning Algorithm)
- 機器學習基石(Machine Learning Foundations) 机器学习基石 作业二 课后习题解答