机器学习-周志华-个人练习12.4
2017-05-21 17:28
246 查看
12.4 试证明,Rd空间中线性超平面构成的假设空间的VC维是d+1。
本题参考了四去六进一的一些想法,用自己的想法更加详细地描述出来。首先,我们假设在Rd空间中存在一组正交单位向量,使得此空间内任意一点的坐标可以表示为(x1,x2,…,xd)T,不失一般性地,选取坐标原点(0,…,0)为xT0,以及各正交向量方向(0,…,αi,…,0)=xTi,αi≠0,i∈{1,…,d}为示例集,则所有示例(共d+1个点)对应的标签可以表示为y0,y1,…,yd。同时假设线性超平面的方程为wTx+b=0,则我们的目的是要确定是否存在w使得wTxi=yi,i=(0,…,d)成立。令:
X=⎡⎣⎢⎢⎢⎢⎢10⋮01α1⋮0……⋱…10⋮αd⎤⎦⎥⎥⎥⎥⎥,w=⎡⎣⎢⎢⎢⎢bw1⋮wd⎤⎦⎥⎥⎥⎥,y=[y0,y1,⋯,yd],则需要证明存在w使得wTX=y。不妨设min{α1,…,αd}>0,则X正定,可解得wT=X−1y。
无论y取到2d种情况中的哪一种,w均存在,则这样的d+1个示例能被线性超平面wTx+b=0打散,因此这样的线性超平面构成的假设空间的VC维至少为d+1。
接下来我们考虑在上述d+1个点的基础上增加点xd+1=(β1,…,βd),显然,X变为增广矩阵X¯¯¯,y 变为y¯:
X¯¯¯=⎡⎣⎢⎢⎢⎢⎢⎢10⋮01α1⋮0……⋱…10⋮αd1β1⋮βd⎤⎦⎥⎥⎥⎥⎥⎥,y¯=[y0y1⋯ydyd+1],由上式可以解得y0=b,yi−y0=wiαi,(i=1,…,d)yd+1=b+∑i=1dwiβi,即yd+1=y0+∑i=1dβiαi(yi−y0),显然,当前面d+1个点确定,xd+1可由前面d+1个点线性表示,那么对应的线性超平面在xd+1处不能对分{x1,x2,…,xd,1},{x1,x2,…,xd,−1}中的一个。
由于这样d+2个示例的选取具有普遍性和一般性,也就是说不存在任何大小为d+2的示例集能被线性超平面wTx+b=0打散,因此这样的线性超平面构成的假设空间的VC维为d+1。
相关文章推荐
- 机器学习-周志华-个人练习10.6
- 机器学习(周志华) 个人练习答案7.6
- 机器学习-周志华-个人练习11.1
- 机器学习-周志华-个人练习13.1
- 机器学习-周志华-个人练习13.2
- 机器学习-周志华-个人练习13.10
- 机器学习-周志华-个人练习4.4
- 机器学习-周志华-个人练习9.6
- 机器学习-周志华-个人练习4.3
- 机器学习-周志华-个人练习9.4
- 机器学习-周志华-个人练习10.1
- 机器学习-周志华-个人练习8.3和8.5
- 机器学习-周志华-个人练习13.4
- 机器学习-周志华-个人练习11.3
- 《机器学习》(周志华) 习题3.1-3.3个人笔记
- 机器学习(周志华) 习题3.5 个人笔记
- 决策树ID3基本代码,周志华《机器学习》练习
- 机器学习(周志华) 习题7.3 个人笔记
- 机器学习(周志华版) 第一章习题1.1个人解答
- 周志华《机器学习》课后习题解答系列(四):Ch3.4 - 交叉验证法练习