第三章 线性模型--机器学习(周志华)参考答案
2017-11-06 10:16
1031 查看
原文的链接
http://blog.csdn.net/icefire_tyh/article/details/52064910
y=11+e−(wTx+b)
dydw=xe−(wTx+b)(1+e−(wTx+b))2=x(y−y2)
ddwT(dydw)=x(1−2y)(dydw)T=xxTy(y−1)(1−2y)
xxT合同于单位矩阵,所以xxT是半正定矩阵
y的值域为(0,1),当y∈(0.5,1)时,y(y−1)(1−2y)<0,导致ddwT(dydw)半负定,所以y=11+e−(wTx+b)是非凸的。
l(β)=∑mi=1(−yiβTxi+ln(1+eβTx))
ddβT(dldβ)=xxTp1(x;β)(1−p1(x;β))
显然概率p1∈(0,1),则p1(x;β)(1−p1(x;β))≥0,所以l(β)=∑mi=1(−yiβTxi+ln(1+eβTx))是凸函数。
其中4,5,6行是对1,2,3行的取反。若分类数为4,一共可能的分类器共有24−2种(排除了全1和全0),在码长为8的最优分类器后添加一列没有出现过的分类器,就是码长为9的最优分类器。
理论上的ECOC码能理想纠错的重要条件是每个码位出错的概率相当,因为如果某个码位的错误率很高,会导致这位始终保持相同的结果,不再有分类作用,这就相当于全0或者全1的分类器,这点和NFL的前提很像。但由于事实的样本并不一定满足这些条件,所以书中提到了有多种问题依赖的ECOC被提出。
于是得到分类表,(假设为3类)
对于二分类而言,将样本为正例的后验概率设为是p,那么预测为正的代价是(1−p)∗c12,
预测为负的代价是p∗c21。当(1−p)∗c12≤p∗c21样本会被预测成正例,因为他的代价更小。当不等式取等号时,得到了最优划分,这个阀值pr=c12c12+c21,这表示正例与反例的划分比例应该是初始的c12c21倍。假设分类器预设的阀值是po,不考虑代价敏感时,当y1−y>po1−po时取正例。当考虑代价敏感,则应该是y1−y>1−prpr∗po1−po=c21c12∗po1−po。
推广到对于多分类,任意两类的最优再缩放系数tij=cij/cji
,然而所有类别的最优缩放系数并不一定能同时满足。当代价表满足下面条件时,能通过再缩放得到最优解。
设tij=wi/wj,则wi/wj=cij/cji对所有i,j成立,假设有k类,共C2k个等式,此时代价表中k∗(k−1)个数,最少只要知道2∗(k−1)就能推出整张表。
机器学习(周志华) 参考答案 第三章 线性模型
机器学习(周志华西瓜书) 参考答案 总目录http://blog.csdn.net/icefire_tyh/article/details/52064910
1.试分析在什么情况下,在以下式子中不比考虑偏置项b。
线性模型y=wtx+b,两个实例相减得到yi−y0=wt(xi−x0),以此消除了b。所以可以对训练集每个样本都减去第一个样本,然后对新的样本做线性回归,只需要用模型y=wtx。2.试证明,对于参数w,对率回归(logistics回归)的目标函数(式1)是非凸的,但其对数似然函数(式2)是凸的。
如果一个多元函数是凸的,那么它的Hessian矩阵是半正定的。y=11+e−(wTx+b)
dydw=xe−(wTx+b)(1+e−(wTx+b))2=x(y−y2)
ddwT(dydw)=x(1−2y)(dydw)T=xxTy(y−1)(1−2y)
xxT合同于单位矩阵,所以xxT是半正定矩阵
y的值域为(0,1),当y∈(0.5,1)时,y(y−1)(1−2y)<0,导致ddwT(dydw)半负定,所以y=11+e−(wTx+b)是非凸的。
l(β)=∑mi=1(−yiβTxi+ln(1+eβTx))
ddβT(dldβ)=xxTp1(x;β)(1−p1(x;β))
显然概率p1∈(0,1),则p1(x;β)(1−p1(x;β))≥0,所以l(β)=∑mi=1(−yiβTxi+ln(1+eβTx))是凸函数。
3.编程实现对率回归,并给出西瓜数据集3.0α上的结果
http://blog.csdn.net/icefire_tyh/article/details/520688444.选择两个UCI数据集,比较10折交叉验证法和留一法所估计出的对率回归的错误率。
http://blog.csdn.net/icefire_tyh/article/details/520689005.编程实现线性判别分析,并给出西瓜数据集3.0α上的结果。
http://blog.csdn.net/icefire_tyh/article/details/520690036. LDA仅在线性可分数据上能获得理想结果,试设计一个改进方法,使其能较好地用于非线性可分数据。
在当前维度线性不可分,可以使用适当的映射方法,使其在更高一维上可分,典型的方法有KLDA,可以很好的划分数据。7.令码长为9,类别数为4,试给出海明距离意义下理论最优的EOOC二元码并证明之。
对于ECOC二元码,当码长为2n时,至少可以使2n个类别达到最优间隔,他们的海明距离为2(n−1)。比如长度为8时,可以的序列为1 | 1 | 1 | 1 | -1 | -1 | -1 | -1 |
1 | 1 | -1 | -1 | 1 | 1 | -1 | -1 |
1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 |
-1 | -1 | -1 | -1 | 1 | 1 | 1 | 1 |
-1 | -1 | 1 | 1 | -1 | -1 | 1 | 1 |
-1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 |
8.EOOC编码能起到理想纠错作用的重要条件是:在每一位编码上出错的概率相当且独立。试析多分类任务经ECOC编码后产生的二类分类器满足该条件的可能性及由此产生的影响。
理论上的ECOC码能理想纠错的重要条件是每个码位出错的概率相当,因为如果某个码位的错误率很高,会导致这位始终保持相同的结果,不再有分类作用,这就相当于全0或者全1的分类器,这点和NFL的前提很像。但由于事实的样本并不一定满足这些条件,所以书中提到了有多种问题依赖的ECOC被提出。9.使用OvR和MvM将多分类任务分解为二分类任务求解时,试述为何无需专门针对类别不平衡性进行处理。
书中提到,对于OvR,MvM来说,由于对每个类进行了相同的处理,其拆解出的二分类任务中类别不平衡的影响会相互抵消,因此通常不需要专门处理。以ECOC编码为例,每个生成的二分类器会将所有样本分成较为均衡的二类,使类别不平衡的影响减小。当然拆解后仍然可能出现明显的类别不平衡现象,比如一个超级大类和一群小类。10.试推出多分类代价敏感学习(仅考虑基于类别的错误分类代价)使用“再缩放”能获得理论最优解的条件。
题目提到仅考虑类别分类的误分类代价,那么就默认正确分类的代价为0。于是得到分类表,(假设为3类)
0 | c12 | c13 |
---|---|---|
c21 | 0 | c23 |
c31 | c32 | 0 |
预测为负的代价是p∗c21。当(1−p)∗c12≤p∗c21样本会被预测成正例,因为他的代价更小。当不等式取等号时,得到了最优划分,这个阀值pr=c12c12+c21,这表示正例与反例的划分比例应该是初始的c12c21倍。假设分类器预设的阀值是po,不考虑代价敏感时,当y1−y>po1−po时取正例。当考虑代价敏感,则应该是y1−y>1−prpr∗po1−po=c21c12∗po1−po。
推广到对于多分类,任意两类的最优再缩放系数tij=cij/cji
,然而所有类别的最优缩放系数并不一定能同时满足。当代价表满足下面条件时,能通过再缩放得到最优解。
设tij=wi/wj,则wi/wj=cij/cji对所有i,j成立,假设有k类,共C2k个等式,此时代价表中k∗(k−1)个数,最少只要知道2∗(k−1)就能推出整张表。
相关文章推荐
- 机器学习(周志华) 参考答案 第三章 线性模型 3.4
- 机器学习(周志华)_第三章线性模型
- 第二章 模型评估与选择--机器学习(周志华) 参考答案
- 周志华 《机器学习》之 第三章(线性模型)概念总结
- 机器学习(周志华) 参考答案 第八章 集成学习 8.3
- 机器学习(周志华西瓜书) 参考答案 总目录
- 机器学习(周志华西瓜书) 参考答案 总目录
- 《机器学习》随心记-周志华版线性模型
- 《机器学习》 周志华版(西瓜书)--课后参考答案
- 机器学习(周志华) 参考答案 第十五章 规则学习 15.1
- 小白学习机器学习---第三章:线性模型
- 小白学习机器学习---第三章:线性模型(2):对数几率回归
- 第一章 绪论-机器学习(周志华)参考答案
- 《机器学习》 --周志华版(西瓜书)--课后参考答案
- 机器学习(周志华) 参考答案 第十一章 特征选择与稀疏学习 11.1
- 小白学习机器学习---第三章:简单线性模型Python实现
- 《机器学习》周志华版参考答案
- 机器学习(周志华) 参考答案 第十五章 规则学习 15.2
- 机器学习(周志华) 参考答案 第四章 决策树 4.10
- 《机器学习》 --周志华版(西瓜书)--课后参考答案(2个版本)