机器学习基石-08-4-Weighted Classification
2017-11-06 15:14
239 查看
第八节课的总结
成本矩阵cost/error/loss matrix
VC theory,也就是VC的理论依然可以直接使用,所以只需要证明Ein(h)很小就可以得到Eout(h)很小的结论。需要注意之前的Ein(g)没有权重的加权,这个是区别。
1.PLA不需要做任何的修正,因为满足完全线性可分那么Ein一定等于0,
也是0,所以PLA不用考虑weighted权重。
2.weighted pocket算法哪些地方进行修正了呢?之前的pocket是用Ein(g)来判断找到的w(t+1)和之前的w哪个更优,现在是使用
来比较哪一个更值得收进口袋里。
pocket算法基本的guarantee:noisy很小很小。
假设x2=-1上面犯了错,那么右边的equivalent problem的x2会付出1000倍的错误成本。但是上面的复制等于-1的1000次并不会真的去做,只是“virtual copying”想法上的清楚他要做复制操作。
PLA上面所说的复制1000次,其实实际操作中的含义是,会以1000倍的几率去检查y=-1的点,检查y=1会少很多很多。
FUN TIME
例题是:当某一个假设h(x)的预测结果总是“+1”的情况下,让你求
是多少?N=10+999990=1000000
=
=1/1000000*(0+1000*10)=0.01
因为每一次的预测都是“+1”,所以当yn=+1时没有任何的错误,所以error=0
而当yn=-1的时候预测结果还是“+1”,有10个点预测错误了,所以当yn=-1时就等于1000(权重)*10(犯错的个数)
成本矩阵cost/error/loss matrix
VC theory,也就是VC的理论依然可以直接使用,所以只需要证明Ein(h)很小就可以得到Eout(h)很小的结论。需要注意之前的Ein(g)没有权重的加权,这个是区别。
1.PLA不需要做任何的修正,因为满足完全线性可分那么Ein一定等于0,
也是0,所以PLA不用考虑weighted权重。
2.weighted pocket算法哪些地方进行修正了呢?之前的pocket是用Ein(g)来判断找到的w(t+1)和之前的w哪个更优,现在是使用
来比较哪一个更值得收进口袋里。
pocket算法基本的guarantee:noisy很小很小。
假设x2=-1上面犯了错,那么右边的equivalent problem的x2会付出1000倍的错误成本。但是上面的复制等于-1的1000次并不会真的去做,只是“virtual copying”想法上的清楚他要做复制操作。
PLA上面所说的复制1000次,其实实际操作中的含义是,会以1000倍的几率去检查y=-1的点,检查y=1会少很多很多。
FUN TIME
例题是:当某一个假设h(x)的预测结果总是“+1”的情况下,让你求
是多少?N=10+999990=1000000
=
=1/1000000*(0+1000*10)=0.01
因为每一次的预测都是“+1”,所以当yn=+1时没有任何的错误,所以error=0
而当yn=-1的时候预测结果还是“+1”,有10个点预测错误了,所以当yn=-1时就等于1000(权重)*10(犯错的个数)
相关文章推荐
- 机器学习基石-08-3-Algorithmic Error Measure
- 机器学习基石-08-2-Error Measure
- 公开课 | 机器学习基石08 Noise and Error
- Coursera课程-机器学习基石作业一Q18-Q20(pocket on D算法 for PLA/C++ edition)
- [机器学习]机器学习笔记整理08- SVM算法原理及实现
- 林轩田机器学习基石5笔记:训练和测试的不同
- 机器学习基石 3-1 Learning with different output space
- 机器学习基石 4-2 Probability to the Rescue
- 机器学习基石(林軒田)笔记之十三
- 5. 机器学习基石-Why can Machine Learn?
- 机器学习基石---Why Can Machines Learn(Part1)
- PLA算法(机器学习基石)
- 机器学习基石作业2
- 机器学习基石HOW BETTER部分(3)
- 台大-林轩田老师-机器学习基石学习笔记4
- (机器学习基石)Machine Learning Foundations:Lecture 2
- 台大-林轩田老师-机器学习基石学习笔记6
- 机器学习基石ch3
- 台湾国立大学机器学习基石.听课笔记(第八讲):Noise and Error