机器学习基石 4-1 Learning is impossible
2017-04-26 14:39
351 查看
在第三节中关注了ML方法的分类,在本节中,HT Lin介绍了一些用Learning做不到的事情。
在上图中,上边一排的3*3方阵所示的情况归于y=-1类,下边一排的情况归于y=+1类,要做的事情是从上面两排方阵的黑白分列情况中归纳出一个规则,并用这个规则来判断下边的排列情况中g(x)的输出结果为+1还是-1。
这看起来很想我们小时候玩的“找规律”的问题。但是在图上的情况下,实际上是没有标准的正确答案的。
如上图,如果我们把“图形的对称性”作为一个分类的标准(图形具有对称性即输出结果为+1),那么g(x)的输出可以是+1;如果我们把“左上角第一个方格是否为黑色,如果是,输出就为+1”作为标准,那么g(x)的输出可以是-1。总而言之,单单从这6个example推导出的规则,是不能够准确地得到一个未知data的预测结果的。
再比如一个二元分类的例子:
向量X是一个三维的向量,向量值仅能取0或者1.上图给出了X的五个输入对应的输出Y。现在的问题是,如果我们从这5个example中得到了一个g,且这个g在这5个example上的表现与f是一致的,那么能否说g≈f?
答案是否定的,不能。
从上面的图中可以看出,X的输入一共有8种情况,就算我们得到了一个g在D上与f表现一致,但是在D之外仍然有很多种未知的情况。如果我们不能保证在D之外g与f仍然保持一致,那么g是最佳假设的结论就不成立。
在这种情况下,需要增加一些新的假设(g的约束条件)才能进一步归纳出一个最接近与f的g。
Example:A Learning Puzzle
在上图中,上边一排的3*3方阵所示的情况归于y=-1类,下边一排的情况归于y=+1类,要做的事情是从上面两排方阵的黑白分列情况中归纳出一个规则,并用这个规则来判断下边的排列情况中g(x)的输出结果为+1还是-1。
这看起来很想我们小时候玩的“找规律”的问题。但是在图上的情况下,实际上是没有标准的正确答案的。
如上图,如果我们把“图形的对称性”作为一个分类的标准(图形具有对称性即输出结果为+1),那么g(x)的输出可以是+1;如果我们把“左上角第一个方格是否为黑色,如果是,输出就为+1”作为标准,那么g(x)的输出可以是-1。总而言之,单单从这6个example推导出的规则,是不能够准确地得到一个未知data的预测结果的。
再比如一个二元分类的例子:
向量X是一个三维的向量,向量值仅能取0或者1.上图给出了X的五个输入对应的输出Y。现在的问题是,如果我们从这5个example中得到了一个g,且这个g在这5个example上的表现与f是一致的,那么能否说g≈f?
答案是否定的,不能。
从上面的图中可以看出,X的输入一共有8种情况,就算我们得到了一个g在D上与f表现一致,但是在D之外仍然有很多种未知的情况。如果我们不能保证在D之外g与f仍然保持一致,那么g是最佳假设的结论就不成立。
在这种情况下,需要增加一些新的假设(g的约束条件)才能进一步归纳出一个最接近与f的g。
相关文章推荐
- 台湾大学林轩田机器学习基石课程学习笔记16(完结) -- Three Learning Principles
- 机器学习基石-04-3-Connection to Learning
- 台湾大学林轩田机器学习基石课程学习笔记1 -- The Learning Problem
- 机器学习基石第一讲:the learning problem
- 机器学习基石 - Learning to Answer Yes/No
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
- 机器学习基石-04-1-Learning is Impossible
- 台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
- 机器学习基石 4.1 Learning is Impossible?
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
- 台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
- 机器学习基石 - The Learning Problem
- 机器学习基石笔记9——机器可以怎样学习(1)
- 机器学习基石学习笔记3 VC Dimension(1)
- 机器学习实践 学习笔记1 Machine learning basics
- Large Scale Machine Learning--An Engineering Perspective--1. 大规模机器学习平台的构成
- Lecture4-1Learning is impossible?
- 机器学习基石笔记12——机器可以怎样学习(4)
- 机器学习基石笔记16——机器可以怎样学得更好(4)
- 机器学习基石笔记