如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评?
2017-11-24 16:05
232 查看
转自:https://www.zhihu.com/question/53134248/answer/133630818
文中写道:
“比如神经网络和目前的深度神经网络的学习,他们的模型(表达)、算法、和实现的结构三层 是混在一起的。就变成一个特用的计算设备, 算法就是由这个结构来实现的。当它性能不好的时候,到底是因为表达不对,还是算法不对,还是实现不对? 这个不好分析了,目前的神经网络,或者是机器学习,深度学习,它的本源存在这个问题。
以前我们审稿的时候,会追问论文贡献是提出了一个新的模型?还是一个新的算法?在哪一个层级上你有贡献,必须说得清清楚楚。2012年,我作为国际计算机视觉和模式识别年会(CVPR)的大会主席, 就发生一个事件。收到神经网络和机器学习学派的一个领军人物 LeCun的抱怨信,他的论文报告了很好的实验结果, 但是审稿的三个人都认为论文说不清楚到底为什么有这个结果, 就拒稿。他一气之下就说再也不给CVPR投稿了,把审稿意见挂在网上以示抗议。2012 年是个转折点。
现在呢?随着深度学习的红火, 这三层就又混在一块去了。 一般论文直接就报告结果, 一堆表格、曲线图。我就是这么做,然后再这么做,我在某些个数据集上提高了两个百分点,那就行了。你审稿人也别问我这个东西里面有什么贡献,哪个节点代表是什么意思,你别问,我也不知道。那算法收敛了吗?是全局收敛还是一个局部收敛?我也不知道,但是我就提高了两个百分点。”
朱教授不少学生也是做深度学习的,不知道是否规避了文中的批评?
作者:田渊栋
链接:https://www.zhihu.com/question/53134248/answer/133665664
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
朱教授说的都是对的,现在确实有这个问题。但现实情况是,做理论需要的基础知识多,困难,周期长,没有直接经济效益,还只能一两个人单打独斗且无法使用大量计算资源,每个因素都和现在的主流发展方向(强调团队合作,强调速度和新闻性,代码开源,大数据,大量计算资源)背道而驰。更麻烦的是,辛苦几年做出来也未必会有人欣赏,做的人累,看的人更累,于是好文就淹没在大量的Arxiv里面。偶尔有几个人想去看看,费尽力气却发现某个假设太强,完全和现实扯不上,不免失望。相比之下做应用的文章实验清楚效果明显还立即可用,大家一望便知,名声响,引用多,曝光率高。所以理论是做给自己看的,有点情怀的人才做理论。一万个硕士博士里有一个怀着这个理想,那迟早有一天会做出来的,大部分人不用费这个力气的。这也符合市场需求,没有什么不好。要是大家都去做理论了,那没有应用成果,深度学习还怎么火下去?对做理论的人来说,竞争激烈了,就更没有慢慢想的时间和空间了。另外,最近我投的那篇二层ReLU的理论分析,从有了理论到成稿就做了两个月,并没有花几年,之前一直方向不对在瞎搞。我的感触是,真的有了感觉,出文章不会慢的,但是在有感觉之前,要做很多积累,花掉很多时间,这个阶段又苦又难熬,现下很少有人愿意。但若是真想做理论的话,不要被几年这种话吓住了,像我这种半路自学,肯定是走了弯路开悟晚的,就不用当例子了,科班出身的肯定会快很多。最后感谢一下看过我文章的同学,辛苦了!
文中写道:
“比如神经网络和目前的深度神经网络的学习,他们的模型(表达)、算法、和实现的结构三层 是混在一起的。就变成一个特用的计算设备, 算法就是由这个结构来实现的。当它性能不好的时候,到底是因为表达不对,还是算法不对,还是实现不对? 这个不好分析了,目前的神经网络,或者是机器学习,深度学习,它的本源存在这个问题。
以前我们审稿的时候,会追问论文贡献是提出了一个新的模型?还是一个新的算法?在哪一个层级上你有贡献,必须说得清清楚楚。2012年,我作为国际计算机视觉和模式识别年会(CVPR)的大会主席, 就发生一个事件。收到神经网络和机器学习学派的一个领军人物 LeCun的抱怨信,他的论文报告了很好的实验结果, 但是审稿的三个人都认为论文说不清楚到底为什么有这个结果, 就拒稿。他一气之下就说再也不给CVPR投稿了,把审稿意见挂在网上以示抗议。2012 年是个转折点。
现在呢?随着深度学习的红火, 这三层就又混在一块去了。 一般论文直接就报告结果, 一堆表格、曲线图。我就是这么做,然后再这么做,我在某些个数据集上提高了两个百分点,那就行了。你审稿人也别问我这个东西里面有什么贡献,哪个节点代表是什么意思,你别问,我也不知道。那算法收敛了吗?是全局收敛还是一个局部收敛?我也不知道,但是我就提高了两个百分点。”
朱教授不少学生也是做深度学习的,不知道是否规避了文中的批评?
作者:田渊栋
链接:https://www.zhihu.com/question/53134248/answer/133665664
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
朱教授说的都是对的,现在确实有这个问题。但现实情况是,做理论需要的基础知识多,困难,周期长,没有直接经济效益,还只能一两个人单打独斗且无法使用大量计算资源,每个因素都和现在的主流发展方向(强调团队合作,强调速度和新闻性,代码开源,大数据,大量计算资源)背道而驰。更麻烦的是,辛苦几年做出来也未必会有人欣赏,做的人累,看的人更累,于是好文就淹没在大量的Arxiv里面。偶尔有几个人想去看看,费尽力气却发现某个假设太强,完全和现实扯不上,不免失望。相比之下做应用的文章实验清楚效果明显还立即可用,大家一望便知,名声响,引用多,曝光率高。所以理论是做给自己看的,有点情怀的人才做理论。一万个硕士博士里有一个怀着这个理想,那迟早有一天会做出来的,大部分人不用费这个力气的。这也符合市场需求,没有什么不好。要是大家都去做理论了,那没有应用成果,深度学习还怎么火下去?对做理论的人来说,竞争激烈了,就更没有慢慢想的时间和空间了。另外,最近我投的那篇二层ReLU的理论分析,从有了理论到成稿就做了两个月,并没有花几年,之前一直方向不对在瞎搞。我的感触是,真的有了感觉,出文章不会慢的,但是在有感觉之前,要做很多积累,花掉很多时间,这个阶段又苦又难熬,现下很少有人愿意。但若是真想做理论的话,不要被几年这种话吓住了,像我这种半路自学,肯定是走了弯路开悟晚的,就不用当例子了,科班出身的肯定会快很多。最后感谢一下看过我文章的同学,辛苦了!
相关文章推荐
- 如何评价深度学习框架Keras?
- 如何评价Google发布的第二代深度学习系统TensorFlow
- 推荐 | CVPR2017关于如何解释深度学习模型的讲座(附视频与PPT)
- 迁移学习:数据不足时如何深度学习
- 深度学习入门系列博客(严重推荐)--如何训练 梯度消失 梯度爆炸等解释的明确
- 如何在 centos 7.3 上安装 caffe 深度学习工具
- 深度丨如何理解和评价机器学习中的表达能力、训练难度和泛化性能
- AI 从业者该如何选择深度学习开源框架丨硬创公开课
- 【专访英特尔高级首席工程师戴金权】普通数据工程师,如何玩转深度学习?
- 如何用深度学习来写歌词(神经网络实现)
- 如何上手深度学习中的图像处理?有这个代码资源库就够了
- 自问自答3——深度学习中如何避免梯度消失(待回答)
- 如何理解深度学习中的卷积?
- 台湾李宏毅教授深度学习--随机梯度下降
- 大神Yann LeCun亲授:如何自学深度学习技术并少走弯路
- 如何入门深度学习
- 深度学习提速280%! 未来GPU在计算机领域的地位将会如何?
- 深度学习提速280%! 未来GPU在计算机领域的地位将会如何?
- 如何设计一个深度学习项目
- 深度神经进化大有可为?Uber详解如何用它优化强化学习 | 5篇论文