Yann LeCun:深度学习已死,可微分编程万岁!
2018-01-09 15:20
274 查看
LeCun又语出惊人了,这次直指深度学习——
好,深度学习作为一个流行词,现在时效已过。
深度学习已死,可微分编程万岁!
事情要回溯到前天。
1月4日,AAAI前主席Thomas Dietterich连发10条Twitter,驳斥纽约大学心理学家Gary
Marcus对深度学习的批评。其中,Dietterich提到,
“深度学习本质上是一种新的编程方式——可微分编程——而且这个领域正试图用这种方式来制定可重用的结构。目前我们已经有:卷积,池化,LSTM,GAN,VAE,memory单元,routing单元,等等。”
我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
这个说法让英伟达的AI架构VP Clement Farabet深表赞同,Farabet还评价说,这是对现今深度学习的最好总结。LeCun也转推此文,表示赞同。
但是,光是转发推文,对LeCun来说显然不够。
今天,他在Facebook个人主页上写了一篇短文,不仅支持可微分编程,还用上了“深度学习已死”的表述。不仅如此,他还推出了一个“归化学习”。
先来看LeCun的文章。
Yann LeCun:深度学习已死,可微分编程万岁!
好,深度学习作为一个流行词,现在时效已过。
深度学习已死,可微分编程万岁!
没错,“可微分编程”不过是把现代这套深度学习技术重新换了个叫法,这就跟“深度学习”是现代两层以上的神经网络变体的新名字一样。
但重要的一点是,人们现在正在将各种参数化函数模块的网络组装起来,构建一种新的软件,并且使用某种基于梯度的优化来训练这些软件。
越来越多的人正在以一种依赖于数据的方式(循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。这与是普通的程序非常类似,除了前者是参数化的、可以自动可微分,并且可以训练和优化。动态网络变得越来越流行(尤其是对于NLP而言),这要归功于PyTorch和Chainer等深度学习框架(注意:早在1994年,以前的深度学习框架Lush,就能处理一种称为Graph Transformer Networks的特殊动态网络,用于文本识别)。
现在人们正在积极从事命令式可微分编程语言编译器的工作。这是开发基于学习的AI(learning-based AI)一条非常令人兴奋的途径。
原文链接
好,深度学习作为一个流行词,现在时效已过。
深度学习已死,可微分编程万岁!
事情要回溯到前天。
1月4日,AAAI前主席Thomas Dietterich连发10条Twitter,驳斥纽约大学心理学家Gary
Marcus对深度学习的批评。其中,Dietterich提到,
“深度学习本质上是一种新的编程方式——可微分编程——而且这个领域正试图用这种方式来制定可重用的结构。目前我们已经有:卷积,池化,LSTM,GAN,VAE,memory单元,routing单元,等等。”
我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
这个说法让英伟达的AI架构VP Clement Farabet深表赞同,Farabet还评价说,这是对现今深度学习的最好总结。LeCun也转推此文,表示赞同。
但是,光是转发推文,对LeCun来说显然不够。
今天,他在Facebook个人主页上写了一篇短文,不仅支持可微分编程,还用上了“深度学习已死”的表述。不仅如此,他还推出了一个“归化学习”。
先来看LeCun的文章。
Yann LeCun:深度学习已死,可微分编程万岁!
好,深度学习作为一个流行词,现在时效已过。
深度学习已死,可微分编程万岁!
没错,“可微分编程”不过是把现代这套深度学习技术重新换了个叫法,这就跟“深度学习”是现代两层以上的神经网络变体的新名字一样。
但重要的一点是,人们现在正在将各种参数化函数模块的网络组装起来,构建一种新的软件,并且使用某种基于梯度的优化来训练这些软件。
越来越多的人正在以一种依赖于数据的方式(循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。这与是普通的程序非常类似,除了前者是参数化的、可以自动可微分,并且可以训练和优化。动态网络变得越来越流行(尤其是对于NLP而言),这要归功于PyTorch和Chainer等深度学习框架(注意:早在1994年,以前的深度学习框架Lush,就能处理一种称为Graph Transformer Networks的特殊动态网络,用于文本识别)。
现在人们正在积极从事命令式可微分编程语言编译器的工作。这是开发基于学习的AI(learning-based AI)一条非常令人兴奋的途径。
原文链接
相关文章推荐
- Yann LeCun:深度学习已死,可微分编程万岁!
- “深度学习已死,可微分编程万岁”LeCun老师回应
- “深度学习已死,可微分编程万岁”LeCun老师回应
- “深度学习已死,可微编程万岁!”LeCun老师为何又语出惊人?
- 【深度学习会被可微分编程取代?】展望30年后的神经网络和函数编程
- 【深度学习会被可微分编程取代?】展望30年后的神经网络和函数编程
- 「我是可微分编程的粉丝」,Gary Marcus再回应深度学习批判言论
- IEEE深度对话Facebook人工智能负责人Yann LeCun:让深度学习摆脱束缚
- 技术人要失业了?深度学习自动编程催生的机器码农
- 吴恩达 深度学习 编程作业(5-2)Part 1 - Operations on word vectors
- 吴恩达Coursera深度学习(2-1)编程练习
- 【算法学习】图相关算法编程实现-深度优先遍历和广度优先遍历
- Andrew Ng 深度学习课程deeplearning.ai 编程作业——shallow network for datesets classification (1-3)
- 类已死,接口万岁: Qi4j提出面向组合编程思想
- 46岁编程女侠,4个月搞定深度学习,她的经历可以复制吗?
- 吴恩达 深度学习 编程作业(5-1)Part 2 - Character level language model - Dinosaurus land
- 吴恩达 深度学习 编程作业(4-2)- Keras tutorial - the Happy House & Residual Networks
- Yann LeCun:深度学习硬件前瞻
- 吴恩达Coursera深度学习(4-1)编程练习
- 吴恩达Coursera深度学习课程 DeepLearning.ai 编程作业——Optimization Methods(2-2)