【再论深度学习必死】马库斯回应14大质疑，重申深度学习怀疑论

马库斯和LeCun的深度学习论战从未停止。

新年伊始，纽约大学认识心理学家马库斯发文，列出深度学习十大局限，引发广泛讨论。

很快，LeCun、AAAI前主席Thomas Dietterich等人都加入到讨论中。LeCun更有甚至还抛出“深度学习已死”的言论。马库斯此前回应，他会写一篇偏技术的文章回应种种质疑。现在，这篇文章来了——

“任何真理都要经历三个阶段：第一，被嘲笑；第二，被激烈反对；最后，被理所当然地普遍接受。”

——叔本华

我在最近一篇评价深度学习的文章（Marcus，2018）中，概括了深度学习的十大挑战，并提出深度学习本身虽然有用，但它不可能实现通用人工智能。我建议把深度学习视为“一种非普遍的解决方法，而只是一种工具。”

相比纯粹的深度学习，我呼吁混合模型，不仅包括深度学习的监督形式，还包括其他技术，例如符号处理（symbol-manipulation），以及无监督学习（它本身也可能被重新概念化）。我也敦促社区考虑将更多的内在结构纳入AI系统。

在这篇文章发表之后，几天之内，成千上万的人在推特上发表了自己对这个问题的看法，有些人热情支持我的论点（例如，“这是我多年来读到的有关深度学习和AI的最好的观点），有些相反（例如，“有思考......但大部分都是错误的”）。

我认为澄清这些问题非常重要，因此我编了一份14个常见问题的列表。无监督学习适用于什么问题？为什么我不说深度学习更好的方面？最初是什么让我有权利去讨论这个问题？问一个神经网络从偶数到奇数的泛化是怎么回事？等等，还有更多问题，在这里我没能全部列出，但我尽量做到有代表性。

1. 什么是通用智能？

机器学习领域的著名教授Thomas Dietterich的评论是我迄今为止看到的最全面、最清晰的，他给出了一个很好的答案：

“通用智能”是一个可以在广泛的目标和环境中智能地行动的系统。例如，参见Russell和Norvig的教科书，他们对智能的定义是“理性行事”。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

2. 马库斯对深度学习的看法不友好。他应该对深度学习取得的巨大成就多说一些好话。但他将深度学习的其他成就最小化了。

Dietterich提出了这两点，他写道：

Gary Marcus 的文章令人失望。他几乎绝口不提深度学习取得的成就（例如自然语言翻译），并且最大限度地贬低了其他的成就（例如说有 1000 个类别 ImageNet“非常有限”）。

前半部分说的没错，我确实可以说更多积极的东西。但并不是我“绝口不提”。我也没有不提Dietterich说的这些例子。我在文章的第一页就提到了：

自那以后，深度学习在语音识别、图像识别、语言翻译等领域取得了许多最先进的成果，并在当前AI的广泛应用中起着重要作用。

在文章后面的部分，我引用了几篇优秀的文章和优秀的博客，提到了无数的例子。不过，这些例子大部分都不算是AGI（通用人工智能），这是我的论文的主要关注点。（例如，谷歌翻译固然非常令人印象深刻，但它不是通用的；它不能回答关于它所翻译的内容的问题，而人类译者能。）

Dietterich的批评的后半部分更具实质性。1000个类别真的“非常有限”吗？是的，与人类认知的灵活性相比，这非常有限。认知科学家通常把一个人所知道的原子概念（atomic concept）的数量定为5万个，我们可以很容易地把这些概念组合成为数量更多的复杂想法。这5万个概念中，“宠物”和“鱼类”可能算在里面，但“宠物鱼”可能就没有算进去。而且我们可以很容易地理解“患上白点病的宠物鱼”这个概念，或者意识到“刚买了一只宠物鱼，就发现它感染了白点病，这非常令人失望”这样的概念（这是儿时的经历，现在仍然感到不满）。我能表达多少种想法呢？
比1000要多得多。

我不是很确定一个人能够识别多少视觉类别，但我认为这个数字大致是差不多的。你可以试试在谷歌图像搜索“宠物鱼”，结果会不错；然后你再试试搜索“佩戴护目镜的宠物鱼”，你会发现出来的大部分图片是戴着护目镜的狗，误报率超过80％。

机器在辨别狗的品种的任务上准确率超过了非专业的人类，但在解释复杂场景时，人类大幅领先，例如解释一个背着背包而不是背着降落伞的跳伞运动员会发生什么。

在我看来，把机器学习的领域集中在1000个类别块上，本身就是一种伤害。这是为了一种短期的成功，因为它避开了更困难、更开放的问题（例如场景和句子理解），而这些问题最终是必须解决的。相对于我们人类可以看到和理解的句子和场景的基本上是无限范围相比，1000个类别真的非常小。[另见文末注释2]

原文链接