深度学习之父 Hinton：70 岁高龄推翻自己的帝国，伟大灵魂的背后是何等心境？

深度学习之父 Hinton：70 岁高龄推翻自己的帝国，伟大灵魂的背后是何等心境？

在人工智能领域响亮的“深度学习之父”、“神经网络先驱”之名，他的一举一动都是热点导向。当我们远远地审视一位顶尖人物时，除了他的学术之外，或许我们更应该关注他的内心和灵魂。是什么样的心态造就了这位伟人。就在不久前，当这位70岁的老爷爷毫不掩饰地敢于推翻他花费30多年打造的深度学习帝国时，我就被这个伟大的灵魂所感染和感动。我想问，当你处于人生巅峰的时候，你敢不敢质疑自己的过去，你敢不敢勇敢跳出自己的舒适区，你敢不敢抛弃世界的压力，你敢不敢吗？ 70多岁了还敢挑战自己吗？重新追求新目标？这就是伟大与平凡的灵魂区别。在单纯的眼里，我们看到的是一颗平常心，但也是在如此高处修炼出来的巅峰体验。

这几天，登上了各大媒体的头版，因为他的论文终于揭开了神秘面纱。

论文中，将其定义为一组神经元，其活动向量代表特定实体类型的实例化参数。他的实验表明，多层判别训练系统在 MNIST 手写数据集上显示出当前最先进的性能，并且在识别高度重叠的数字方面比 CNN 好得多。

这篇论文无疑将成为今年12月初NIPS会议的一大亮点。

不过，大师已经为这篇论文做好了预热的准备。

一个月前，大师在多伦多接受媒体采访时斩钉截铁地宣称，他将放弃反向传播，从头开始重建整个人工智能。不知道怎么回事的媒体顿时就糊涂了。

8月份，大师还用过一次关于《卷积神经网络存在哪些问题？》的演讲。来介绍他的研究。他认为“CNN的特征提取层和子采样层是交错的，并且同一类型的将相邻特征检测器的输出在一起”是有很大问题的。在当时的演讲中，大师提到了CNN之父Yann LeCun的不同观点。

毕竟现在的CNN一味追求识别率，对于“理解”图像内容的帮助有限。要进一步推进人工智能，使其能够像人脑一样理解图像内容并构建抽象逻辑，仅仅简单地识别像素的顺序肯定是不够的。你必须找到一种方法来很好地表达内容……这意味着新的方法和技术。

目前的深度学习理论，自2007年大师建立以来（先用受限玻尔兹曼机训练，然后用有监督反向传播算法进行调优），除了神经网络结构上的小修小改，很多进步都集中在梯度上流程，如知乎大V《SIY》给出的例子。内容附在文末）：

会饱和，导致梯度消失。于是就有了ReLU。 ReLU的负半轴是死区，导致梯度变成0。所以就有了，PReLU。强调梯度和权重分布的稳定性，产生了ELU和更新的SELU。太深了，梯度无法向下传递，所以就创建了。根本就不需要参数，直接改成残差，这样就有了。强行稳定参数的均值和方差，于是就有了。给梯度流添加噪声，所以就有了。 RNN的梯度不稳定，所以我添加了几个通道和门，从而出现了LSTM。 LSTM经过简化并具有GRU。 GAN的JS散度存在问题，会导致梯度消失或者无效，因此WGAN应运而生。 WGAN 在梯度裁剪方面存在问题，因此创建了 WGAN-GP。

至于本质上的改变，特别是对于动态视觉内容、三维视觉等目前CNN无法解决的更基础的研究，或许可以另辟蹊径。

这当然是艰苦的工作。如果大师亲自动手，一旦成功，他就会毁掉他赖以成名的反向传播算法和深度学习理论。如果他失败了，他将在晚年重蹈爱因斯坦“宇宙常数”的覆辙。所以，李菲菲在这里非常欣赏他的勇气：

今天的论文刚刚出来，深度学习高手们还没有贸然发表评论。半夜外媒还没有发表相关文章。就连一向在科技圈流口水的News，今天也安静了。

不过，可以肯定的是，进一步的效果肯定会在一个月后的NIPS大会上看到，而AI技术基地也一定会继续跟进这里的进展。

至于此举对深度学习乃至整个人工智能界的后续影响，包括Yann LeCun在内的专家恐怕不敢下结论。到了营长的级别，连翻译分析论文在这里都显得多余了（论文在这里，有兴趣的可以捡起来）。大师的辛苦是否值得，让我们拭目以待吧。

这是大师在接受黄恩达采访时所说的：

如果你的直觉是准确的，那么你应该坚持下去，最终你会有所成就。另一方面，如果你的直觉不好，那么你坚持与否并不重要。无论如何，你找不到任何直观的理由来坚持使用它们。

当然，营长必须相信师傅的直觉，他也希望人工智能能够比现在的水平走得更远。

虽然意义不同，但大师的举动却让营长想起了同样七十多岁的凯尔文勋爵。他1900年在物理学上关于“两朵乌云”的演讲是一个极其准确的“预言”：“紫外线灾难”让年近40岁的普朗克开创了量子力学。 “以太漂移”让刚毕业的爱因斯坦开始思考狭义相对论，经典物理学大厦轰然倒塌。

那么，人工智能上空漂浮的究竟是一片“乌云”吗？或者说这是一个新时代？让我们拭目以待。

代码语言：

复制

我们来看看Hinton的学术历程，这篇是来自知乎的文章：《浅析 Hinton 最近提出的 Capsule 计划》虽然发表已有一个多月，但值得一读
作者：SIY.Z

原来的：

这也可能是知乎上分析和介绍深度学习最全面的文章之一。希望那些搞物理、数学、生物、化学、计算机、科幻小说的人会喜欢看。

被誉为“深度学习之父”和“神经网络先驱”，他负责深度学习和神经网络的许多核心算法和结构（包括“深度学习”这个名字本身、反向传播算法、受限玻尔兹曼机、深度信念网络、对比散度算法、防止过度拟合的 ReLU 激活单元以及深度学习中语音的早期突破）做出了基础性贡献。尽管他将一生的大部分时间都奉献给了神经网络，但老人并没有退休的意思。

近年来，他以“卷积神经网络出了什么问题？”为主题，做了多篇报告[1][2]。并提出了他的计划。看来他毫不掩饰自己想要推翻自己30多年来一直盼望建立的深度学习帝国的意图[3]。他的精神也得到了李飞飞（创始人）等同事的肯定[4]。

为什么突然想重新开始？这绝对不是巧合，也不是突然的心血来潮。毕竟，作为一个领域的先驱，质疑自己建立的理论并不是每个人都愿意做的事情。 （想象一下，如果你到处做报告，说你的领域存在各种问题，即使对你没有影响，也会让你这个领域的同事以及依赖这个领域的人很不舒服）

说得有点过头了，但并不能否认一切，而他的主要研究对象就是计算机视觉中的深度学习理论。但从几次讲话来看，他的计划确实与之前的方法有很大不同。演讲挺有趣，但也存在思维跳跃、难度跨度太大等问题。这些问题在他的报告中都非常突出。可以说，仅通过阅读报告很难理解完整的思路。这几天，我综合了各种信息，整理了一下自己的想法和动机，分享给大家。

使用神经网络

（下文中NN指人工神经网络，CNN指（深度）卷积神经网络，DNN指深度神经网络）

要深入理解这个思想，你必须了解神经网络的发展史，这几乎就是它的学术史。

当人工智能刚起步时，科学家们很自然地就有了模拟人脑的想法（称为联结主义），因为人脑是我们所知道的唯一拥有高级智能的实体。

NN起源于神经系统的模拟。最早的形式是感知器，学习方法是神经学习理论中著名的赫布规则。 NN自提出以来就成为人工智能的热门研究方向。然而Hebb规则只能训练单层NN，而单层NN连简单的“异或”逻辑都无法学习，多层神经网络的训练仍然没有希望，这导致了NN的第一个冬天。

认识到人工神经网络不必遵循生物路径。 20世纪80年代，LeCun和LeCun建立并普及了可用于训练多层神经网络的反向传播算法（back-）。 NN又迎来了春天。

反向传播算法，说白了，就是一组快速求出目标函数梯度的算法。

对于最基本的梯度下降（ ）：

，反向传播是一种有效的计算

方式。

但就在那时，NN埋下了灾难的根源。

首先，反向传播算法在生物学上很难建立，很难相信神经系统能够自动形成与前向传播相对应的反向传播结构（这需要精确的导数、矩阵的转置以及使用链式法则，并且尚未发现这种系统存在的解剖学证据）。反向传播算法更像是专门为训练多层神经网络而开发的算法。没有了生物的支持，NN无疑会失去很多信心。一旦遇到问题，人们就有更多的理由放弃它（历史上也是如此）

其次，反向传播算法需要SGD等方法进行优化。这是一个高度非凸的问题，其数学特性令人担忧，并且依赖于精细的参数调整。相比之下，（当时）后起之秀的SVM等使用凸优化技术，这也是人们远离神经网络的原因。当当时的人们认为DNN训练无望时（当时反向传播只能训练浅层网络），NN再次陷入低谷。

深度学习时代的垫脚石——RBM

在第二个NN低谷期间，我没有放弃，转而转向另一棵技术树：热力学统计模型。

基于玻尔兹曼统计相关知识，结合马尔可夫随机场等图学习理论，找到了神经网络的新模型：玻尔兹曼机（BM）。使用能量函数来描述NN的一些特征，希望这能够带来更多的统计支持。

很快人们发现多层神经网络可以描述为玻尔兹曼机的一个特例——受限玻尔兹曼机（RBM）。在最近对他的采访中，吴称其为“我所做的最多的工作”。

当我第一次看到RBM相关的数学理论时，我真的很兴奋。我觉得这样的理论行不通，这是不合理的。这里我给出相关的数学公式来表明NN可以用与生物学完全不同的方式来解释。

在统计力学中，玻尔兹曼分布（或吉布斯分布）可以用来描述量子系统的量子态分布，其形式如下：

其中s是某个量子态，E(s)是该态的能量，P(s)是该态发生的概率。

k是玻尔兹曼常数，它是一个常数。 T是系统温度，在具体问题中也是一个常数。所以我们不妨让kT=1，原来的表达式可以简化为

那是

难道不是这样吗？它实际上自然地出现在统计力学分布中（难怪LeCun之前要求大家学习物理）。

为了再次简化，我们定义

,

所以有

,

（因为此时公式中只有一个s，所以不需要写下标）

接下来的问题来了，E是什么？应该是什么？

看神经网络的一层，分为可见层（输入层）和隐藏层（中间层）。根据经典网络的定义，神经元有两种状态：激活和非激活。然后简单地让 s 等于可见层 v 并添加隐藏层 h 神经元的状态（默认以向量形式表示）：

（RBM图，摘自）

那么E是什么？

无独有偶，量子物理学中有一个模型与神经网络非常相似，任何理解它的人都会对两者之间的相似性感到惊讶。这个模型就是著名的伊辛模型。伊辛模型（物理学界的一个常见笑话：你能解出3D伊辛模型吗？）描述了晶格系统中的相变并解释了铁磁性问题（你可能想知道为什么有这么多金属，只有铁，等。一些金属特别敏感并且可以被磁化（此模型解释）。

神经元的偏置（对于可见层表示为a，对于隐藏层表示为b）作为伊辛模型的“外场”，神经网络的权值W作为伊辛模型的“内耦合系数”伊辛模型（两个神经元之间的权重越大，它们的耦合越强，相关性也越强），因此能量可以写成非常简单的形式：

这种形式令人惊讶的是，它是最简单的，没有浪费 NN 中的任何参数，而且它有一个非常合理的直觉：神经元的偏差仅通过乘法与神经元本身直接相关，而两者之间的权重神经元仅通过乘法与相应的两个神经元直接相关，而整体贡献通过加法相关。

我们可以将神经元转换为

相关能量被分离出来，即

，在

是的，还有神经元

连接权重，

是删除

向量。

为了方便起见，我们把 和

不相关部分记为

然后

所以很容易得到

这不就是一个函数吗？那是

这时，该函数就有了一个自然的解释：玻尔兹曼分布下隐藏层神经元激活条件概率的激活函数。

如果是，而且推演到这一步，你一定会觉得这是一个意想不到的结果。

优化的目标是最大似然估计，即最大化

,

这其实很有趣，因为它与热力学统计中的自由能非常相关。

定义自由能

（“自由”可以理解为h具有额外的自由度，其中包含的能量可以用来在系统外部做功），那么

所以有

,

即，v 是自由能的玻尔兹曼分布。也就是说，我们要寻找的参数是使出现的样本自由能最小化的参数集（在参数约束分布中）。这样，参数选择通过最低能量与样本分布联系起来。

总而言之，这一切似乎都有道理。它展示了神经网络和玻尔兹曼分布之间惊人的联系（论文[7]中多次调用），其背后的内涵令人着迷。甚至有人听完讲座后发现RBM的训练模式和量子重整化群的重整化步骤是同构的[6]。

然而问题是，优化整体网络很困难，其根本原因被认为是配分函数Z。寻找最低能量对应的结构一般是#P-Hard问题。如果有一种有效的算法，那么包括伊辛模型在内的许多热力学系统都将很容易求解。

使用贪心方法来降低算法复杂度：逐层训练网络而不是整体优化。为了训练 RBM 的每一层，开发了所谓的对比散度 ( ) 算法。

CD算法使用Gibbs，但是算法收敛速度非常慢（这已经是一个贪心问题，可见原问题有多么困难）。再次近似，固定数量的采样步骤 k 称为

算法。我惊讶地发现，当 K=1（显然是一个极其粗略的近似）时，算法表现得相当好。

发现用这个粗略的算法预训练网络后（这次是无监督学习，即只需要数据，不需要标签；下面会提到），就可以继续调优了（添加标签，使用反向传播训练，或者直接在后面添加一个新的分类器）来高效稳定地训练深度神经网络。

此后，“深度学习”一词逐渐走到了历史的前沿，尽管这个概念在1986年就已存在[8]。可以说，RBM是这波人工智能浪潮的先驱。

这让人想起另一个相当粗糙但更成功的算法——SGD。可以说，很难找到比 SGD 更简单的使用梯度的算法，但 SGD（加上动量）确实特别有效。为什么一个非常粗略的算法对于像神经网络优化这样非常复杂的问题是有效的仍然是一个非常有趣的悬而未决的问题。

由于玻尔兹曼机本身的特性，它可以用来解决与“无监督学习”相关的问题（ ）。即使没有标签，网络也可以自己学习一些好的表示，例如从 MNIST 数据集学习到的以下表示：

当我们将人类智能与当前的人工智能进行比较时，经常引用的例子是“机器学习现在依赖于大数据，但人类学习却相反，依赖于小数据”。这种说法其实并不完全准确。人类有太多的感觉器官，无时无刻接收着海量的数据：就人眼的分辨率而言，目前几乎没有实际的机器学习模型使用如此高清的数据进行训练。当我们观察某件事时，我们所有的感知都会巧妙地为我们提供大量数据，供我们学习、推理和判断。我们所说的“小数据”其实分为两部分：

（Yann LeCun的蛋糕，图片来自网络上发布的Yann LeCun PPT）

无监督学习和先验知识

这是插入中间的一小部分以帮助理解。这一部分强调了先验知识对于无监督学习的重要性，这有助于理解为什么后面一定要强行在模型中体现所谓的“坐标系”，因为“坐标系”是一种先验知识，来源于认知神经科学中总结的先验知识。

无监督学习是没有答案的学习。关键是，没有答案怎么学？

孔子曰：学而不思则罔；学而不思则罔；学而不思则罔；学而不思则罔。思考而不学习是危险的。无监督学习就像学生“思考而不学习”（这里的“学习”是指学习书本（即更直接的答案），而不是广义上的学习）。显然，如果这个学生没有正确的观念和引导，一直凭空思考，他很可能会成为一个疯狂的黑暗平民。

这个“想法和指导”是我们的先验知识。先验知识并不限制思考的范围，但它确实给出了一些“建议的方向”。这对于监督学习和无监督学习都很重要，但对于无监督学习可能更为重要。

我们可以回顾一下，为什么同样是神经网络的CNN在图像乃至语音领域等各个方面都碾压了“简单”的密集连接网络（参数少、训练快、得分高、易迁移）？

（CNN图，来自）

显然 CNN 具有很强的先验关系：局部性。它非常注重部分之间的关​​系以及部分到整体的过渡。

使用CNN提取Go的特征，摘自论文

这一点在Go中也非常明显。使用CNN可以清楚地“看到”局部关系，同时也能有一个很好的全局观。

在另一个领域，比如上面表格数据的学习，CNN就差很多了。这时，胜利者往往是各种整合方法，例如 和 。因为这些数据很少有局部相关性。

无监督领域比较成熟的算法大多是聚类算法，比如k-Means等。

这些算法中聚类的显着特点是强调先验的空间相关性，并将彼此相对接近的对象视为同一类别。

图为两种不同聚类算法的效果，取自k-Means页面

然而，即便如此，两种聚类算法不同的先验知识仍然会导致不同的结果。上图中，k-Means先验强调大小均匀性（损失是簇中心到类成员距离的平方），所以有大簇和平均簇；而高斯EM聚类则强调密集性。 （损失是中心到成员的距离的指标），因此存在大小不同但密集的簇。 （大多数人更喜欢EM结果，主要是因为我们对米老鼠或动物头有先验知识，希望能够区分“耳朵”和“脸”）

人类的先验知识是我们最关心的，这可能是人工智能的核心。例如下面的“tufa”问题。我们随机指出一种人们以前从未见过的名为“凝灰岩”的图案，然后让人们指出剩下的哪些图案是“凝灰岩”。人们将会有很高的成功率。但这个问题（一次性）对于机器来说很难。

图片来源：Nando de 的

这似乎是一种与生俱来的能力。很难相信一台没有先验知识的机器能够做到这一点。

此外，人类和动物的视觉系统具有极其复杂的内部结构，目前尚未完全了解。这种专门的结构也是先验知识的有力证据：

猴子视觉系统各组成部分的相关性，& Van Essen 1991

最近，出现了很多RL（强化学习）论文试图探索和模仿人们的先验知识。比如下面这篇论文尝试对“好奇心”的先验知识进行建模，并鼓励模型自行探索特殊特征，还是有一些奇效的。

图片取自论文-自行拍摄-

稍后我们将看到通过认知科学和图形学总结的一些先验知识，以及他如何将这些先验知识添加到模型中。

反向传播，它就可以工作

但很快，人们发现，使用ReLU和适当的初始化方法，使用CNN，再搭配强大的GPU，发现原来的深度神经网络根本不需要RBM预训练就可以照常训练。尽管RBM在数学上很漂亮，但它受到结构的严重限制，并且通常无法处理直接暴力反向传播。几年前，当Y. Ng要求神经网络自动检测视频中的猫时，内部的深度学习框架几乎用于支持RBM等的训练。但现在开源等主流框架已经没有RBM的影子了。很多新人可能从未听说过RBM。

好吧，现在除了各种小修改（残差网络、Adam优化器、ReLU、、GRU、还有稍微有创意的GAN）之外，神经网络训练的主流算法已经回到了30年前（当时的CNN、LSTM已经有了）的反向传播）。

目前对NN的很多贡献（尤其是核心贡献）都在于NN的梯度流，比如

归根结底，与 20 世纪 80 年代和 90 年代（CNN、LSTM、反向传播算法已经有了）相比，并没有什么特别本质的变化。

但为什么目前的这种方法实际上效果这么好呢？我认为主要有：

神经解剖学的起源和

但他似乎不会满足于现在的结果。他在2011年首次提出了这个结构[9]（我们稍后会解释它是什么）。但那场战斗显然没有成功。

最近，神经网络中最成功的 CNN 受到批评，其结构被重新提出。显而易见的是，它的灵感来自以下三个领域：

前两者显然与人脑有关。很多读者可能会有疑问：NN一定要走生物路径吗？

答案是：视情况而定。

人脑中存在的结构和现象可以从不同的角度来看待：

这是生物学基础和进化负担造成的妥协。由于由细胞组成的生物系统难以完成某些任务，因此它们以基本上非常低效的方式完成任务。这个时候不去模仿人脑是对的。典型的例子是算术计算和数据存储。生物结构很难进化出精确的计算部件和大容量存储部件，并让它们在GHz量级的频率下持续运行。我们只能使用高级的、抽象的方法来进行不保证准确的计算和记忆，这比当代计算机慢得多，而且也不如计算机准确。比如知乎上有这样一个问题：我必须用电脑才能挖比特币吗？可以用笔和纸来计算吗？ ，有很多折叠的答案都是“这小子可以当显卡用”。尽管这些答案是侵入性的，但它们确实说明了这些领域生物结构的显着弱点。这是一个进化中性的功能。进化只要求“足够”，而不要求“最好”。人脑的某些结构和功能可能会被完全不同的实现所取代。这里的一个例子是下围棋。围棋高手可以下围棋，但普通人则不行。下围棋确实与人类的直觉有关，但这种直觉并不是被迫的，也不是与生俱来的：不会下围棋并不意味着你会在进化中被淘汰，而且人脑中并没有专门的“围棋模块”。这时候我们就可以设计出一个与人脑机制有很大不同的系统。例如，它可以比人类玩得更好。这是进化论的重大突破，这些功能使我们成为人类。例如各种人类感知系统、人类因果分析系统、学习系统、规划系统、运动控制系统等。这些都是人工智能目前还缺乏的东西。

但第一个问题是，我们如何知道某个人脑的功能或结构属于上述第3点？根据上述观点，显然，生物的某种结构和功能的出现并不意味着它是有用的。我们需要更多证据。

一个重要的统计证据是普遍性。为什么我们会有用NN作为AI的想法？由于NN本身是生物进化的主要突破，因此在所有NN生物体中，我们发现NN在调节其行为，尤其是人类方面起着关键作用。这也是我们现在愿意相信它的原因，不仅是因为人们有一个大脑，因此我们必须建立一个（就像我们不为人工智能制作肝脏一样）。

实际的人类神经系统是分层的（例如，视觉系统具有V1，V2等层），但是层的数量不能像当前的大型神经网络（尤其是后来）一样高，这些神经网络很容易成为数百个或成千上万的层（并且在生物学上不支持这一点。神经传导的速度非常慢。与使用GPU计算一层神经网络不同，这可能是在微秒的顺序上，生物系统中的一种传导通常在MS的顺序。许多层来支持我们现在正在做的响应速度和同步问题。

人脑视觉途径的分层与DNN分层之间的类比。图像（c）乔纳斯

一个有趣的事实指出，大多数当前的神经解剖学研究都支持大量的柱状结构，称为柱状结构（皮质微柱），大脑皮质（在大多数哺乳动物，尤其是灵长类动物中），其中包含上述数百个神经元，并且存在于此是内部层。这意味着人脑中的层不是类似于当前NN的层，而是具有复杂的内部结构。

迷你图片，引用in |大脑 |

为什么在大脑皮层中很普遍？显然，这是一个重要的统计证据，表明愿意相信迷你寿命发挥了作用。因此，还提出了相应的结构，称为（胶囊，对应于微柱）。这是。

但是做了什么？以前的CNN遇到了什么问题？统计证据无法为这些提供答案。答案的一部分来自认知神经科学。

认知神经科学和“无免费午餐”

机器学习的每个初学者都应了解机器学习的重要定律 - “没有免费午餐” [10]

这可以通过科幻小说中提到的一个例子“三体问题”来理解：

“农民假设”的语气令人不安和可怕的语气：农场上有一群火鸡，农民每天中午11点来养活它们。土耳其的一位科学家观察到了将近一年的这种现象，无一例外，因此他还发现了自己宇宙的伟大法则：“每天早上11点，食物来了。”它说，在感恩节，这项法律于早晨宣布向火鸡宣布，但是当食物当天早上没有到达十一点时，农民进来并抓获并杀死了它们。

在这种情况下，问题是，火鸡愚蠢吗？

第2点是“没有免费午餐”。这是在“数学现实”中建立的。在“数学现实”中，存在所有可能性。在感恩节那天，土耳其可能会被杀死，农民的孩子可以用作宠物，或者农民可以决定将一些鸡再保留一年，然后杀死它们。无论猜测鸡肉做出什么猜测，它都可能失败。可以证明，无论我们学到什么或我们掌握了什么规则，我们都可以（数学上）构建反例（例如，让太阳从西方升起，让黄金变成土壤），这与我们的判断不一致。 。机器与人相同。也就是说，从“一般”的意义或数学意义上讲，没有生物或算法具有比猜测更好的预测能力。

看似矛盾的观点1实际上是在物理现实中建立的。可以说，物理定律是无法在数学上证明的一些真理。我们相信这些法律，因为首先，我们没有发现任何违规行为，其次，有些直觉告诉我们它们可能是正确的。为什么我们可以总结这些法律是一个令人困惑的问题，因为看来人们天生无法总结各种法律。但是可以肯定的是，我们自己是法律限制下进化的产物。尽管对物理定律的理解不是我们的本能，但许多“准法律”已成为我们的本能，它们塑造了我们对问题的本能方式。理解对称性，等等。

实际情况在观点1和观点2之间的某个位置。许多事情既不是完全没有规则，也不是物理定律，而是对我们的进化和生存具有重要意义（即，上面提到的“准法律”）。它们是非常强大的“先前分布”，或者是我们的常识，我们通常不知道这种常识。

由于这不是物理定律，因此根据第2点，我们可以找到一些反例。这些反例对我们来说是某种“错误”，而且此错误是非常非常有力的证据。原因是我们很少犯错（就认知和大脑功能而言）。人的大脑是一个通常在大多数情况下起作用的黑匣子，我们从中获得的信息量很小。但是，一旦出错，它就可以给我们很多信息，因为我们有机会观察到一些奇怪的现象，例如一个世纪以来一次发生的日食。神经科学中的许多发现都是基于错误（例如，脑损伤导致语言领域的发现，左脑和右脑功能的确认等）。它揭示了我们的某些直觉或我们学到的先验知识。

根据以上内容，这种优先知识对于机器学习，尤其是无监督的学习至关重要。

认知神经科学可以通过一些实验揭示这些错误。下面给出了一些示例：

第一个示例是以下面孔：

这个人是什么样的表达？再次看一下？

这个示例说明了识别上空面孔面孔的能力不佳。在长期演变的过程中，我们对合适的人的面貌造成了“过度拟合”，“摆姿势”的信息变得并不重要。上图的幻觉的原因是，尽管脸部颠倒了，但我们以“正义”的想法观察到图片中的眼睛，而眼睛的界线给我们带来了表情符号：

（即使是一些简单的线条也会使我们感觉到脸并得到表达。眼睛和嘴巴的线条在我们的表情中起着重要作用）

这揭示了我们确定自己的脸，实际上是通过几个关键结构（眼睛，眉毛，眉毛，嘴巴，鼻子）完成的。如今，许多算法都模仿了这一点，标志着面部的关键结构，成功率很高。

此外，当我们看第二维中动画角色的脸时，面部脸的形状也使我们感到正常。实际上，这与真实面孔大不相同，但是我们的大脑并不是这样，因为这种识别机制已经存在。成为我们的本能。

第二个例子是这个幻觉地图：

图片来自

很难想象A和B的颜色是相同的。

这种幻想的原因是，对于自然世界中阴影在颜色识别中的副作用，我们的大脑“减去”阴影对颜色的影响。在进化中，就像土耳其一样，我们感到“每天上午11点，有食物来了”；同样，我们感到“消除阴影的干扰以摆脱颜色”。我们的“准法律”。但是，在上面的幻觉图中，我们需要比较A和B的颜色，就像感恩节与土耳其一样。我们的大脑仍然毫不动摇地改变颜色，导致我们在这个极其特殊的问题上犯了错误。只是这个错误不会造成任何后果。当然，如果外星人打算将此错误作为我们与我们打交道的弱点，那就是另一个故事。

下图更为极端。实际上，中间条没有梯度。

第三个幻想是关于这一行的：

人类忍不住觉得中间似乎有一个白色三角形，因为我们的大脑“欺骗”了我们，使我们觉得有一些“看不见的边缘”。

扭转效果更为夸张：

在一定距离观察这张照片会使我们感到“纠缠”或“扭曲”。实际上，这些都是一样的。幻想的原因是大脑给了我们很多倾斜的边缘（这些块是倾斜的，并且使用了不同颜色的效果来增强边缘）。 “裹”。如果我们以这种模式到达世界，那么我们当前的视觉系统将很难正常工作。

我们生活中的大多数物体都有明确的界限。这不是物理定律，而是就其普遍性而言，足以成为“准律师”。因此，人类和动物的大脑视觉皮层具有专门识别边缘的结构：

CNN被认为是生物学支持的原因之一，即他们可以自动获得自动边缘（非常喜欢So -so - Gabor）之类的特征::非常：非常适合Gabor）：

CNN的成功是它可以成功地绘制图像的特征。这在样式项目的样式迁移（原始图片+样式 - >原始图片）中非常好：

人类的这些幻想还暗示，人类和算法模型也受到“无免费午餐定理”的限制，并且人类认知与算法并没有特别不同，也许可以由算法复制。

从认知神经科学中反对CNN的原因

认知神经科医生没有问题。我做了很多认知实验，并且在认知科学领域发表了许多论文。

我还承认，CNN表现很好。但是，当一系列认知神经科学的测试时，直到他反对CNN之前，我感到有些震惊。

第一个实验称为四核（），也是最令人信服的实验。

如图所示，有两个所有级别的简单构建块，要求您将它们拼写成一个正面的四元素（不要看答案，请先尝试一下）。

这应该是一个非常非常简单的问题。对于类似的问题，人们可以在5秒内平均解决它们。但是惊讶的是，人们解决此问题的平均时间超出了预期，通常是数万秒甚至几分钟。

从[2]中亲自证明实验非常有趣。

这是一个疯狂的黑人麻省理工学院，说麻省理工学院教授解决此问题的分钟数基本上与在麻省理工学院工作的年数一致。即使是麻省理工学院的教授，似乎已经写了很长时间的证据（然后在麻省理工学院下方的麻省理工学院下方的麻省理工学院都很高兴听到它，他们喜欢将自己的教授变黑）。

但是，两种类型的人得到了很快的解决。一个是，四分之一的配置已经非常众所周知。另一个是他们不会随意地进行随便的尝试（毕竟，有几种可能的情况，而且枚举很快）。但是，如果您想观察，通过视觉直觉解决问题将非常困难。

这意味着我们有幻想和视觉幻想。

通过人们的尝试，我发现我的幻想是因为人们不自觉地基于对象的形状建立了一个“坐标框架”。

人们将相同的坐标框架用于两个相等的几何形状。该坐标框架将引起误导，导致人们总是尝试一些错误的解决方案。

如果将两个不同的坐标框架给予两个几何体

几乎可以立即解决

第二个实验是关于手相（），而不一致的手持率的结构不能通过平面重写。这个有机化学的同学应该是最熟悉的（各种手工碳），例如害怕被手动控制（报告IUPAC命名IUPAC毒素？）：）：

最简单的手阶段是区分左和右。现在很多人都会混在一起。很难判断手的性行为。给出的示例是“意识旋转”（）。这个问题是确定两个数字的手掌症是否一致：

公共PPT取自名为大脑的讲座？

我们不能直接回答，但是我们必须“旋转”一定的意识，以确定手是否一致。角度差的越大，判断力的时间越长。

“有意识的旋转”还突出了“坐标框架”的存在。我们很难判断该手阶段是因为它们具有不一致的坐标框架。我们需要通过旋转以了解它们是否直觉上的一致来转动坐标框架。

第三个实验是关于地图的。我们需要使一个不是特别精通地理的人，但有基本知识来回答一个简单的问题：

以下模式是什么？

像澳大利亚一样，很多人（尤其是直接回答直觉）。

这是因为对于不规则模式，我们将这样的坐标框架视为理所当然：

但是，如果您确定这个：

它将立即发现这是非洲，并且与澳大利亚完全不同。

通过这些实验，得出了这个结论：

人类视觉系统将建立一个“坐标框架”，坐标框架的差异将大大改变人类认知。

也就是说，当人们识别对象时，坐标框架参与了标识过程。识别过程由空间的概念而不是独立的过程主导。 “坐标框架”是一种“优先知识”。但是很难看到与CNN上的“坐标”类似的事物。

提出了一个猜想：

对象与观察者之间的关系（例如对象的态度）应由一组激活的神经元，而不是单个神经元或一组粗制代码表示（ - 编码，此处是类似于层。元素不由精制组织表达。

这套神经元认为。

类似的变性（）和非降级（）

针对CNN的另一个原因是CNN的目标是不正确的。问题主要集中（我认为可以将其推广到采样，因为许多CNN现在使用卷积采样而改为层）。人们认为，过去人们的观点是可以带来的效果，也就是说，当内容变化（以及某些翻译旋转）时，CNN仍然可以稳定相应的内容。

但是这个目标是不正确的，因为最终，我们的理想目标不是“识别速率”，而是要良好地表示内容（）。如果我们找到内容的良好表达，那么它等同于“理解”内容，因为这些内容可用于识别，将其用于语义分析，构建抽象逻辑等。当前的CNN盲目地追求识别率。这不是您想要的，您想要“大”。

观点是我们需要而不是。

SO被称为，这意味着它不会随变化（例如分类结果等）而变化，依此类推。

它主要是通过等待采样过程获得的。如果您有培训神经网络的经验，您可能会认为，当我们进行图像预处理和数据扩展时，我们将把一些图片旋转为新样本的角度，以识别神经网络。这样，可以将CNN旋转并“直观”。它不需要像一个人一样旋转图片。它直接“忽略”旋转，因为我们希望它旋转。

CNN还强调，该空间对对象的翻译不敏感（不同对象中的不同位置不会影响其识别）。当然，这大大提高了识别率，但是当移动数据（例如视频）或需要检测对象的特定位置时，很难做到这一点。这些方法是异常的（几乎没有生物学中没有相应的结构），很难解释为什么在识别静态图像和观察运动场景时，大脑几乎使用相同的视觉系统。

对于翻译和旋转，实际上是CNN无法反映CNN无法反映“坐标框架”的“坐标框架”的重要原因。

它不是丢失此信息，而只是内容的转换：

我认为CNN前部的非零件是因为它们做得很好。

那么，应该如何在框架下反映出来呢？

考虑两种类型：

另外，两者之间的连接是高级别具有更宽的域（），因此低级位置编码的信息将变成速率编码。

尽管在这里没有说明，但我觉得我希望能够统一静态视觉和动态视觉（通过两种编码方法，并同时感知锻炼和内容）。人脑中静态和动态内容的处理路径没有重大变化，但是框架与视频理解的图像理解之间的差异并不小。

但是，毕竟它存在。例如，我们对对象的识别确实与对象的位置无关。在这里解释：

，但必须是

也就是说，谈论的问题是关于前面提到的神经元的。希望它只是为了（对于其输出的概率部分；位置的位置是）。可以看出，可以看到的原因之一是它比单个神经元更适合表达。

与（巧合的筛子）

那么，高级信息如何从底部获取信息？

第一个输出是什么？

假设输出为（实例参数），这是一个高维向量：

其模式长度表示某个实体（某个对象或部分）的概率/位置。

核心概念是代表一组神经元，而不是代表一个实体，仅代表一个实体。

然后确定决定通过底层激活哪些高级水平（巧合筛）。这是一种通过高维向量的聚类来判断信心的一种方式，并举例说明：

例如，当您听到有人在街上谈论《纽约时报》时，您一开始就不在乎。但是，如果您沿途听到4或5个不同的人谈论《纽约时报》，您可能会立即意识立即意识，我们的（非每日）陈述中必须像一个高维空间向量一样，在高维空间。出现了一组类似的陈述，自然条件的可能性很小。我们将本能地筛选这个巧合。 。

可以避免一些噪音并比较结果。

这使我想起了CNN现在很容易被样本欺骗的问题。尽管几乎所有的机器学习模型都对样本都有问题，但CNN可以被一些与人没有不同的对抗样本所欺骗。这是一个严重的问题（这也是CNN与我们的视觉系统不同的一点）。部分原因是NN的线性结构及其对噪声的耐受性不是很好。我不知道它是否可以缓解这个问题。

使用图片表示这样：

聚类方法（称为同意）是以下评估：

其中，可以通过EM算法获得它们。也就是说，如果群集的形状更接近高斯分布（即浓度越大），则得分越高；否则

图片取自[2]

高分簇的分类的相应上层将接受下层提供的姿势，这等同于这样做。这是因为这些输出在较低级别的“选择”上层，最佳（处理）路径等效于（正确）图像的处理”，这是解释的。称这种机制为“”。

这不是静态的，而是动态的（用输入决定），这是以平等的方式可用的：

由于使用这种聚类方法，它具有潜在的能力，但尚未披露特定的算法。但是，在[2]中，提到的是，对于MNIST数据集，通过后仅需要25个示例，并且可以达到98.3％的识别准确性，并且可以解决CNN识别重叠图像困难等问题。这些应在NIP最近接受的论文（未发表）中看到。让我们拭目以待。

图形和线性电流（）

这次显然是受到计算机图形学的启发。他在报告[2]中说：“（我想非常重视”图形）。

在计算机图形方面，它具有非常重要的性质，也就是说，它具有很好的视角。

显然，这是将矩阵从角度更改为场景的动作，场景中对象的相对关系不会改变。

因此，决定使用矩阵来处理两个对象之间的关系。

根据上面的算法，如果我们想从口腔和鼻子上取出脸，我们需要让矢量t_}和鼻子向量t_ {h}基本相同。

它们一定不能保持一致，因为mod和鼻子不一样。为了使它们保持一致，我们需要找到一种功能，以便