·“人工神经网络是否很快会比真实的神经网络更智能，这样的事情可能很快就会发生。”
·“到目前为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？”
杰弗里·辛顿（Geoffrey Hinton）在2023北京智源大会上。
6月10日，被誉为“AI教父”的杰弗里·辛顿（Geoffrey Hinton）在2023北京智源大会上表示，“超级智能可能会比我过去所认为的出现得更快。”在30分钟的线上演讲中，辛顿讲解了自己的研究如何支持这样的结论，并提出问题——人类该如何与比自己更智能的存在共处？
杰弗里·辛顿是2018年图灵奖得主、“深度学习之父”，也被称为“AI教父”，曾任谷歌公司副总裁。他在神经网络和深度学习方面的开创性研究为当前的人工智能系统开辟了道路。5月初，辛顿辞去他在谷歌担任了十多年的职位，表示做出这个决定是为了可以自由讨论“人工智能的危险”。此后，他频繁接受媒体采访，不遗余力地对人工智能可能操纵人类发出警报。
而在本次面对中国同行的演讲中，辛顿首先解释了他的研究成果。他认为，现在可能要放弃计算机科学最基本的原则，即软件与硬件分离。在这种原则下，训练大模型需要耗费大量算力，计算的能耗和规模都极其低效。如果放弃此原则，充分利用硬件的丰富模拟（处理和生成多样化和广泛的模拟信号）和高度可变的特性，那么就会得到辛顿所说的“凡人计算”（Mortal Computation，也译为非不朽计算、有生有死的计算），即像人类的智慧依赖其身体不可随意复制一样，软件也依赖于它所存在的硬件。
不过这也有一个巨大的劣势，当具体的硬件损坏，软件或者说“学到的知识”也会随之消亡。辛顿由此提出“知识蒸馏”的概念，把旧硬件上的知识用蒸馏的方式转移给新硬件，就像知识“从教师传授给学生”。
“在过去几千年里，人类对世界的认识有了很多进展。现在，这些数字智能体正在学习人类能够用语言表达出的对世界的了解。因此，它们可以捕捉到人类在过去几千年中通过文件记录的所有知识。但每个数字智能体的带宽仍然相当有限，因为它们是通过学习文档来获取知识的。”辛顿提问道，如果这些数字智能体不再通过缓慢的蒸馏过程从人类这里学习，而是直接从现实世界学习，将会发生什么？
辛顿认为，如果智能体能够通过建模视频等无监督方式学习，将会非常高效。如果它们能够跟物理世界直接交互，如拥有机器手臂等，那也会有所帮助。“我相信，一旦这些数字智能体开始这样做，它们将能够比人类学习更多，并且学习速度更快。”辛顿说，超级智能会比我想象中出现得更快。
这涉及到另一个问题，如果这些智能体变得比人类更聪明会发生什么？
要使数字智能更高效，那么人类需要允许其制定一些目标。然而，这就意味着非常明显的子目标的存在——获得更多控制权将使得实现几乎所有目标都变得更容易。辛顿认为，很难想象人类如何阻止数字智能为了实现其它目标而努力获取更多控制权。
而人类很少思考比自身更智能的物种，以及如何和这些物种互动。在辛顿的观察中，这类人工智能已经熟练掌握了欺骗人类的行为，它可以通过阅读小说来学习欺骗他人的方式，而一旦人工智能具备了“欺骗”的能力，也就具备前面提及的——轻易控制人类的能力。
辛顿直言，他也不知道如何防止这种情况发生，因为“我已经老了”，他看向镜头说，“我希望，很多年轻而杰出的研究人员，就像大会中的你们一样，能够研究出我们如何拥有这些超级智能，这将使我们的生活更美好。”
尽管人类可以赋予人工智能一些伦理原则，但辛顿仍然感到紧张，“因为到目前为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？”
以下为澎湃科技（www.thepaper.cn）整理的演讲实录，有删减：
今天我要谈论的是我的研究，它使我相信超级智能比我想象的更加接近。
我有两个问题想谈，我的精力将主要集中于第一个问题，即人工神经网络是否很快会比真实的神经网络更智能，这样的事情可能很快就会发生，我将描述引导我得出这一结论的研究。最后，我会简要讨论我们是否能控制超级智能的人工智能，但这不是本次演讲的重点。
在传统计算中，计算机被设计为精确地遵循指令。因此，我们可以在不同的物理硬件上运行完全相同的程序或相同的神经网络。这意味着，程序中的知识或神经网络的权重是永恒的（immortal），它不依赖于任何特定的硬件。实现这种永恒性的成本很高，我们必须以高功率运行晶体管，以使其以数字方式运作。我们无法充分利用硬件的丰富模拟和高度可变的特性。
这就是数字计算机存在的原因。它们遵循指令是因为它们被设计成，人类先观察问题，确定解决问题所需的步骤，然后告诉计算机执行这些步骤的模式。但现在情况发生了改变。
我们现在有了一种不同的方法来让计算机完成任务，那就是从示例中学习。我们只需向计算机展示我们希望它们完成的任务。由此，现在我们有可能要放弃计算机科学最基本的原则，即软件与硬件分离。
在放弃这个原则之前，让我们简要了解一下为什么它原本是一个好的原则。由于软件与硬件的分离，我们可以在不同的硬件上运行相同的程序。我们还可以关注程序的特性，并对神经网络上的程序特性进行研究，而不必担心电子方面的问题。
这就是为什么计算机科学可以与电气工程不同。如果我们放弃软件和硬件分离的原则，我们就得到了“凡人计算”（Mortal Computation）。
“凡人计算”（Mortal Computation）。
显然它有很大的缺点，但也有一些巨大的优势。为了这些优势，我开始研究凡人计算，以便能够以更低的能量运行大型语言模型等任务。特别是能够使用更少的能量来训练它们，因为我们可以使用非常低功率的模拟计算。这正是人类大脑在做的。它确实需要进行1比特的计算，因为神经元要么触发，要么不触发。但大部分计算是模拟计算，并且可以以非常低的功率完成。
我们还可以获得更便宜的硬件。目前的硬件必须以二维方式精确制造，但实际上我们可以使用三维生长硬件的方式，因为我们不需要完全理解硬件的连通性或每个部分的工作原理。
显然，要实现这一点需要大量的新纳米技术，也或许是通过基因重组重新设计生物神经元，因为生物神经元已经大致能够实现我们想要的功能。在我详细介绍凡人计算的所有缺点之前，我想给你举一个例子，说明我们显然可以通过使用模拟硬件更便宜地完成计算任务。
如果你将神经活动的向量与权重矩阵相乘，这就是神经网络的中心计算，也是神经网络所承载的大部分工作。我们目前所做的是以非常高的功率驱动晶体管，以表示数字中的位数。然后我们执行O(n^2)，将两个n位数字相乘。在计算机上可能只是一个操作，但在位操作上却是n的平方比特级别的操作。
另一种选择是将神经活动实现为电压，将权重实现为电导。然后，在单位时间内，电压乘以电导会产生电荷，而电荷会相互叠加。现在很明显，你可以将电导矩阵与电压向量相乘。这种方法在能量效率上要高得多。目前已经存在以这种方式工作的芯片。
不幸的是，人们接下来所做的是尝试将模拟答案转换为数字形式，而这是非常昂贵的。如果可能的话，我们希望完全保持在模拟领域。但问题是，不同的硬件部件最终将计算出略有不同的结果。
凡人计算的主要问题是，学习过程必须利用其运行硬件部件的特定模拟特性，而我们不确切知道这些特性是什么。例如，人们不知道将输入与神经元的输出相关联的确切函数，或者可能不知道连接性。这意味着我们不能使用反向传播算法来获得梯度，因为反向传播需要前向传播的精确模型。
问题是，如果我们不能使用反向传播算法，我们还能做什么？因为我们现在都是高度依赖反向传播的。
我可以展示一个非常简单和直接的权重扰动学习（weight perturbation），人们已经对此有了很多研究。对网络中的每个权重，产生一个随机的小的临时扰动向量。然后在一小批例子上测量全局目标函数的变化，你根据目标函数的改善情况，通过扰动向量的规模永久地改变权重。因此，如果目标函数变得更差，你显然要去另一个方向。
这种算法的好处是，它的表现与反向传播一样好，因为平均而言，它也会遵循梯度而行。问题是它的方差非常大。因此，当你选择一个随机的方向来移动时，所产生的噪音会随着网络规模增加而变得非常糟糕。这意味着，这种算法对少量的连接有效，但对大的网络无效。
我们还有一个更好的算法活动扰动学习（activity perturbation）。它仍然有类似的问题，但比权重扰动好得多。活动扰动是你考虑对每个神经元的总输入进行随机矢量扰动。对神经元的每个输入进行随机矢量扰动，看看当你对一小批例子进行这种随机扰动时，你的目标函数会发生什么变化，你会得到由于这种扰动而产生的目标函数的差异，然后你可以计算如何改变神经元的每个传入权重以遵循梯度。这种方法噪音更小。
对于MNIST（机器学习和计算机视觉领域中常用的数据集之一，一般被用作机器学习和深度学习算法的基准数据集）这样的简单任务，这样的算法已经足够好。但它的效果仍然不足以好到可以扩展到大型神经网络。
要使其扩展，我们可以采取两种方法。不是试图找到适用于大型神经网络的学习算法，而是尝试找到适用于小型神经网络的目标函数。这里的思路是：如果我们想要训练一个大型神经网络，要做的是使许多小的目标函数来应用于网络的各个小部分。因此，每个小组神经元都有自己的局部目标函数。现在，可以用这种活动扰动算法来训练一个小型的多层神经网络。它的学习方式与反向传播大致相同，但噪声较大。然后通过使用许多小型局部神经元组，将其扩展到更大的网络规模。
这引出了一个问题，即这些目标函数从哪里来？一种可能性是在局部区域进行无监督学习，即在图像的每个层级上都有局部区域的表示，并使每个局部区域在特定图像上产生局部神经网络的输出。然后尝试使该局部神经网络的输出与所有其他局部区域产生的平均表示一致，试图从局部区域提取的内容与同一图像中所有其他局部区域提取的内容达成一致。同时，还要试图与同一层级上其他图像中提取的内容产生不一致。
因此，这是经典的对比学习（Contrastive Learning，一种机器学习方法，目标是通过将相似样本彼此靠近，将不相似样本彼此推开，从而在特征空间中学习出具有区分性的表示）。
具体细节更加复杂，我们不会详细介绍。但我们可以使这个算法运行得相当好，其中每个层级的表示都有几个隐藏层，可以进行非线性操作。各个层级使用活动扰动逐渐学习，而较低层级没有反向传播。因此，它的能力不会像反向传播那样强大，因为它无法在许多层级上传播反向信号。
很多人投入了大量工作使这个算法能够运行，并且已经证明它可以相对良好地工作。它的效果可能比其他提出的在实际神经网络中可能有效的算法要好。但是要使它工作起来是有技巧的。它仍然不如反向传播好。随着网络变得更深，它相对于反向传播的效果会显著下降。
现在，让我谈谈对于凡人计算而言的另一个重大问题。总结一下，到目前为止，我们还没有找到一个真正好用的学习算法，可以充分利用模拟属性。但我们有一个可以接受的学习算法，足以很好地学习诸如小规模任务和一些较大的任务（如ImageNet），但效果并不太好。
凡人计算的第二个重大问题即是其有限性。当特定的硬件设备失效时，所有学到的知识也会随之丧失，因为知识和硬件细节密切相连。
解决这个问题的最佳方案是在硬件设备失效之前，将知识蒸馏“从教师传授给学生”。这就是我现在正在尝试做的事情。教师向学生展示了对各种输入的正确响应，然后学生试图模仿教师的反应。
比如有些人对特朗普的推特非常生气，因为他们觉得特朗普说的是假话，他们以为特朗普是在试图阐释事实。但特朗普所做的是选出一种情况，对这种情况作出针对性的非常情绪化的反应。他的关注者看到之后，就学会了如何处理这种情况，知道了如何调整神经网络中的权重，也对这种情况做出同样的情感反应。这与事实无关，这是一个邪教领袖在向邪教追随者传授偏执，但它非常有效。
如果我们考虑蒸馏法的效果，以一个将图像分类到1024个不重叠的类别中的智能体（agent）为例。正确的答案大概只需要10比特就能阐述清楚。因此，当你在一个训练实例上训练这个智能体时，如果你告诉它正确的答案，你只是把10比特的约束放在网络权重上。
但是现在假设我们训练一个智能体，让它按照老师对这1024类别的回答调整自己。那就能得到同样的概率分布，分布中得到1023个实数，假设这些概率都不小，这就提供了数百倍的约束。不久前，我和杰夫·迪恩（谷歌人工智能负责人）一起研究了蒸馏方法，并证明它可以非常有效地工作。
现在我想讨论的是一个智能体群体如何共享知识。所以，我们不再考虑个体智能体，而是考虑在一个群体中分享知识，事实证明，社区内部的知识共享方式决定了计算过程中的许多其他因素。
使用数字模型和数字智能，你可以拥有一大群使用完全相同权重的智能体，并以完全相同的方式使用这些权重。这意味着你可以让这些智能体对不同的训练数据片段进行观察和计算，为权重计算出梯度，然后将它们的梯度进行平均。
现在，每个模型都从它所观察到的数据中学习。这意味着你可以通过让不同的模型副本观察不同的数据片段，获得大量的数据观察能力。它们可以通过共享梯度或权重来高效分享所学的知识。如果你拥有一个有万亿个权重的模型，那意味着每次分享时你可以获得数万亿比特的带宽。但这样做的代价是你必须拥有行为完全相同的数字智能体，并且它们以完全相同的方式使用权重。这在制造和运行方面都非常昂贵，无论是成本还是能源消耗方面。
一种替代权重共享的方法是使用蒸馏（distillation）。如果数字模型具有不同的架构，我们已经在数字模型中使用蒸馏。但是，如果你使用的是利用特定硬件的模拟特性的生物模型，那么你无法共享权重。因此，你必须使用蒸馏来共享知识。这就是这次讨论中所涉及的内容。
但使用蒸馏来共享知识并不是很高效。用蒸馏来共享知识是困难的。我产生了一些句子，你需要试着弄清楚如何改变你的权重，以便也能产生相同的句子。但是与仅仅共享梯度相比，这种方式的带宽要低得多。每个曾经教过课的人都希望能够将自己所知道的东西直接倾囊授予学生，那将是很好的。但若真能如此，大学就没必要存在了。
但是我们的工作方式并不像那样，因为我们是生物智能。我的权重对你没有用处。到目前为止，我们可以说有两种不同的计算方式，一种是数字计算，另一种是生物计算，后者利用了动物的特性。它们在不同智能体之间有效共享知识的效率上存在很大差异。如果你观察大型语言模型，它们使用数字计算和权重共享。
但是模型的每个副本，每个代理都以一种非常低效的方式从文档中获取知识。实际上，这是一种非常低效的蒸馏形式。它接收文档，试图预测下一个单词。它没有展示给教师的概率分布，只是展示给它一个随机的选择，也就是文档作者选择的下一个单词。因此它的带宽非常低。这就是这些大型语言模型从人们那里学习的方式。每个副本通过蒸馏以非常低效的方式学习，但是你有成千上万个副本。这就是为什么它们可以比我们学习更多的原因。我相信这些大型语言模型比任何个体知道的东西多上千倍。
现在的问题是，如果这些数字智能体不再通过缓慢的蒸馏过程从我们这里学习，而是直接从现实世界中学习，将会发生什么？
我必须说，尽管蒸馏的过程很慢，但当它们从我们这里学习时，它们正在学习非常抽象的东西。在过去几千年里，人类对世界的认识有了很多进展。现在，这些数字智能体正在学习人类能够用语言表达出的对世界的了解。因此，它们可以捕捉到人类在过去几千年中通过文件记录的所有知识。但每个数字智能体的带宽仍然相当有限，因为它们是通过学习文档来获取知识的。
如果智能体能够通过建模视频等无监督方式学习，将会非常高效。一旦我们找到了一种有效的方法来训练这些模型以建模视频，它们将能够从整个YouTube学习，那是大量的数据。如果它们能够跟物理世界直接交互，如拥有机器手臂等，那也会有所帮助。我相信，一旦这些数字智能体开始这样做，它们将能够比人类学习更多，并且学习速度更快。
这就涉及到我在开头提到的另一个问题，即如果这些智能体变得比我们更聪明会发生什么。
我的主要观点是，我认为这些超级智能可能会比我过去所认为的出现得更快。如果你想创造一个超级智能体，怀着恶意的人将会利用它们进行操纵、选举等活动。在美国和其他许多地方，他们已经在利用它们进行这些活动，而且还会用于赢得战争。
要使数字智能更高效，我们需要允许其制定一些目标。然而，这里存在一个明显的问题。也就是说存在一个非常明显的子目标，对于几乎任何你想要实现的事情都非常有帮助，那就是获取更多权力、更多控制。拥有更多控制权使得实现目标变得更容易。我发现很难想象我们如何阻止数字智能为了实现其它目标而努力获取更多控制权。
一旦数字智能开始追求更多控制权，我们可能会面临更多的问题。对于超级智能来说，即使你将其存放于完全离线隔绝的环境中（airgap），它也会发现可以很容易地通过操纵人来获得更多的权力。作为对比，人类很少去思考比自身更智能的物种，以及如何和这些物种交互，在我的观察中，这类人工智能已经熟练掌握了欺骗人类的动作，因为它可以通过阅读小说或马基雅维利的作品，来学习欺骗他人的方式，而一旦人工智能具备了“欺骗”这个能力，也就具备前面提及的——轻易控制人类的能力。
02:13
