| 阅读时间：9 分钟 科学与工程
从大脑到机器：早期认知研究如何为当今的人工智能突破铺平道路
20 世纪 70 年代末至 80 年代初，联邦政府对认知研究的资助意外地推动了人工智能的重大进步。这项研究通过计算模型改变了我们对人类认知的理解，也为推动当今人工智能技术的深度学习系统奠定了基础。
Jay McClelland 是三位荣获 2024 年金鹅奖的学者之一，该奖项旨在表彰其在人工智能领域的研究成果。 | LiPo Ching
当联邦机构发放研究经费时，他们永远不知道自己的投资是否会为社会带来回报。在20世纪70年代末和80年代初，这种情况几乎可以肯定，当时美国国家科学基金会和海军研究办公室资助了 詹姆斯·“杰伊”·麦克莱兰 、大卫·鲁梅尔哈特和 杰弗里·辛顿 等人的人类认知能力建模项目。
然而，这项投资带来了一系列研究进展：关于人类如何感知字母和单词的神经网络模型；1986 年出版的两卷书描述了该团队关于我们大脑中的神经网络如何作为并行分布式处理系统运行的理论；鲁梅尔哈特、辛顿和一名名叫罗纳德·威廉姆斯的学生在《自然》杂志上发表了一篇开创性的文章，展示了所谓的反向传播算法的威力——一种训练神经网络模型从错误中学习的方法。
而这项研究反过来又催生了现代人工智能的大部分成果。“如今，反向传播算法构成了此后所有深度学习系统的基础，也构成了几乎所有驱动现代科技产业的人工智能系统的基础，”斯坦福大学 人文与科学学院社会科学系露西·斯特恩教授、斯坦福大学吴仔神经科学研究所 心智、大脑、计算与技术中心 主任麦克莱兰说道 。
这一成果使三人获得了 2024 年金鹅奖， 以表彰他们的基础科学研究对世界产生的影响。
麦克莱兰——就像美国国家科学基金会和海军研究办公室一样——从未预料到这样的结果。作为一名认知科学家，“我从未想过要构建人工智能，”他说道。但现在，人工智能的进步已经回到了原点。“我从人工智能和深度学习的经验中汲取灵感，帮助我思考人类思维，同时也在探索思维和大脑能为人工智能带来什么。”
从字母感知到神经网络
20世纪70年代，麦克莱兰和鲁梅尔哈特开始合作，他们对大脑运作方式的理解与主流观点有所不同。麻省理工学院的诺姆·乔姆斯基和杰里·福多尔等研究人员认为，语言处理本质上是一个符号过程，涉及根据清晰的规则对符号的有序排列进行操作。
麦克莱兰有不同的看法。凭借感觉神经生理学和动物学习方面的背景，他无法将乔姆斯基和福多尔等人所谈论的抽象概念与他在动物实验中观察到的情况联系起来。例如，测量猫皮层中单个神经元对线段反应的实验表明，感知似乎并不遵循明确的规则。“它是连续的，并非以离散的步骤发生。而且它对环境很敏感，”他说。麦克莱兰想要建立一个能够捕捉这种敏感性的模型。
与此同时，鲁梅尔哈特在1977年发表了一篇论文，提出每当我们试图理解一个字母、一个单词、一个短语，或者一个句子中一个单词的含义时，我们都会同时运用所有可用的信息来约束问题。再次强调：语境很重要。
在麦克莱兰阅读了鲁梅尔哈特的论文后，两人见面并很快意识到他们可以在计算神经网络模型中将他们的想法形式化——一组分层的、简单的计算元素（有时称为“神经元”），它们相互接收输入（即考虑上下文）并相应地更新其状态。
“我们希望开发一种神经网络模型，捕捉大脑在不同语境下感知字母的一些特征，”麦克莱兰说道。例如，当字母出现在单词中时，我们识别它们的速度比出现在一串随机字母中时更快；即使部分字母被遮挡、扭曲或掩盖，我们也能直观地判断出它可能是哪个单词，他说道。
他们的初始模型产生了与人类语言实验类似的结果——这正是麦克莱兰的首要目标。这表明，作为并行处理系统的神经网络模型，是人类认知的合适模型。
但该团队最初的模型将字母和单词视为相互连接的离散单元（“神经元”）。Hinton 在 20 世纪 80 年代初加入团队时，建议团队应该摒弃每个单元（或神经元）代表一个字母、单词或其他人类可识别或有意义的符号的想法。相反，他提出，字母、单词或其他符号的符号表征应该被认为仅存在于模型网络中众多神经元的联合活动中。该团队于 1986 年出版的两卷本著作《并行分布式处理》（Parallel Distributed Processing）阐述了这些理论。
接下来是致命一击：Rumelhart、Hinton 和 Williams 在 1986 年的《自然》杂志上提出的反向传播算法。
在此之前，神经网络模型的学习能力相当有限：误差只能在网络的最终输出层进行调整，这限制了经验对模型性能的影响。为了克服这一限制，Hinton建议Rumelhart将最小化误差设定为一个具体目标或“目标函数”，并设计一个程序来优化网络以实现该目标。受此启发，Rumelhart找到了一种将误差信号反向传递的方法，从而教会模型中较低层的神经元如何调整连接强度。他和Hinton证明了，这样的网络可以学习执行单层可修改连接无法解决的计算。“大约在同一时间，其他人也开发了反向传播，”McClelland指出，“但Dave和Geoff对反向传播功能的演示引起了人们的共鸣。”
McClelland 表示，当时 Rumelhart 使用的反向传播网络的输入单元数量非常少，输入和输出之间只有一层单元。相比之下，如今的模型可能有数千个中间层神经元，并且以相同的方式学习。
尽管反向传播算法如此优雅，但神经网络模型却未能立即流行起来。事实上，直到25年后，辛顿和他的学生们才利用李飞飞的ImageNet数据集——使用的计算机性能比鲁梅尔哈特当时使用的计算机强大许多个数量级——展示了卷积神经网络令人印象深刻的图像分类能力。“在此之前，训练足够深的网络或拥有足够训练数据的网络非常困难，”麦克莱兰说道。
从大脑到人工智能，再回到大脑
与此同时，麦克莱兰继续使用神经网络来模拟人类认知，并不断发现这些模型能够有效地捕捉人体实验的数据。他仍然对人类认知与计算机神经网络的相似之处和不同之处着迷。“我们大脑中那些使我们能够运作、说话并以连续的句子相互交流的神经网络，显然在某些方面与这些人工智能系统类似。”
他表示，如今的语言模型采用分布式表征，并通过反向传播进行训练，在翻译方面也达到了类似人类的流畅度。“它们能够以任何基于符号规则的系统都无法做到的方式，将一种语言翻译成另一种语言。”
此外，与之前的模型不同，依赖于所谓的Transformer架构的大型语言模型展现出一种有趣的类似大脑的特征：它们能够在新信息输入时，将信息保存在上下文中。“这些模型会结合上下文来使用信息，就好像这些信息是某种悬而未决的东西——就像某人对你说的最后一句话一样，”McClelland说道。
这一发展启发了麦克莱兰与谷歌 DeepMind 的合作者一起探索神经网络模型是否像人类一样，在拥有先验背景知识时推理得更准确，而不是在被赋予需要符号逻辑的完全抽象主题时推理得更准确。
例如，人们很难回答“如果部分 A 是 B，所有 B 都是 C，那么是否存在 CA？”这样的问题。但如果在特定语境下使用熟悉的概念表述同样的问题（“如果部分奶牛是赫里福德牛，所有赫里福德牛都是哺乳动物，那么是否存在哺乳动物是奶牛？”），人们就更有可能给出正确答案。“我们的研究发现，这些模型也是如此，”麦克莱兰说。“它们不是纯粹的逻辑机器。人类和模型都会将先前的知识和信念融入到它们的思维中。”他表示，即使结论并非基于既定前提，它们也会倾向于事实正确或被广泛接受的结论。这些结果发表在 2024 年的《美国国家科学院院刊》（PNAS Nexus）上的一篇论文 中。
他说：“这项研究帮助我相信，人类的思维方式并非严格遵循逻辑，而是更多地基于通过调整神经网络的连接强度而产生的直觉知识。”
尽管存在这些相似之处，麦克莱兰也指出，它们之间也存在差异。人类与机器之间的一个区别在于，我们能够快速学习，并且仅使用少量数据。“这些语言模型所需的数据量大约是人类学习语言所需数据的10万倍。这可真不少！”他说道。“因此，我们感兴趣的是了解生物大脑如何能够利用比当今人工智能系统少得多的数据进行学习。”
鲁梅尔哈特的反向传播算法是问题的一部分：“这就是为什么这些人工智能系统如此缓慢，并且需要如此多数据的原因，”他说。神经网络拥有几乎无数的连接，而且——与人类相比——它们需要大量额外的数据来确定哪些连接最重要。
例如，如果大型语言模型在预测“约翰喜欢加奶油和蜂蜜的咖啡”这样的句子的最后一个单词时出现错误，它可能会学会总体上降低“糖”这个词出现的可能性，而不是认为只是约翰的品味不寻常。
麦克莱兰说：“所有这些连接都在发生微小的改变，试图减少错误，但为了找出哪些连接是重要的，你必须加入许多训练句子，在这些句子中保持对糖的共同偏好——这是低效的。”
这也不是大脑的工作方式。“反向传播是解决计算问题的绝佳方案，”麦克莱兰说，“但没人认为它能够准确捕捉大脑的工作方式。”麦克莱兰说，在反向传播中，网络在一个方向上被激活，误差会在同一网络中向后传播。相比之下，在大脑中，激活本身是双向的，大脑的许多不同部分相互作用——包括多种感官同时感知世界——从而提供对世界的综合感知体验。
麦克莱兰说，辛顿很清楚反向传播算法无法捕捉大脑的工作方式，因此他继续开发了其他几种更接近生物学可行性的算法。现在，麦克莱兰正在以不同的方式完成同样的任务：重新研究动物和人类的神经元激活。
他说：“我受到启发，想要找到理解我们的大脑如何如此有效地针对正确的连接进行调整的方法。”
更多信息
这个故事 最初 由斯坦福 HAI 发表。
校园单位
相关主题
分享这个故事
原文
请对此翻译评分
您的反馈将用于改进谷歌翻译