人脑90%都是自监督学习，AI大模型离模拟大脑还有多远？

我们都知道，人类的大脑90%都是自监督学习的，生物会不断对下一步发生的事情做出预测。 自监督学习，就是不需要外部干预也能做出决策。 只有少数情况我们会接受外部反馈，比如老师说：「你搞错了」。 而现在有学者发现，大型语言模型的自监督学习机制，像极了我们的大脑。 知名科普媒体Quanta Magazine近日报道，越来越多的研究发现，自监督学习模型，尤其是大型语言模型的自学方式，与我们的大脑的学习模式非常类似。 

过去常见的AI系统都是使用大量标记数据进行训练的。 例如，图像可能被标记为「虎斑猫」或「虎猫」，用以训练人工神经网络来正确区分虎斑和虎。 

这种「自监督」训练需要人工费力地标记数据，而神经网络通常会走捷径，学习将标签与最少、有时甚至是肤浅的信息联系起来。 例如，神经网络可能会使用草的存在来识别奶牛的照片，因为奶牛通常是在田野中拍摄的。 加州大学伯克利分校的计算机科学家阿列克谢·埃弗罗斯 (Alexei Efros) 说：

我们正在培养的算法，就像是一整个学期都没来上课的本科生，虽然他们并没有系统学习这些材料，但他们在考试中表现出色。

 此外，对于对动物智能和机器智能的交叉感兴趣的研究人员来说，这种「监督学习」可能仅限于它对生物大脑的揭示。 许多动物，包括人类不使用标记数据集来学习。在大多数情况下，他们自己探索环境，并且通过这样做，他们对世界获得了丰富而深刻的理解。 

现在，一些计算神经科学家已经开始探索使用很少或没有人工标记数据进行训练的神经网络。最近的研究结果表明，使用自我监督学习模型构建的动物视觉和听觉系统的计算模型比监督学习模型更接近大脑功能。 

对一些神经科学家来说，人工神经网络似乎开始揭示用大脑来类比机器学习的途径。

有缺陷的监督

大约10年前，受人工神经网络启发的大脑模型开始出现，同时一个名为AlexNet的神经网络彻底改变了对未知图像进行分类的任务。

​  

这项成果在Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton 的论文「ImageNet Classification with Deep Convolutional Neural Networks」中发表。 

论文地址：https://dl.acm.org/doi/10.1145/3065386 与所有神经网络一样，该网络由多层人工神经元组成，其中不同神经元之间连接的权重不同。 

如果神经网络未能正确分类图像，学习算法会更新神经元之间连接的权重，以降低在下一轮训练中错误分类的可能性。 该算法重复此过程多次，调整权重，直到网络的错误率低到可以接受的程度。 之后，神经科学家使用AlexNet开发了第一个灵长类视觉系统（Primate Visual System）的计算模型。

当猴子和人工神经网络显示相同的图像时，真实神经元和人工神经元的活动显示出类似的反应。 在听觉和气味检测的人工模型上也取得了相似的结果。 但随着该领域的发展，研究人员意识到自监督训练的局限性。 2017年，德国蒂宾根大学的计算机科学家Leon Gatys和他的同事拍摄了一张福特T型车的照片，然后在照片上覆盖了豹皮图案。 

而人工智能神经网络将原始图像正确分类为Model T，但将修改后的图像视为豹子。 原因是它只专注于图像纹理，不了解汽车（或豹子）的形状。 自监督学习模型旨在避免此类问题。 瑞士巴塞尔弗里德里希·米歇尔生物医学研究所的计算神经科学家弗里德曼·岑克 (Friedemann Zenke) 说，

在这种方法中，人类不会标记数据，相反，标签来自数据本身。自监督算法本质上是在数据中创建空白，并要求神经网络填补空白。

 例如，在所谓的大型语言模型中，训练算法将向神经网络显示句子的前几个单词，并要求它预测下一个单词。 当使用从互联网收集的大量文本进行训练时，该模型似乎可以学习语言的句法结构，展示出令人印象深刻的语言能力——所有这些都没有外部标签或监督。 计算机视觉方面也正在进行类似的努力。 2021年底，何恺明及其同事展示了著名的掩码自动编码器研究「Masked Auto-Encoder」（MAE）。

论文地址：https://arxiv.org/abs/2111.06377 MAE将未掩码部分转换为潜在表示——压缩的数学描述，其中包含有关对象的重要信息。 在图像的情况下，潜在表示可能是一种数学描述，其中包括图像中对象的形状。然后解码器将这些表示转换回完整的图像。 

大脑也是「自监督」的

在这样的系统中，一些神经科学家认为，我们的大脑实际上也是自监督学习的。 麦吉尔大学和魁北克人工智能研究所（Mila）的计算神经科学家布莱克-理查兹（Blake Richards）说：「我认为毫无疑问，大脑所做的90%都是自监督学习。」 生物大脑被认为是在不断地预测，例如，一个物体在移动时的未来位置，或一句话中的下一个词，就像自我监督学习算法试图预测图像或一段文字的间隙一样。

计算神经科学家布莱克-理查兹（Blake Richards）创建了一个AI系统，模仿活体大脑中的视觉网络 理查兹和他的团队创建了一个自监督模型，暗示了一个答案。他们训练了一个结合两种不同神经网络的人工智能。 

第一个，称为ResNet架构，是为处理图像而设计的；第二个，称为递归网络，可以跟踪先前的输入序列，对下一个预期输入进行预测。 为了训练联合AI，该团队从一连串的视频开始，比如说10帧，让ResNet逐一处理。 

然后，递归网络预测了第11帧的潜在表示，而不是简单地匹配前10帧。自监督学习算法将预测值与实际值进行比较，并指示神经网络更新其权重，以使预测效果更好。 

为了进一步测试，研究人员向AI展示了一组视频，西雅图艾伦脑科学研究所的研究人员以前曾向小鼠展示过这些视频。与灵长类动物一样，小鼠的大脑区域专门用于静态图像和运动。艾伦研究人员在小鼠观看视频时记录了小鼠视觉皮层的神经活动。 

理查兹的团队发现了AI和活体大脑对视频的反应方式的相似之处。在训练过程中，人工神经网络中的一条途径变得与小鼠大脑的腹侧、物体探测区域更加相似，而另一条途径则变得与注重运动的背侧区域相似。 

这些结果表明，我们的视觉系统有两条专门的通路，因为它们有助于预测视觉的未来；单一的通路是不够好的。 人类听觉系统的模型讲述了一个类似的故事。6月，由Meta AI的研究科学家Jean-Rémi King领导的团队训练了一个名为Wav2Vec 2.0的人工智能，它使用一个神经网络将音频转化为潜在的表征。研究人员对这些表征中的一些进行了屏蔽，然后将其送入另一个称为转化器的组件神经网络。 

在训练过程中，转化器预测被屏蔽的信息。在这个过程中，整个人工智能学会了将声音转化为潜在的表征，同样，不需要标签。 该团队使用了大约600小时的语音数据来训练网络。「这大约是一个孩子在前两年的经验中得到的东西。」金说。

 Meta AI的让-雷米-金帮助训练了一种人工智能，它以模仿大脑的方式处理音频–部分是通过预测下一步应该发生什么 一旦该系统被训练出来，研究人员给它播放英语、法语和普通话的有声读物部分，然后将AI的表现与412人的数据进行了比较（这些人都是以这三种语言为母语的人），他们在核磁共振扫描对自己的大脑进行成像时，听了同样长的一段音频。 

结果显示，尽管fMRI图像有噪音且分辨率不高，但AI神经网络和人类的大脑「不仅相互关联，而且还以系统的方式关联」。 AI早期层的活动与初级听觉皮层的活动一致，而AI最深层的活动则与大脑中较高层的活动相一致，比如前额叶皮层。 「

这是非常漂亮的数据，虽然算不上是决定性的，但算得上是令人信服的证据，表明我们学习语言的方式在很大程度上是在预测接下来会说的话。」 

有人不同意：模拟大脑？模型、算法都差的远

当然，也并非所有人都认同这种说法。 

MIT的计算神经科学家乔希-麦克德莫特（Josh McDermott）曾使用监督和自监督学习研究视觉和听觉的模型。他的实验室设计了一些人工合成的音频和视觉信号，对于人类来说，这些信号只是难以捉摸的噪音。 

然而，对于人工神经网络来说，这些信号似乎与真实语言和图像没有区别。这表明，在神经网络的深层形成的表征，即使是自监督学习，也与我们大脑中的表征不一样。 麦克德莫特说：「这些自我监督的学习方法是一种进步，因为你能够学习能够支持很多识别行为的表征，而不需要所有标签。但仍然有很多监督模型的特征。」 

算法本身也需要更多改进。比如在Meta AI的Wav2Vec 2.0模型中，AI只预测了几十毫秒的声音的潜在表征，比人发出一个噪音音节的时间还要短，更不用说预测一个词了。 

要真正实现让AI模型和人类大脑相类似，我们还有很多事情要做，金说。 如果目前发现的大脑和自我监督学习模型之间的相似性在其他感官任务中也成立，将更有力地表明，无论我们的大脑有什么神奇的能力，都需要以某种形式进行自监督学习。