MIT新材料打造「人造突触2.0」，模拟深度学习训练提速100万倍！

近年来，随着科学家们不断推动机器学习的边界，训练日益复杂的神经网络模型所需的时间、能源和资金正在飞速增长。「模型能建，训练太慢」成为困扰越来越多研究人员的一个头疼问题。

最近，被称为「模拟深度学习」的人工智能新领域有望以更少的能源实现更快的计算。可编程电阻器是模拟深度学习的关键部分，就像晶体管是数字处理器的核心元素一样。

通过在复杂的层中重复排列可编程电阻器，研究人员可以创建一个模拟人工神经元和突触网络，就像数字神经网络一样执行计算。这个网络可以被训练来实现复杂的人工智能任务，如图像识别和自然语言处理。

模拟神经网络的计算速度很大程度上取决于「人造突触」的传输速度。麻省理工学院的一个团队要解决的就是这个环节。他们之前已经开发了一种人造模拟突触，现在要做的是，搞个新材料，超越原来的老版本。

这次，他们在制造过程中利用了一种实用的无机材料，让前文提到的可编程电阻器的运行速度达到了以前的版本的100万倍，同时也实现了比人脑中的突触快约100万倍。此外，这种材料还使电阻的能源效率极高。与早期版本的设备中使用的材料不同，新材料与硅制造技术兼容。这一变化使得在纳米尺度上制造器件成为可能，并可能为整合到深度学习应用的商业计算硬件中铺平道路。这项研究论文已经发表在Science上。

论文链接：https://www.science.org/doi/pdf/10.1126/science.abp8064

论文的通信作者、麻省理工学院电气工程和计算机科学系（EECS）的唐纳教授Jesús A. del Alamo说：「凭借这一关键发现，加上MIT.nano的强大的纳米制造技术，我们已经能够把这些碎片放在一起，并证明这些设备本质上是非常快的，可以在合理的电压下运行。」「该设备的工作机制是将最小的离子–质子–电化学插入绝缘氧化物中，以调节其电子传导性。因为我们用的设备非常薄，所以可以通过使用强电场来加速这个离子的运动，并将这些离子设备推向纳秒级操作」论文通信作者、核科学与工程系和材料科学与工程系的Breene M. Kerr教授Bilge Yildiz解释说。论文通信作者、巴特尔能源联盟核科学与工程系教授和材料科学与工程系教授Ju Li说：

「生物细胞中的动作电位以毫秒级尺度上升和下降，因为大约0.1伏的电压差受制于水的稳定性。”在这里，我们在一个特殊的纳米级厚度的固体玻璃薄膜上施加高达10伏的电压，该薄膜可以传导质子，而不会永久损坏它。而且，电场越强，离子设备运行速度就越快。」本文的共同作者还包括材料科学与工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。

这些可编程电阻器极大地提高了神经网络的训练速度，同时极大降低了进行训练的成本和能耗。这可以帮助科学家们更快地开发深度学习模型，应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。「一旦有了模拟处理器，就不用再训练其他人正在研究的网络了。你可以训练具有前所未有的高复杂度的网络，而这种复杂度是其他人无法承受的。换句话说，这不仅仅是一辆跑得快的汽车，而是一家飞机」。论文第一作者、麻省理工学院博士后Murat Onen说。

100万倍加速深度学习

模拟深度学习之所以比其数字深度学习更快、更节能，主要有两个原因。

首先，计算是在内存中进行的，所以巨大的数据负载不会从内存来回传输到处理器。模拟处理器也以并行方式进行操作。如果矩阵扩大，模拟处理器不需要更多时间来完成新的操作，因为所有的计算都是同时进行的。麻省理工学院新的模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻以纳米为单位，排列成一个阵列，就像一个棋盘。

纳秒级质子可编程电阻器

为了开发一种超高速、高能效的可编程质子电阻，研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时，Onen却专注于无机磷硅酸盐玻璃（PSG）。PSG基本上是二氧化硅，这是一种粉状的干燥剂材料，用来除湿。

在加湿条件下，研究人员研究了它作为燃料电池的质子导体。它也是硅加工中最著名的氧化物。为了制造PSG，硅中加入了少量的磷，使其具有质子传导的特殊特性。Onen假设，优化后的PSG在室温下可以具有较高的质子导电性，且不需要水，这将使其成为理想的固体电解质。

惊人的速度

PSG能够实现质子的超快运动，因为它包含大量纳米大小的孔，这些孔的表面为质子扩散提供了路径。

它还能承受非常强的脉冲电场。

Onen解释说：「这一点至关重要，因为对装置施加更多的电压可以使质子极速移动。」

Onen说：「这种速度相当令人惊讶。通常情况下，我们不会在设备上使用如此强大的磁场，以避免它们变成灰烬。但相反，质子最终以巨大的速度穿梭在设备堆上，而且还是比我们之前的速度快一百万倍。此外，由于质子体积小、质量低，这种运动不会破坏任何东西。它几乎就像传送一样。」

因为质子不会损坏材料，所以电阻器可以运行数百万个周期而不发生故障。

质子可编程电阻器的超快和高能效调制特性

这种新型电解质使可编程质子电阻器的速度比以前的设备快100万倍，并且可以在室温下有效工作，这对于将其纳入计算硬件非常重要。

由于PSG的绝缘特性，当质子运动时，几乎没有电流通过材料。Onen补充说：「这使得该设备非常节能。」

del Alamo表示：「现在他们已经证明了这些可编程电阻器的有效性，研究人员计划对其进行重新设计，以实现大批量生产。然后他们可以研究电阻阵列的特性，并将其放大，以便将其嵌入到系统中。」

Yildiz补充说：「这些离子设备可以实现的另一个令人兴奋的方向是节能硬件，以模拟神经科学中推导的神经回路和突触可塑性规则，超越模拟深度神经网络。我们已经开始与神经科学进行这样的合作，得到了MIT Quest for Intelligence的支持。」

del Alamo说：「 我们的合作对未来的创新至关重要。未来的道路仍然充满挑战，但同时也非常令人兴奋！」

斯坦福大学材料科学与工程副教授William Chueh说：「 诸如锂离子电池中发现的插层反应已经在存储设备中得到了广泛的探索。这项工作表明，基于质子的存储器件提供了令人印象深刻且令人惊讶的开关速度和耐用性。」

不过William Chueh并没有参与这项研究。