图灵奖得主，超算Top 500榜单创始人：机器学习太过依赖GPU了！

最近，美国计算机科学家，图灵奖获得者Jack Dongarra表示，机器学习的硬件正在被我们大量使用。

这是一个不争的事实。

和任何一个机器学习的开发人员聊聊天，你就能发现，运行或者建立一个GPT模型真的太贵了。

主要原因就是，对传统的，和过时的GPU的高度依赖。

Dongarra进一步强调，我们必须更好地利用已有的资源，这件事是非常有必要的。

他认为，为了资源的更高效利用，我们应该找到最好的应用方式、最恰当的环境。同时，软件框架的开发也同样重要。合适的框架可以有效推动计算，支持硬件性能。

具体来说，Dongarra提出了一种多维的计算方法，这是一种囊括CPU、GPU、机器学习、神经形态、光学，以及量子计算等等各种技术的高性能计算机。

量子技术是一个有发展前景的领域。因此，Dongarra认为，上面提到的这些，都会是未来高性能计算机的一部分。

「把他们结合在一起，我们才能应对未来更多的挑战。」

资本与创新，两手抓

Dongarra认为，资本与创新两手抓是非常有必要的。

亚马逊有自己的硬件资源——Graviton，谷歌有TPU，微软也有自己的硬件。

这一切的基础是——他们有钱，可以投资研发各种硬件。

而Dongarra表示，在高性能计算的研究领域，经费就没这么充足了。

简单来说，没那么多钱，投资不了硬件来解决具体问题。

在将苹果公司的技术实力与惠普和IBM等传统计算机公司进行比较时，Dongarra指出了市值上的巨大差异。虽然苹果公司的价值飙升至数万亿美元，但惠普和IBM的市值总和还没有达到万亿美元大关。

“我们有基于云的公司，他们的收入数额可以创新，并建立自己的硬件。例如，iPhone由许多处理器组成，专门为帮助iPhone做什么而设计。他们正在用硬件取代软件。他说：”他们这样做是因为它更快，而且与一般的高性能计算社区有很大不同。

另一方面，超级计算机主要是使用英特尔和AMD等公司的现成组件构建的。这些处理器通常辅以GPU，整个系统通过InfiniBand或以太网等技术连接。

Dongarra解释说，依赖这些超级计算机的科学家面临着资金限制，限制了他们投资于专门的硬件开发的能力。

IBM一直处于量子的前沿，但在上周的一次会议上，首席执行官Arvind Krishna公布了一个愿景，强调在未来十年内，IBM将混合云技术和人工智能与量子计算相结合的潜力。

虽然该公司通常被认为是传统的，因为它专注于硬件，但最近在生成性人工智能方面的飞跃表明了这一点。

LINPACK背后的故事

Dongarra在计算机科学还没发展起来之前，想当一名高中老师。

后来，他展现出了他通才的一面。

Dongarra在芝加哥附近的阿贡国家实验室工作期间，对数值方法和软件开发产生了浓厚兴趣。

在他从事数值计算软件开发工作的过程中，他的经历进一步巩固了他对这个领域的兴趣。

这段经历让Dongarra获得了硕士学位。

不久之后，Dongarra开始了他在新墨西哥大学的征程。在此期间，他通过创建LINPACK基准测试，对超级计算机性能的衡量做出了突破性贡献。

后来，他又与Hans Meuer共同创建了1993年的标志性Top500榜单，跟踪高性能计算的进展，展示全球最快的计算机。

如今，Dongarra通过在田纳西大学的持续研究，继续塑造计算的未来，探索超级计算和人工智能的融合。随着人工智能和机器学习继续发展，他的工作现在集中在优化高性能系统上算法的性能，实现更快、更准确的计算。

「2001太空漫游」的粉丝

Dongarra是谁？他是1980年代，在计算机领域不得不提到的人物。

「几乎在每个转折点，我们都能看到计算机科学家寻找解决问题的替代方法。现在，他们将AI视为一种方法。但是人工智能不会解决问题，它会在解决问题的方案上帮助他们，」2021年ACM图灵奖的获得者这样说道。

他因为对保证高性能计算软件与硬件技术的进步保持同步的贡献而获得了这个奖项。

「人工智能最近真正起飞了，造成这一点的原因有很多——一是因为，我们今天在互联网上拥有大量的数据。可以挖掘这些资源来训练AI。同时，我们有可以以非常快的速度进行计算的处理器，我们有可以被优化并在帮助训练中非常有效地使用的计算设备。」

Dongarra还强调了线性代数在人工智能算法中的关键作用，强调了高效矩阵乘法和最陡下降算法的重要性。

「许多事情都已经到位，让人工智能机器学习成为一个非常有用的资源。AI在许多科学领域都产生了巨大影响，比如药学、气候建模和生物学、药物发现、宇宙学和高能物理学。」他进一步补充道。

而关于通用人工智能（AGI），Dongarra认为，我们应该开发机器来自动化日常任务，协助科学模拟和建模。

但他认为，我们应该保持谨慎，因为网络上大量未经过滤的信息可能会误导人。

Dongarra还是电影2001：太空漫游的粉丝。

「《2001：太空漫游》是一部很好的电影，它以一种独特的方式看待AI。我第一次看到它的时候觉得它很吸引人，我到现在还是很喜欢这个故事。这部电影里包含不少和今天相关的东西。」他总结道。

参考资料：

https://analyticsindiamag.com/turing-award-winner-warns-of-machine-learning-hardware-abuse/