七月超受欢迎的AI研究榜单出炉，马毅最新「标准模型」排名第九

七月最受欢迎的AI研究榜单出炉啦！

这份由Reddit网友@bycloudai整理的榜单，根据推特点赞、转发和Github星数排序，列入了2022年七月排名前十的AI研究，其中包括DeepMind、Google、MIT CSAIL等知名机构。

下面一起来看看上榜的都是何方大佬~

TOP1: Formal Algorithms for Transformers

作者：Mary Phuong，Marcus Hutter

机构：DeepMind

摘要：本文旨在成为一个独立的、数学上精确的Transformer架构和算法概述。它涵盖了Transformer是什么、它们是如何训练的、它们的用途、它们的关键架构组件以及最突出的模型的预览。

Top2：Confident Adaptive Language Modeling

作者：Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler

机构：谷歌，MIT CSAIL

摘要：基于Transformer 的大型语言模型 (LLM) 的最新进展已推动许多任务的性能显著提高。然而性能提升的同时模型的大小也在急剧增加，这可能导致推理过程复杂以及成本增加。然而在实践中，大型语言模型产生的一系列迭代是由不同程度的难度组成的。

在这项工作中，我们介绍了 Confident Adaptive Language Model-ing (CALM)，这是一个动态分配不同数量的计算机输入和生成时长的框架。

早期退出解码涉及我们在这里解决的几个问题，例如：（1）使用什么置信度度量；(2) 将序列级约束与本地token的退出决策联系起来；(3) 回溯由于先前token提前退出而丢失的隐藏表示。通过对三种不同文本生成任务的理论分析和实验，我们证明了我们的框架在减少计算方面的功效——潜在加速高达3倍，同时可保持高性能。

Top3：Language Models (Mostly) Know What They Know

作者：Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等

机构：Anthropic

摘要：本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明，当以正确的格式提供较大的模型时，它们可以很好地针对各种多项选择和真/假问题进行校准。因此，我们可以通过要求模型首先提出答案，然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。

我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时，自我评估的性能会进一步提高。接下来，我们研究是否可以训练模型来预测P(IK)，即「我知道问题的答案」的概率，而不参考任何特定的建议答案。

Top4：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors

作者：Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

机构：Institute of Information Science, Academia Sinica

Top5：Language Model Cascades

作者：David Dohan, Winnie Xu, Aitor Lewkowycz等

机构：谷歌

Top6：Collaborative Neural Rendering using AnimeCharacter Sheets

作者：Zuzeng Lin, Ailin Huang, Zhewei Huang等

机构：武汉大学，旷视科技

Top7：Neural Networks and the Chomsky Hierarchy

作者：Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等

机构：DeepMind

Top8：Language modelling with Pixels​

作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等

机构：哥本哈根大学，约翰霍普金斯大学，乌普萨拉大学

Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence

作者：马毅，曹颖，沈向洋

机构：加利福尼亚大学伯克利分校，粤港澳大湾区数字经济研究院

这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述，堪称对近70年来AI发展的提纲挈领之作。

Top10：Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling

作者：Yi Tay, Mostafa Dehghani, Samira Abnar

机构：谷歌，DeepMind

看完了Top10的各方大佬的论文，再来说说这次榜单有趣的几个细节。

众所周知，推特点赞是可以用机器人刷的，作者用点赞数作为榜单的关键指标确实有待商榷。

另外，此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位，但Github星数已超过2.4k。

由于NUWA Infinity早在2021年11月就发布了首个版本，而本次榜单只计入了之后的第二版的点赞数，因此只排在第12位。