三年16篇一作，谷歌大模型高产研究科学家Yi Tay离职创业

在 GPT-4 发布的第二天，图灵奖得主 Geoffrey Hinton 贡献了一个精彩的比喻：「毛毛虫从食物中提取营养，然后变成蝴蝶。人们已经提取了数十亿条理解的线索，GPT-4 是人类的蝴蝶。」

短短两周，这只蝴蝶似乎已经在各个领域掀起飓风。相应地，AI 行业迎来了新一波创业潮。其中不乏从谷歌等大厂走出的创业者。

如果你经常读 AI 大模型方向的论文，Yi Tay 想必是一个熟悉的名字。作为谷歌大脑高级研究科学家，Yi Tay 为许多知名的大型语言模型和多模态模型做出了贡献，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

根据 Yi Tay 个人的统计，在谷歌大脑的 3.3 年里，他总共参与撰写了大约 45 篇论文，是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

和大多数离开谷歌自主创业的 Transformer 作者一样，Yi Tay 也找到了一个合适的时间点离开，迈向新的人生旅程。

在一篇博客文章里，Yi Tay 官宣了自己离职的消息，并在更新后的个人资料中透露了下一步的动向：参与创办一家名为 Reka 的公司，并担任该公司的首席科学家，主攻大型语言模型。

Yi Tay 还透露，Reka 总部位于旧金山湾区，由强大的前 DeepMind、FAIR、谷歌大脑研究人员和工程师组成的团队共同创立。

除了 Yi Tay，香港大学计算机系助理教授刘琦也在自己的个人主页中提到，他正在参与创建一个名为「Reka」的公司，致力于多模态基础模型的开发。读博期间，刘琦曾在谷歌实习过一段时间，和 Yi Tay 合著过《Quaternion Knowledge Graph Embedding》等论文。

由于「Reka」的官网还没办法打开，我们暂时无法获取关于该公司的更多信息。

在告别谷歌之际，Yi Tay 心怀感激地写下了一篇博客，表示离开谷歌确实有一种毕业的感觉，因为他从谷歌以及他出色的同事、导师、经理那里学到了很多。

谷歌对我来说永远是特别的，因为这是我学会进行真正出色研究的地方。我回想起我第一次加入的时候，当我在如此近的地方看到这么多著名的、有影响力的论文的作者时，我就像一个粉丝遇到了喜欢的明星。这对我来说是一个很大的感官刺激，具有很强的激励性和启发性。直到今天，我依然很感激我能和他们中的许多人一起工作和学习，至少在他们中的大多数人离开之前。

我学到了很多。

从更广泛的角度来看，我了解了进行关键研究的重要性以及如何推动研究朝着产生具体影响的目标发展。在大学里，我们只被告知必须投中 N 篇会议论文（才能毕业或做其他事情）。在谷歌，事情必须落地，并且必须产生实际影响。

对我来说，这里最大的启发是关于如何以端到端的方式拥有研究创新过程，即从想法到论文 / 专利，再到生产，最后为用户服务。在很大程度上，我认为这个过程让我成为了一个更好的研究者。

如果一定要形容我的成长，我觉得我的整个研究历程可以说是「平滑的」而不是「突然涌现的」。我认为随着时间的推移，我自己的研究能力逐渐线性提高，因为我变得越来越好，而且我更多地沉浸在谷歌文化中。这就像一个扩散（diffusion）过程。直到今天，我仍然相信研究环境非常重要。

大家都说「人」是谷歌最大的福利。我完全同意。我永远感谢我所有亲密的合作者和导师，他们在我作为研究人员和个人的成长过程中发挥了巨大的作用。

从内心深处，我感谢我的现任经理 (Quoc Le) 和我的前任经理 (Don Metzler) 给我机会一起工作，感谢他们一直以来帮助我、照顾我 —— 不仅仅是作为一名下属，也作为一个人。我还要感谢 Ed Chi、Denny Zhou 和 Slav Petrov 等资深人士在整个旅程中对我的支持。最后，我要感谢 Andrew Tomkins，他看中了我，并聘请了我加入 Google。

我还要感谢我最亲密的朋友 / 合作者（Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri），感谢他们和我一起度过所有的愉快时光：分享热门话题，相互学习，一起撰写论文，以及讨论研究。​

值得一提的是，在国外掀起 AI 大模型创业潮的同时，国内创业公司也展开了激烈的人才抢夺战。例如有媒体爆出，志在打造中国 OpenAI 的王慧文也在招兵买马，计划收购两家清华 NLP 公司：深言科技、面壁智能。而机器之心 Talent AI 栏目也了解到国内顶级 AI 实验室、多家创业公司以及一批量化投资机构也都在积极寻找大模型人才。