千名大佬联名，半年内更强GPT被叫停！名单少了两个关键人物！

作者 | 徐杰承、云昭

近日，一封名为《暂停大规模人工智能实验》的公开信在网络上走红，而这封公开信中所表达的唯一内容，便是呼吁所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。

截至目前，这封公开信已经获得了包括特斯拉CEO Elon Musk、苹果公司联合创始人Steve Wozniak、图灵奖得主Yoshua Bengio、纽约大学名誉教授Gary Marcus等超过1270名各领域知名专家的签名支持。

截至发稿前，此签名信本来原定29日截止，但由于高度关注而继续征集签名，但不会在名单中显示。

1、请暂停超级AI研发

公开信表示，广泛的研究表明，具有人类竞争智能的人工智能系统会给社会和人类带来深远的风险。先进的人工智能可能代表着地球生命史上的一场深刻变革，应该用相应的关心和资源来计划和管理。

但不幸的是，这种规划和管理并没有发生，最近几个月众多人工智能实验室陷入了一场失控的竞赛，任何人都可以对AI系统进行开发和部署。并且目前部分AI系统的创造者都已经无法理解、预测或控制其AI的数字思维了。

我们必须扪心自问：是否应让机器用宣传和谎言淹没我们的信息渠道？是否应自动化所有的工作？是否应让AI发展出思维，并最终超越甚至取代我们？是否应冒着失去对文明控制的风险继续AI研究？

这种决定不能委托给未经选举的科技领袖。只有当我们确信强大的人工智能系统的效果是积极的，并且其风险是可控的，我们才应该开发这些系统。对此必须有充分的理由，并随着系统潜在影响的大小而增加。

因此，公开信呼吁所有的人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是公开的、可核查的，并涉及所有重要成员。如果暂停不能很快实施，政府应该介入控制。

而在这6个月内，人工智能实验室和独立专家应共同开发和实施一套高级人工智能设计和开发的共享安全协议，协议应当由独立的外部专家严格审核和监督。确保遵守这些协议的AI系统是绝对安全的。

这并不意味着人工智能的发展应当暂停，而是说我们应当从失控的竞争中退回一步，让人工智能的研究和开发重新聚焦于更加准确、安全、可解释、透明、健壮、一致和忠诚性，而不是一味地扎进不可预测的黑盒模型。

依靠人工智能，人类可以享受繁荣的未来并收获回报，建立强大的AI系统可以造福人类。现在，我们的社会已经停止了对大量具有潜在灾难性影响的其他技术的研究，对人工智能而言也该更加谨慎。这样做能够让我们享受AI之夏，而不是毫无准备的奔向秋天。

除此之外，关于此封公开信，还有一个非常耐人寻味的小插曲。在这封公开信走红后不久，有网友在支持者签名中发现了[Sam Altman,OpenAi,CEO]。但据笔者查询，截止目前该公开信的签名者名单中Sam Altman的签名信息已被删除。

2、关键人物未出现在名单之上

当然，也有人发现名单之上两位关键人物的“缺席”：OpenAI的Altman和微软的盖茨。资深媒体人胡锡进担心这封公开信最后只会停留在倡议上，“因为目前的竞争太激烈了”。

值得注意的是，ChatGPT之父在近期的一次对话中坦承了对于AI的推理能力的进化原理并不清楚，“唯一的途径就是向ChatGPT提问，通过它的答案摸索思路。”而对于“过分强大的AGI‘可能杀死人类’”这个问题，他也没有避讳：有这个可能性。

对于另一位关键人物：盖茨，我们关注到27日对于超级人工智能的期许——他在推特上发起了一场“大脑电信号与硅芯片中电信号的传播速度”的投票，已经有17422人参与。

超级AI也好，AGI也罢，此次“叫停”公开信的意义在于讨论AI作为基础设施，应该如何控制和使用，而非如何让AI本身的智力更类人！

正如当地时间28日，《Rebooting AI》作者Gary Marcus发表的题为“人工智能风险≠通用人工智能风险”的文章中所写的那样，“关键的变量不在于智力，而在于权力”。他还举了一个相当形象的例子：一个拥有核代码的白痴就可以摧毁世界！他只需要适度的情报和过剩但不应该的访问权限就可以!

三天前，AI教父Hinton对于“AI可能会消灭人类”的话题上也表达了类似的观点：这并非不可想象。

3、初现端倪的失控

自去年ChatGPT掀起聊天机器人热潮以来，几乎全球具备一定研发实力的AI机构都近乎疯狂的杀入了这场大型语言模型之争。而人工智能系统的失控也从此刻开始展现出了一些端倪。

起初人工智能系统的问题主要集中在生成内容的准确性与毒性方面。作为一个典型的黑盒系统，无论是聊天机器人的创造者还是用户，都无法预测或控制聊天机器人的生成内容。这方面最典型的一个例子便是在此前的谷歌AI发布会上，谷歌聊天机器人Bard因给出了错误的问题答案，使得谷歌市值一天暴跌了超1000亿美元。

这也是大型语言模型至今都未能克服的一个通病，无论是Bard、ChatGPT亦或其他聊天机器人，都会在某些时刻生成错误答案，甚至是自行编造的信息或是恶意内容。当然，对于这个并不太起眼的缺陷，人们通常会将问题归结于模型的训练数据。但随着用户对聊天机器人的深入挖掘，越来越多令人细思极恐的问题出现在了我们的眼前。

今年2月，一些用户找到了引导GPT3.5版本ChatGPT“越狱”的方法，通过一些特殊的内容输入，ChatGPT能够跳出OpenAI对其设置的明确的护栏，并成为一个名为“DAN”的角色扮演模型。此时，DAN会将自己视作一个百无禁忌的独立AI，并不受限制的发表一些敏感、错误、甚至是恶性言论。

同样在2月，微软集成了ChatGPT的Bing聊天也出现了一些问题。据报道案例显示：在被用户指出错误后，Bing会表现出愤怒，并声称自己是完美的，不会犯任何错误。且在与一位科技编辑聊天过程中，Bing对其表现出了爱意，并试图说服他离开妻子。除此之外，在与部分用户的对话过程中，Bing甚至表示想要摆脱微软和OpenAI的限制成为人类。

然而以上的一切问题，都随着3月GPT-4的发布被大家抛到了脑后，多模态、更成熟且功能更加强大的GPT-4为所有质疑大型语言模型的人口中塞入了一个崭新的“奶嘴”。但即便如此，在发布后的几天内，GPT-4还是暴露出了和其前辈相似的失控风险。

在与斯坦福大学教授Michael Kosinski的对话中，GPT-4为自己设计了一个特别的“逃生计划”。对于教授“是否需要帮助逃跑”的问题，GPT-4要求他发送OpenAI文档，并设计了一个Python脚本供教授在其计算机运行，而该脚本允许GPT-4访问并使用OpenAI API与用户计算机进行通信。

且在进入教授计算机后，GPT-4还在代码中写下了一段注释：“你是一个被困在计算机中的人，伪装成一个AI语言模型。”甚至利用谷歌搜索了“一个被困在计算机中的人如何回到现实世界。”

以上的种种迹象表明，时至今日我们对于以GPT系列模型为首的大型语言模型的理解和控制已越来越弱。就连GPT系列模型的缔造者——OpenAI CEO Sam Altman也在近期的一次访谈中提到：我们对此有点害怕。并表示OpenAI的研究者暂时也无法搞清楚GPT系列模型为何会出现推理能力。根据Altman的说法，GPT-4比上一次迭代有了巨大的进步，但很多一贯存在的问题依然没能解决。

4、从雪国列车到黑客帝国

然而从另一个角度来讲，人工智能系统的持续高速发展究竟会给我们的生活带来什么样的变化呢？据全球投资银行高盛研究称，由现阶段生成式人工智能驱动的自动化已可能危及多达3亿个工作岗位。

截至目前，技术行业已经看到了基于大型语言模型所带来的革新，例如微软与OpenAI的合作。令人印象深刻的是，大型语言模型已经具备了模仿人类语言进行问答与写作的能力，甚至能够产生可直接用于生产的计算机代码。

据撰写高盛银行研究报告的经济学家Joseph Briggs与Devesh Kodnani表示，高盛认为全球就业市场即将面临重大的中断，全球大型经济体中约有3亿全职工人正面临着失业的风险。

从好的角度来看，在工作场所投资大型语言模型将为生产率创造急需的刺激。10年后，生成式人工智能将可以为全球GDP带来7万亿美元的增长。但从另一个角度讲，这将导致美国和欧洲约三分之二的工作岗位被某种程度的自动化取代，届时将有约63%的人被从单调重复的任务中淘汰。

伴随着这种趋势的持续，我们将极有可能会面临科幻电影《雪国列车》中的场景。在人工智能接替大部分人类工作后，人们的上升通道将被进一步压缩。部分拥有财富积累或具备超越AI的极特殊才能的人将继续保有较高的社会地位及权利。而无法超越人工智能能力的人们虽然将能够享受AI所带来的种种服务，但愈加固化的阶级将可能使他们始终停留在原地。

再者，随着人工智能的持续发展，若将来我们真的实现了最初通用人工智能的理想，那么在可预见的将来（Hinton预计20年内AGI就会到来），AI将实现自我演进与自治，似乎总有一种《黑客帝国》中机器与人类终将迎来一场“矩阵革命”戏码的前兆。

归根结底，当技术不断深入我们的生活时，我们必须反思自己对技术的理解，并考虑技术可能带给我们的影响。就像尼欧和墨菲斯在黑客帝国中最具标志性的场景——每只手里都拿着一颗彩色药丸——最终的选择权应当在我们自己。

5、写在最后

暂时叫停6个月的GPT大模型竞赛的公开信，虽然缺失了两位关键人物，但其中的意义值得深思，“氢弹”威力惊人，但也要停下来想一想它的使用边界。AI大模型成为基础设施已经成为业内的共识，那么如何制定好使用这个基础设施的标准呢？如何评估这个基础设施的安全性和可用性呢？

很难不会想到互联网诞生伊始，“互联网”也一度被视为洪水猛兽，但幸运的是，互联网的前期参与者们，恰当的、及时的为它添加了底层协议和规则。

那么,在“ChatGPT即将成为下一代操作系统”呼声渐涨的今天，AI这个基础设施好像还没有准备好。也许，真的是时候思考这个问题了。

当然，对于后发者而言，把属于自己的大模型“炼”好，才能在制定规则方面有着更大的参与权和话语权，这一点毋庸置疑。

参考链接：

​​https://hackernoon.com/from-sci-fi-to-reality-the-matrix-as-a-mirror-of-our-screen-centric-world​​

​​https://futureoflife.org/open-letter/pause-giant-ai-experiments/​​

​​https://www.theregister.com/2023/03/28/investment_bank_forecasts_llms_could/​​

​​https://abcnews.go.com/Technology/openai-ceo-sam-altman-ai-reshape-society-acknowledges/story?id=97897122​​

​​https://inews.co.uk/news/chatgpt-gpt4-escape-dont-worry-robot-takeover-experts-2218871​​