New Bing集成GPT-4？确有依据还是空穴来风？

​作者 | 徐杰承

在微软New Bing发布前，绝大部分人对其的预测都是——New Bing的整体表现将会与ChatGPT极其相似，即使二者在细节层面存在某些差异，用户也应当无法从体验角度发现这些区别。然而随着New Bing的发布与更新，越来越多的人开始怀疑，微软与OpenAI此前那宗100亿美元的交易，似乎不止关系到ChatGPT这一个“宝贝”。

1、微软官宣：集成全新模型

虽然New Bing与ChatGPT都基于GPT 3.5系列模型微调而成，但在2月中旬，微软宣称已将一种全新的AI语言模型集成到了New Bing之中，使其能够拥有比ChatGPT更优秀的表现。虽然时至今日微软仍没有明确表示新AI模型的来源及相关数据等信息，但部分业内人士猜测该模型很可能与OpenAI迟迟未公开的GPT-4有关。

其实早在去年年底，业内上便已流出了大量关于GPT-4模型的传闻，部分消息称GPT-4模型或将拥有超100万亿参数（GPT-3为1750亿），也有专家预测GPT-4将更加注重成本控制，模型参数量相比于GPT-3不会有太大变化。据当时部分外媒报道，GPT-4会于2023年2月左右发布，虽然通过近期OpenAI的种种表现及其CEO的发言来看，该信息并不准确。但据《纽约时报》最新消息称：GPT-4模型将有可能于2023年上半年发布。

且相关测试数据也显示，更新后的New Bing潜在模型比ChatGPT的延迟更低。此外，从实际的对话表现来看，目前的New Bing与ChatGPT也存在着一定区别，在与用户对话过程中，New Bing表现出了比ChatGPT更自然、更本能的状态。但当对话持续性增加时，New Bing也出现了像GPT系列模型一样的重复回应趋势。

2、唯一解决方案

在ChatGPT发布期间，OpenAI曾通过其官方博客发文表示：公司已经“从他们的早期模型如GPT-3和Codex的部署中吸取了教训”，选择使用RLHF(利用人类反馈信号直接优化语言模型)和监督学习的混合模式来训练ChatGPT。据OpenAI介绍，使用RLHF方式可以一定程度上降低ChatGPT输出恶意及错误信息的概率。

但从New Bing的角度来看，彼时的微软迫于与谷歌Bard的竞争，不得不加快New Bing的训练周期。微软在启动New Bing项目到发布期间的不到3个月时间内，是不足以重建完整的RLHF训练通道并进行整合的。因此微软在进行New Bing的模型训练时所采用的应当依然是传统的监督学习模式。这也导致了New Bing自发布以来，一直受到由开发仓促、缺乏前期训练所带来的准确性问题的困扰。

而据相关消息显示，微软目前正在通过多种方式尝试解决New Bing生成内容准确性的问题并已取得了一些成果，但优化方案中并没有明确提及New Bing使用了RLHF模式重新训练模型。对此，部分专家推测，微软很有可能是通过集成其他AI语言模型生成过滤器的方式对New Bing的生成内容进行了优化。

前Playment AI研究员Khamisi也在自己的个人博客中分析了这个问题：“无论ChatGPT还是目前公开的其他模型都无法很好的控制生成恶意信息及虚假信息，如果微软希望解除对New Bing的问答次数限制，最好的方式就是等待OpenAI给出一些具备该能力的模型并在New Bing中使用它们，如今看来微软似乎已经在某种程度上做到了这件事。”

3、如胶似漆的合作阶段

此外，另一点值得注意的是，尽管OpenAI和微软的合作关系一直十分密切，但在“关于ChatGPT的合作”之前，二者之间的关系还远未达到“同穿一条裤子”的程度。在此前的种种合作及交易中，当涉及到数据集以及各自的基础设施时，他们可以说从未对彼此敞过开心扉。

然而就在今年年初，微软宣布了与OpenAI长期合作伙伴关系的第三阶段，除了数年中数十亿美元的投资外，更重要的一点是：微软在该阶段中允许了OpenAI公司及其开发人员通过Azure访问微软内部最好的AI基础设施、模型和工具链。而在此之后，OpenAI也立即进一步加大了在模型数据方面的投入。

据外媒报道：从1月末开始，OpenAI已将其数据标记工作外包给了一家于旧金山的数据公司，试图依靠更准确的数据为其部分AI模型建立更加优质的内容过滤器。而OpenAI的这一举动，基本可以看做是在得到支持后对微软表示衷心。结合以上种种现象，我们有理由相信微软目前很可能已经获得了GPT-4模型的部分使用权限，并已开始尝试将其整合进自家搜索引擎及对话机器人之中。

4、写在最后

总之无论如何，如今微软与OpenAI的合作已经进入深水区，且GPT-4的公开发布也已指日可待。如果OpenAI希望在正式发布前对GPT-4进行更加完善的测试，那么拥有海量数据及用户的老大哥微软无疑是他们最好的选择，而从ChatGPT中获利无数的微软也大概率会欣然接受这位小老弟的请求，毕竟在如今的AI圈内，已经没什么能比GPT模型的吸金能力更强了。

但从此前多方对GPT-4模型的推测来看，即使目前New Bing已经在内部实现了对GPT-4模型的集成，其应当也只是依靠模型对New Bing的部分现有功能进行了优化，并未将GPT-4的创新性能力公之于众，这一举措也的确符合微软一项保守的行事风格，更何况其竞争对手谷歌不久前刚通过Bard展示了一波什么叫“心急吃不了热豆腐”。虽然截止目前，无论是微软还是OpenAI都仍未向外界透露更多有关New Bing与GPT-4的消息，但了解到他们当前的一些动态后，相信每个人对于未来的期待都又增加了一分。

参考链接：

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com/technology/microsoft-ai-chatgpt-bing.html

https://time.com/6247678/openai-chatgpt-kenya-workers/

13 Not-to-Miss Research Papers on LLMs