OpenAI揭秘ChatGPT升级计划：你找到的bug都在改了

OpenAI 的使命是确保通用人工智能（AGI）惠及全人类。因此，我们对我们在实现 AGI 的过程中所构建的人工智能系统的行为，以及决定这种行为的方式进行了大量的思考。

自从我们推出 ChatGPT 以来，用户已经分享了他们认为有政治偏见或其他令人反感的产出。在许多情况下，我们认为大家所提出的关切是合理的，并发现了我们系统的真正局限性，我们希望解决这些问题。但与此同时，我们也看到了一些误解，这些误解与「我们的系统和政策如何共同塑造 ChatGPT 的输出」有关。

博客要点总结如下：

• ChatGPT 的行为是如何形成的；
• 我们计划如何改进 ChatGPT 的默认行为；
• 我们想允许更多的系统定制；
• 我们会努力让公众对我们的决策提出更多意见。

我们的首要任务

与普通软件不同，我们的模型是大规模的神经网络。它们的行为是从广泛的数据中学习的，而不是明确的编程。打个不那么恰当的比方，这个过程更类似于训练一只狗，而不是普通的编程。首先，模型要经历一个「预训练」阶段。在这个阶段中，模型通过接触大量的互联网文本（以及大量的观点）来学习预测一个句子中的下一个词。接下来是第二个阶段，我们对模型进行「微调」，以缩小系统的行为范围。

截至目前，这个过程还不完善。有时，微调过程没有满足我们的意图（产生一个安全、有用的工具）和用户的意图（获得一个有用的输出以响应给定的输入）。随着 AI 系统变得越来越强大，改进我们使 AI 系统与人类价值保持一致的方法成为我们公司的首要任务。

两大步骤：预训练和微调

构建 ChatGPT 的两个主要步骤如下：

首先，我们对模型进行 「预训练」，让它们预测包含互联网部分内容的大数据集的下一步是什么。它们可能会学习补全「她没有向左转，而是转到了__」这个句子。通过从数十亿的句子中学习，我们的模型掌握了语法、关于世界的许多事实，以及一些推理能力。他们还学会了这几十亿句子中存在的一些偏见。

然后，我们在一个范围更窄的数据集上对这些模型进行「微调」，这些数据集是由遵循我们提供的指南的人类评审员精心制作的。由于我们无法预测未来用户可能输入我们系统的所有信息，所以我们没有为 ChatGPT 将遇到的每一个输入编写详细的说明。取而代之的是，我们在指南中概述了几个类别，我们的评审员用这些类别来审查和评价一系列示例输入的可能模型输出。然后，在使用过程中，模型从评审员的反馈中归纳出来，以便对特定用户提供的广泛的具体输入做出反应。

评审员的作用 & OpenAI 在系统开发中的策略

在某些情况下，我们可能会给我们的评审员提供关于某类输出的指导（例如，「不要完成非法内容的请求」）。在其他情况下，我们与评审员分享的指导是更高层次的（例如，「避免在有争议的话题中站队」）。重要的是，我们与评审员的合作不是一劳永逸的，而是一种持续的关系。在这种关系中，我们从他们的专业知识中学习了很多。

微调过程的很大一部分工作是与我们的审查员保持一个强大的反馈回路，这涉及到每周的会议，以解决他们可能有的问题，或对我们的指导进行进一步说明。这种反复的反馈过程是我们训练模型的方式，使其随着时间的推移越来越好。

解决偏见

对于 AI 系统，偏见问题由来已久，许多研究者对此表示担心。我们坚定地承诺会解决这一问题，并公开意图和进展。为了表达实际行动进展，我们在此分享了与政治和争议有关话题的部分指南。该指南明确指出评审员不应偏袒任何政治团体。尽管如此，偏见还是可能会出现。

指南地址：https://cdn.openai.com/snapshot-of-chatgpt-model-behavior-guidelines.pdf

尽管分歧始终存在，但我们希望通过这篇博客以及一些指南，大家可以更深入地了解我们是如何看待偏见的。我们坚信科技公司必须负责任地制定出经得起审查的政策。

我们一直在努力提高这些指南的清晰度，基于从 ChatGPT 发布到目前为止所了解到的情况，我们将向评审员提供关于与偏见相关的潜在陷阱和挑战，以及有争议的数据和主题更清晰的说明。此外，作为正在进行的透明度计划的一部分，我们正在努力以不违反隐私规则和规范的方式共享有关评审员的汇总统计信息，因为这是系统输出中潜在偏见的另一个来源。

基于规则奖励和 Constitutional AI（原发人工智能方法）等进展之上，我们目前正在研究如何使微调过程更容易理解和可控。

未来发展方向：系统构建块

为了实现我们的使命，我们致力于确保更广大的人群能够使用 AI 和 AGI，并从中受益。我们认为要实现这些目标，至少需要三个构建块

1. 改进默认行为：我们希望 AI 系统做到开箱即用，让尽可能多的用户发现我们 AI 系统确实有用，并认为我们的技术理解并尊重他们的价值观。

为此，我们对研究和工程进行了投资，以减少 ChatGPT 对不同输入响应产生的微妙偏见。在某些情况下，ChatGPT 会拒绝输出应该输出的内容，而在某些情况下情况又相反，它输出了本不该输出的内容。我们相信，在这两个方面 ChatGPT 都有改善的可能。

此外，我们的 AI 系统在其他方面还有改进的空间，例如系统经常会「编造东西」，对于这一问题，用户反馈对改进 ChatGPT 非常宝贵。

2. 在广泛的范围内定义 AI 价值：我们相信 AI 应该成为对个人有用的工具，因此每个用户都可以根据一些限制条款进行定制使用。基于此，我们正在对 ChatGPT 的升级进行开发，以允许用户轻松自定义其行为。

这也意味着，一些人强烈反对的输出，对另一些人是可见的。实现这一平衡面临巨大的挑战，因为将定制化做到极致可能会导致有些人恶意使用我们的技术，以及盲目放大 AI 的性能。

因此，系统行为总会有一些限制。挑战在于定义这些界限是什么。如果我们试图自己做出所有这些决定，或者如果我们试图开发一个单一的、整体的 AI 系统，我们将无法履行「避免权力过度集中」的承诺。

3. 公共输入（默认值和硬性界限）：避免权力过度集中的一种方法是让使用 ChatGPT 等系统或受其影响的人反过来能够影响系统规则。

我们认为，默认值和硬性界限这部分内容应该集中做出，虽然实施起来困难重重，但我们的目标是尽可能多地纳入更多观点。作为起点，我们以「red teaming」的形式寻求外部对我们技术的投入。我们最近还开始征求公众对 AI 教育的意见（我们正在部署的一个特别重要的环境）。

结论

结合上述三个构建模块，我们可以得出如下框架

有时我们会犯错，但当我们犯错时，我们将进行学习并迭代模型和系统。此外，我们还要感谢 ChatGPT 用户等人员，让我们时刻记住责任、保持警惕，我们很高兴在未来几个月内分享更多关于在上述三个领域的工作。