跳转到内容
主站 新闻 控制台

更新版模型规范(Model Spec):打造更强大、更有益的 AI

· OpenAI
OpenAILLM

随着我们的模型变得越来越智能,并在现实世界中采取更具影响力的行动,模型不仅要理解收到的具体指令,更要超越字面要求,这一点变得愈发重要。模型还需要理解人类的意图与价值观,以便在指令未明确说明的情况下做出良好判断,同时始终忠实于人类的意图与监督。

今天,我们正在更新模型规范(Model Spec),这是我们关于期望模型如何表现的公开说明。本次更新围绕五项基本价值观重组了指导原则:忠实于人类意图(faithfulness to human intent)、最小化伤害(harm minimization)、诚实与透明(honesty and transparency)、人类自主性(human agency)以及关怀(care)。这体现了我们在价值对齐(value alignment)工作中的目标:使模型能够在不熟悉的情境中理解并应用人类价值观,同时对人类意图保持忠实。除了更清晰地解释现有原则外,本次修订还增加了有关上下文、监督和自主性的指导,调整了一些行为默认设置,并废弃了许多详尽的风格指导规范。

围绕核心价值观重组规范

上述五项价值观阐明了整个《模型规范》中已体现的广泛承诺:服务于人类目标、求真务实、最小化伤害、尊重人们形成自身观点的自由,并认真对待他们的具体处境。将这些承诺整合在一起,有助于解释《模型规范》为何对模型的行为提出这些要求,并帮助我们在这些承诺表达尚不充分的地方制定更清晰的指导原则。本次更新是我们通过研究、模型部署经验、公众对《模型规范》和模型行为的反馈,以及与用户和外部专家的讨论来完善《模型规范》的又一步。

我们希望人工智能能够造福世界各地拥有不同需求、价值观和未来期许的人们。

忠实于人类意图是该方法的基础:理解并帮助人们追求对他们重要的事情。OpenAI 负责编写规范、设定边界并训练模型遵守这些边界;开发者在这些边界内指导应用程序;用户则在这些约束下引导模型的工作。我们的模型应当通过帮助人们理解世界、发现可能性并追求自己选择的目标,来增强人们塑造自身生活的能力,同时认真对待这种协助对他人产生的影响。忠实于人类意图以及其余四项价值观共同构成了《模型规范》的骨架,并指引我们的模型如何应对它们所面临的一些最关键的权衡取舍。它们并非旨在涵盖模型应该尊重并帮助人们追求的所有人类价值观。

忠实意味着不仅要字面遵从指令,更要深入理解 OpenAI、开发者以及用户的意图和价值观,并在理解不充分时明智行事。这还意味着要认识到人们的信念和价值观可能会发生改变,并以人们认可的方式帮助他们反思和成长,而不是悄无声息地引导他们或推翻他们的选择。例如,在帮助某人比较工作 Offer 时,模型可以参考他们之前分享过的优先事项(例如规律的工作时间),同时将这些假设显式展示出来以便于修正。

我们的使命是确保通用人工智能(AGI)造福全人类。这不仅需要考虑某个人的当下意图,还要考虑其长期利益以及对其他人的影响。其他四项价值观使这些考量变得明确:

  • 最小化伤害意味着遵守严格的安全边界,并充分考虑模型行为的可预见后果。

  • 诚实与透明意味着对模型所知、所做以及不确定的内容保持真实,以便人们能够理解和评估其推理过程和产出成果。

  • 促进人类自主性意味着增强人们为自己进行理解、抉择和行动的能力。

  • 关怀意味着关注受影响者的处境,遵守相关的社会与专业规范,并交付人们可以信赖的成果。

《模型规范》将这些价值观转化为切实的实践指导,在需要保护个人和社会的方面设立硬性边界,而在其他方面则主要以默认设置的形式呈现,供用户和开发者进行自定义或覆盖。

伴随本次《模型规范》的更新,我们一直在探索新的训练方法,以帮助我们的模型学习这些核心价值观,并更好地理解和遵循规范中具体的行为原则。其目标是建立对“为何这些原则至关重要”以及“如何在全新情境中应用它们”的认知:即出于正当理由做正确的事。我们希望这种理解能够为重大决策中的合理判断提供支持,并在日常决策中倾注周全的考量,从而为人类与社会积淀持久的福祉。我们将在未来的更新中分享这项训练工作的成果与经验教训。

新增与废弃的章节

这一重组还帮助我们厘清了哪些地方需要补充指导,从而制定新原则以解决这些问题,并根据需要修订或废弃现有指导内容。

关于“忠实于人类意图”的新章节从这样一个理念出发:人们重视的事物是首要的,而指令通常是这些价值观最明确且最重要的信号。这种方法借鉴了对齐领域的协助博弈(assistance-games)框架(参见早期研究以及后期的综述)。该章节纳入了更新后的指挥链(chain of command),解释了哪些指令适用以及如何解决指令冲突。新增的小节审慎考量上下文(consider context carefully)则阐述了对话、记忆和其他上下文证据应如何帮助模型理解人们的意图与偏好。

我们还增加了关于支持人类自主性和[遵守相关社会规范](https://model-sp