使用 Decisions API 构建响应更敏捷的应用 | OpenAI
2026 年 10 月 22 日
为任何应用程序提供快速、专注且低成本的决策能力。
应用程序和智能体(Agent)在整个工作流中会做出许多细微决策:如何对输入进行分类、将请求路由到何处,或者接下来采取什么行动。单独来看,这些决策都很简单;但规模化之后,它们的延迟和成本就会不断累积。
今天,我们正式全面开放(GA)Decisions API。该 API 基于 GPT‑6 Luna 构建,将 Luna 的智能聚焦于具有明确限定答案的问题上,帮助应用程序和智能体根据文本、图像及结构化输入做出近乎实时的决策,其速度比通过 Responses API 调用 GPT‑6 Luna 快达 10 倍。
自公开测试(Public Beta)以来,我们增加了 GPT‑Live 原生集成、用于复用上下文的提示词缓存(Prompt Caching),以及在美国和欧盟的推理数据驻留支持。开发者还可以传入原生 JSON 输入,在问题指令中包含图像,并且每个请求最多可提出 400 个问题,是此前上限的两倍。此外,我们还在持续优化延迟,并在亚洲多个地区扩充了算力容量。
团队如何使用 Decisions API
Decisions API 的早期采用情况表明,它适用于广泛的用例。
在 OpenAI 内部,各团队正将 Decisions API 应用于产品和业务工作流中。dots 团队正利用它缩短响应时间并提高交互性;个人理财团队用它来分类交易描述;传播团队则使用 Decisions 根据主题对媒体报道进行归类,并评估其强化还是削弱了关键叙事——从而帮助识别哪些内容值得重点关注。
这些早期范例展示了快速、结构化的决策如何在多样化的用例中将接收到的信息转化为有效行动。客户对 Decisions API 的应用同样广泛,从精准归因 AI 成本,到打造更具互动性的语言学习体验。
“借助 Box Extract 和 Decisions API,我们能够对业务文档进行分类并将其路由至正确的下一步。在我们的评估中,Decisions API 在 30 个保单凭据(Certificate of Insurance)案例上的路由选择速度提升了约 5 倍,且准确率与 Responses API 相同——不仅自动化了日常工作,还能将置信度较低的案例流转给人工审核人员。”
——Biswaroop Palit,Box 平台与集成产品管理副总裁
“Decisions API 帮助我们在执行智能体生成的 rshell 命令 之前评估其风险,从而自主修复故障。与现有的前沿模型相比,它在保持相当准确率的同时,将 p95 延迟降低了 40 倍——这使得将 Decisions 置于修复行动的关键执行路径(Hot Path)中成为可能。”
——AJ Stuyvenberg,Datadog 资深工程师(Staff Engineer)
“与 GPT‑6 Luna 相比,Decisions API 在不牺牲准确率的前提下,使我们将 AI 成本归因到实际工作任务的速度提升了 4 倍,成本降低了 30%。”
——René Sultan,Ramp 研究工程师
“在 Sierra,我们在实时客户对话编排流程中使用 Decisions API 来选择正确的下一步动作。它的 p95 延迟低于 280 毫秒,速度比我们之前的方法快约 3 倍,单次调用成本降低了 90%,且客户成效未受任何影响。”
——Ajeet Grewal,Sierra 工程师
“对于语言学习者来说,时效性至关重要。在我们的测试中,GPT‑Live 集成的 Decisions API 成功将下一步动作的响应时间缩短了 90% 以上(从 1.4 秒降至 0.13 秒),创造了更具沉浸感的交互式学习体验。”
——Andrew Hsu,Speak 首席技术官(CTO)
选择应用程序所需的决策类型
使用 Decisions API 非常简单:开发者定义一个问题及其允许的答案范围,然后以文本、图像或原生 JSON 的形式提供上下文。该 API 会返回三种受支持的答案类型之一——概率(probability)、选项(choice)或评分(score),应用程序可据此确定下一步操作。多样化的答案类型使 Decisions 能够适用于各种各样的场景。
Decisions API 支持三种答案类型:
| 类型 | 适用场景 | 主要结果 |
|---|---|---|
| predicate | 评估某个条件为真的概率,例如产品是否存在肉眼可见的损坏。 | probability:条件为真的估计值,介于 0 到 1 之间。 |
| choice | 从预定义的选项中进行选择,例如智能体应继续、重试还是请求澄清。 | choice:所提供的候选值之一。响应中还包含概率和置信度。 |
| score | 按照评分细则(Rubric)中的有序等级对输入进行评级,例如损坏的严重程度。 | score:等级索引的概率加权平均值。 |
利用 Decisions API 和 GPT‑Live 构建实时语音体验
借助 GPT‑Live,你可以为语音应用带来自然、富有表现力的对话能力,并具备平滑的打断处理机制以确保对话自然流动。Decisions API 现已与 GPT‑Live 原生集成,帮助应用程序在实时对话过程中做出快速、精准的决策。例如,客户支持智能体可以决定是提出澄清问题、路由请求还是升级工单;虚拟形象(Avatar)可以在用户说话时调整面部表情,并根据用户的言辞以眨眼或微笑作出回应,营造更具互动性的体验。
以下示例演示了如何利用转录更新来选择虚拟形象的表情。你可以将此配置添加到现有 GPT‑Live 会话的 session.triggers 中:
JSON
{ "type": "decisions", "event_type": "session.input_transcript.delta", "decisions": { "questions": [{ "type": "choice", "name": "reaction", "instructions": "Choose an appropriate reaction for the ava