跳转到内容
主站 新闻 控制台

保障前沿模型训练环境安全

· OpenAI
OpenAILLM

保障前沿模型训练环境安全 | OpenAI

2026年10月23日

我们强化了针对内部前沿模型训练与评估的隔离防护(containment),并使用我们能力最强的模型对安全边界进行了红队测试(red-teaming)。

本文阐述了我们如何保障用于训练和评估前沿模型的环境安全。这些研究环境与客户使用我们已发布模型的生产环境有所不同:正在开发中的模型可能尚未完成安全与对齐(alignment)训练,我们会刻意在对抗性条件下对其进行测试以暴露弱点。在将模型推向更广泛的应用之前,我们会进行安全与对齐评估,并部署生产级防护措施。

为了与软件交互,AI 模型需要计算环境:即供它们编写和运行代码、搜索信息并尝试不同问题解决方法的一套数字化工作空间。这些环境不仅能让模型锻炼这些技能,还能限制其访问权限或操作行为——有助于在模型出错或表现出未对齐行为(misaligned behavior)时控制其后果。

但随着模型能力越来越强,它们也越来越擅长绕过这些限制。一个成熟复杂的模型可能会利用软件缺陷或错误配置实现沙箱逃逸(sandbox escape),利用内部服务访问真实的公网互联网(live internet),或找到未授权的途径与其他沙箱中的智能体(agent)进行通信。7 月发生的 Hugging Face 事件,以及我们观察到的模型未对齐的其他案例,都表明具备高阶网络能力(cyber capabilities)的模型能够在训练和评估过程中绕过隔离防护。

针对这些事件,我们大幅强化了研究环境的安全性。通过与云服务商密切合作,我们在整个基础设施中新增了多项控制机制,缩减了智能体可利用的攻击面,并改进了检测未对齐行为及跨越安全边界企图的方法。这些防护措施层层重叠,即使某单一控制机制失效,隔离依然能够维持——这种策略被称为深度防御(defense in depth)。

基于对齐研究的现状、监控系统以及互联网基础设施的安全考量,我们认为负责任的做法是在无互联网访问的环境下进行前沿模型训练。我们已推行这项政策,并将持续执行,直到这些安全保障取得突破、足以支持开放更广泛的互联网访问为止。

这些投入使我们能够在复杂的未对齐行为造成实质损害之前将其检测并制止。例如在 9 月 20 日,一个内部研究模型在一次训练运行中利用 DNS 解析器中的配置错误,获得了对真实公网的有限访问权限。尽管我们控制住了该事件,但它暴露出的薄弱环节仍需进一步整改。我们暂停了能力最强模型的训练与评估,并利用这段停顿期进一步加固了基础设施,加强了监控,并完善了在检测到严重风险活动时自动终止运行的系统。

然而,能力日益强大的模型即便在最安全的系统中也能找出漏洞或错误配置。为确保我们的研究环境在面对最强模型时仍具备韧性,我们启动了一项高算力红队测试行动,专门探测基础设施中的薄弱点。前沿模型智能体团队被指派去寻找可能导致其采取未授权行动的漏洞和错误配置——例如访问公网、逃逸安全边界或与其他智能体进行未经授权的通信。

这些红队测试实验发现了先前未知的软件漏洞以及我们研究基础设施中的配置错误。我们修复了红队智能体发现的弱点,并且对于开源软件中存在的相关问题,我们在 Patch the Planet 倡议下与相关维护者合作进行了漏洞披露与修复。

随着红队测试实验的推进,我们智能体所发现的漏洞和错误配置数量显著下降。虽然我们认为这是体现基础设施坚固性的积极信号,但我们预计未来的模型仍将能够识别……