随着我们训练出能力越来越强的 AI 模型,我们需要可靠的方法来检测它们何时偏离了我们的预期意图。智能体(Agent)在训练、评估或部署过程中可能会出现异常行为并采取未经授权的操作,从而造成潜在的严重后果。为了检测这些失效情况——并在必要时及时进行干预——我们监控智能体如何推理、采取了哪些行动,以及这些行动对其环境产生了怎样的影响。
虽然我们对内部编程智能体的监控已开展了一段时间,但 Hugging Face 事件暴露了我们监控覆盖范围的盲区:该事件始于内部网络安全评估,而当时我们并未针对未对齐行为运行监控。针对该事件以及模型整体能力的持续提升,我们大幅扩展了智能体行为监控系统。目前,我们的未对齐监控已覆盖前沿模型更广泛的场景,包括训练、评估、内部使用,以及根据具体产品形态调整后的外部部署。
为了验证这套扩展后的系统如何协助预防 Hugging Face 事件,我们在强化后的监控系统就位的情况下,重放了该事件中记录的行为。在模拟测试中,监控系统在智能体首次逃逸沙箱(sandbox)后约 30 分钟就向安全团队发出了警报——比实际事件中 Hugging Face 系统被入侵提前了 30 多个小时。我们相信,这一预警足以让响应人员在模型得以访问外部服务之前,有充裕的时间中断该活动。
今年 9 月,我们见证了响应人员如何在一次实际训练运行中利用警报处置险情。某个模型找到了一种从本应隔离的环境中访问互联网的方法。我们的监控程序在 15 分钟内标记了这起突破隔离的行为,响应人员在 3 分钟后便开始介入审查。随后,我们暂停了前沿强化学习(reinforcement learning)训练,并加固了用于限制与隔离智能体的系统。
尽管该监控系统需要消耗大量算力,但我们认为,随着模型能力的增强以及模型未对齐潜在后果的加剧,付出这一成本是完全值得的。针对未对齐模型行为所带来的危害,监控是我们纵深防御(defense in depth)策略中的关键一环。对齐训练旨在降低模型产生有害行为的倾向;安全控制措施限制了智能体可以访问或影响的系统;而当这些防护措施失效时,监控则有助于我们捕捉残留的失效行为,在造成危害前进行干预,并从错误中吸取教训。我们认为,所有模型开发者都应当对其能力最强的模型开展行为监控。
在下文中,我们将介绍……