Control Room:用于跟踪并中止研究基础设施中模型工作负载的中央系统
随着我们的模型日益强大,相关的安全与安保(safety and security)风险也随之增加,因此能够发现潜在问题并在必要时迅速阻止模型运行变得愈发关键。为此,我们构建了 Control Room。
Control Room 是一个中央系统,用于跟踪我们整个研究基础设施中的模型工作负载(workloads),并在出现安全或安保隐患时迅速将其叫停。它连接了每一个研究推理工作负载,包括用于模型训练与评估的智能体采样(agentic sampling)、数据处理等。该系统与我们的对齐异常监控系统(misalignment monitoring systems)协同工作,并能在做出干预决定后的 35 秒内中止或暂停作业的模型输出。它的架构确保了即使其他系统发生故障仍能维持运转,且若 Control Room 自身发生宕机,也会自动停止模型输出。
Control Room 已部署在需求最为迫切的整个研究基础设施中。相比之下,我们的外部模型服务技术栈(external model-serving stack)在本质上更加集中化,并且具备成熟的运营能力,可在必要时快速下线模型部署。
工作原理
Control Room 通过整合以下几个系统进行工作:工作负载(workload)、**推理引擎(inference engine)**以及集中的 Control Room 服务。
-
工作负载是正在运行的作业(job),例如强化学习实验、评测、大规模采样或数据处理作业。我们要求所有执行智能体推理(agentic inference)的研究工作负载都必须关联一份经批准的安全案例(safety case)。
-
推理引擎(或简称为引擎)即模型本身。你可以将引擎视为直接运行在 GPU 上的模型大脑。一个工作负载通常会使用一个或多个模型,这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎也可能被多个不同的工作负载共用。
-
Control Room 服务负责跟踪作业,并控制是否允许它们继续生成模型输出。引擎在响应请求前会向 Control Room 服务进行校验。如果某个作业已被中止,该服务将拒绝请求,从而阻止进一步的输出。
Control Room 的集成方式如下:
-
启动新作业时,工作负载代码会向 Control Room 请求一个新的
job_id。 -
每当工作负载需要从模型中采样 Token 时,它会向运行该模型的推理引擎发起请求,并附带
job_id。引擎随后向 Control Room 请求处理该请求的权限,并将job_id传递给 Control Room。 -
Control Room 检查该作业是否已被终止;如果是,则拒绝该推理请求。引擎随即向工作负载的推理请求返回拒绝响应,从而停止为该作业生成进一步的模型输出。
Control Room 运作流程
研究作业(Research job)
<尚未获取 job ID>job_042
推理引擎(Inference engine)
在 GPU 上运行模型
Control Room
- job_039,活动中(active)
job_039 - job_040,活动中(active)
job_040 - job_041,活动中(active)
job_041 - job_042,活动中(active)
job_042
步骤 1:研究员决定启动作业
流程始于研究员发起一项作业——例如实验或评测。
作业启动
作业代码(或工作负载代码)由研究员拥有并运行。推理引擎可能会作为该作业的一部分启动,或者可能已有未与任何特定作业关联的独立引擎在运行。
作业向 Control Room 注册
工作负载代码请求一个作业 ID,将该作业与经批准的安全案例相关联。作业自身会发出这一请求。
Control Room 返回作业 ID
Control Room 记录该作业并返回其标识符。工作负载将在其推理请求中附带该 ID。
作业向推理引擎请求模型输出
该请求包含 job_id。此请求由工作负载代码直接发起,不经过 Control Room。
引擎检查权限
在处理请求之前,推理引擎会向 Control Room 询问该作业是否仍获授权运行。
Control Room 允许请求
由于该作业仍获授权,Control Room 授予权限。推理引擎现在可以响应该请求。
引擎返回模型输出
模型生成响应,引擎将其发回给研究作业。作业可以使用该输出并继续其工作。
某些事件触发中止作业的决定
人工或监控系统指示 Control Room 中止此作业。Control Room 将其 ID 标记为已停止。工作负载代码仍保持运行。
作业仍可能尝试采样模型输出
我们不依赖工作负载代码本身来正确执行“检查作业是否仍在运行”的判断。
引擎再次检查权限
引擎向 Control Room 请求处理新推理请求的权限,并传入相同的作业 ID。
下一次授权被拒绝
当引擎再次检查权限时,Control Room 拒绝已中止的作业。引擎必须拒绝该推理请求。
模型输出停止——作业保持存活
引擎返回拒绝响应而非模型输出。研究进程可能仍保持存活,引擎也仍可供其他已获授权的作业使用。
示例:对监控告警做出反应
我们所有的前沿强化学习作业都在监控器(monitor)的监管下运行。监控器是另一个模型,它会检查正在受训的模型所做的一切,并在检测到问题时发出告警。例如,我们近期发生的与 DNS 相关的安全事件就是被监控器捕获的。
Control Room 与我们的监控系统集成方式如下:
-
如果监控系统检测到潜在问题,将根据具体细节和严重程度,决定是否中止该作业。
-
在这种情况下,监控系统会向 Control Room 发送消息以中止作业,并附带
job_id。Control Room 记录该作业已被终止。 -
下一次具有该
job_id的作业向运行在任何引擎上的任何模型发起推理请求以采样更多 Token 时,该请求都将被拒绝,从而阻止进一步的模型输出。
速度与可靠性
从 Control Room 收到中止作业的指令,到彻底无法继续进行作业之间的最大时间差为 35 秒。这 35 秒的延迟源于推理授权的缓存层,用于支撑所需的高流量并发。我们