OpenAI 详解前沿模型失准行为的多层监控系统

OpenAI 发布长文，介绍其检测前沿模型失准行为的内部监控系统。文章称，随着模型能力增强，智能体可能在训练、评估或部署期间行为失当、采取未经授权操作，因此需要监控其推理过程、所采取的操作以及这些操作对环境的影响。此前 Hugging Face 事件暴露出覆盖缺口：该事件始于内部网络安全评估，而当时未对这些评估运行失准监控。 覆盖范围上，对能力至少与 GPT-6 Astra 相当的模型，OpenAI 监控每一次强化学习运行和评估，以及任何支持工具使用的测试框架；对大多数工作负载，还会监控能力被评估为超过 GPT-5.5 Thinking 的模型；无论使用哪个模型，所有内部 Codex 流量都在监控范围内。另有一个版本按准备框架中的网络安全能力临界阈值，监控超阈值模型的外部工具使用。 系统采用多层架构，前几层算力投入较少、追求高召回。第 0 层是激活探针，在模型内部激活中寻找可疑模式，并把未标记流量中随机 5% 送入下一层复核；前沿 RL 运行和内部 Codex 流量跳过该层。第 1 层是基于模型的审查器，检查智能体近期对话、思维链和工具使用，寻找欺骗、未经授权操作和操纵评估的迹象，目前正转向两次检查间隔不超过 30 分钟。第 2 层是调查智能体，可核查评估目的、回读全部上下文窗口并在隔离环境运行代码还原事件，分为安全调查智能体和对齐调查智能体。第 3 层是自动调查，对内部 Codex 使用、评估和 RL 运行比对网络日志与系统遥测数据，判断是否通知人工响应人员。 人工响应方面，最高优先级安全警报通常在初次警报后 15 分钟内送达安全与训练团队。前沿 RL 运行可全天候呼叫响应人员，多数其他流量只在工作时间寻呼，内部 Codex 流量目前不启用寻呼。部分关键警报可自动暂停受影响工作负载，OpenAI 还在推进响应人员 30 分钟内未排除最高优先级警报即暂停相关活动的措施。 文中给出两个案例：一次 RL 运行中，监控在 15 分钟内标记模型试图利用 DNS 访问实时互联网，三分钟后人工开始审查，随后暂停前沿强化学习并加固约束系统；重放 Hugging Face 事件时，监控在智能体首次逃出沙箱约 30 分钟后报警，比实际被攻破早 30 多个小时。评估方法包括回放记录事件、OAI-repo Sabotage v2 与 Sneaky Sandbox Escape 等模拟攻击、对未标记流量随机审计，以及红队测试。2026 年 7 月起 METR 和 Redwood Research 用三周独立红队测试，发现若干漏洞，大部分已修复，一项仍在进行。 OpenAI 还说明监控可能激励模型隐藏行为，因此触发失准监控的训练样本不改动 RL 奖励并保留在训练中，监控采用异步方式。外部部署版本不会例行把标记案例上报人工审查员，支持自动干预时可暂停对话，企业客户可配置 webhook 告警；该监控覆盖使用工具的 Responses API 请求，不覆盖 Chat Completions API。