跳到正文
热点事件持续更新

OpenAI 部署激活分类器监控模型输出

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI 自 GPT-5.6 起在能力最强模型的内部和外部流量上部署激活分类器(探针),作为安全防护的额外一层。该探针读取模型内部激活值,逐 token 实时评分,可在生成中途阻断违规回复和工具调用,并交由推理模型复审。OpenAI 称探针是对其他安全措施的补充而非替代。 OpenAI 称实验显示,探针比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好。限制在于:探针依赖被监控模型的激活值,新基础模型需重新训练,模型权重变化时可能也需重训;且只能检测可显式训练的已知违规类型。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AI 动态聚合
    OpenAI 训练并部署激活分类器作为前沿模型安全监控层

    OpenAI 自 GPT-5.6 起在其能力最强模型的内部和外部流量上部署激活分类器(探针),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示探针比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好,但需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。