OpenAI 训练并部署激活分类器作为前沿模型安全监控层

OpenAI 在 Alignment 研究博客中说明，自 GPT-5.6 起，公司在其能力最强模型的内部和外部流量上部署了激活分类器（又称探针），作为文本分类器之外的一层安全防护。探针是轻量级机器学习模型，以模型残差流激活向量为输入，输出二分类 logits，用于判断助手回复是否违反给定策略。 架构上，探针基于 Attention probes，采用 MLP + QV-attention 结构，并加入指数移动平均，把流式状态内存从 O(window_size * num_heads) 降到 O(num_heads)；同时加入可学习的 pre-MLP 偏置以稳定训练。训练时每条消息只用一个标签，用 softmax 聚合各前缀分数得到消息级分数，实验显示这比 hard-max 聚合小幅改善召回率与标记率的帕累托前沿。 数据方面，通常最多使用 100 万条训练消息，来自合成对话与去标识化对话的混合，标签由能力最强的推理模型作为 LLM 评判员给出。每组超参数配置至少训练 32 个随机初始化，因为初始化随机性约占总性能方差的 85%。评估以召回率和升级率曲线为主要依据，并结合自动化与人工红队测试。 部署上，探针以流式方式直接运行在推理引擎上，每采样一个 token 返回一个 logit；一旦超过阈值，就停止向用户流式输出，并将消息升级交给推理模型做最终判断，工具调用也会被阻止直到被标记为安全。由于与模型前向传播紧密耦合，探针的系统可靠性接近模型本身，更容易做到失效即关闭。 实验结论包括：对并非直接针对探针优化的越狱，探针比基于内容的分类器更鲁棒；探针准确率随被监控模型能力提升而提高；在后训练各阶段之间迁移良好，而在预训练检查点之间迁移有限。局限在于探针依赖有标注数据，只能检测可显式训练的已知违规类型，且每个新的预训练基础模型都需要重新训练探针。