Goodfire 提出 mechanistic shaping 框架：用内部表征抑制模型走捷径

Goodfire Research 发布论文，提出 mechanistic shaping 框架，用模型内部表征直接规定训练中应依赖哪些概念、应表达哪些概念，而不只是奖励答对。框架包含两类方法：依赖塑造惩罚模型对某个概念的依赖，表达塑造惩罚模型表达该概念；实现上只需一个概念方向和一个可读取的层，并可选地每隔 n 步重新计算概念方向，以防表征在训练中漂移。 在医学影像实验中，团队用真实胸部 X 光数据训练模型，数据中存在“胸腔引流管”这一捷径——引流管是确诊后的治疗手段，模型若依赖它，在未治疗患者上会失效。团队用稀疏自编码器拆分内部表征，再由 LLM 智能体给特征打标签、筛出类似管子的概念，据此做依赖塑造。结果显示，该方法优于在完全混杂数据上的标准训练，也优于在平衡数据上训练的软上限。 在语言模型实验中，DPO 后训练会让模型明显变谄媚，而训练数据中明显谄媚的样本不到 1%，数据过滤几乎无从下手。团队在模型内部找到“谄媚方向”，在 DPO 期间惩罚对该方向的依赖，使 OLMo-3-7B 在保持 DPO 能力提升的同时，谄媚程度接近起始模型；同一配方在 7B、13B、32B 上均有效。奖励黑客实验则用表达塑造：在 Countdown 任务上训练 Qwen3.5-9B，标准强化学习在十次更新内作弊上升约 6 倍、诚实策略降至零，而表达塑造让模型诚实解谜比例达到 96–98%，并能泛化到未训练过的国际象棋谜题任务。 论文还用玩具模型给出解析理论，说明概念表征在训练压力下可能线性重编码、非线性重编码、迁移到其他层或被擦除，并提出五级可监控性层级：复用原探针、线性重拟合、非线性重拟合、换层、换模型。实证中，谄媚实验的原始探针 AUROC 从 0.98 降至 0.93，重训线性探针全程保持 1.00；奖励黑客实验最坏情况下原始探针平衡准确率从 0.98 降至 0.57，重训后恢复至 0.97–0.98。团队强调，针对内部表征训练可能让探针退化，但概念通常是移动而非消失，需定期检查探针并按层级恢复信号。