英国 AISI 实测 ESM-2：预训练数据过滤可削弱目标能力，约 80 美元算力即可恢复

英国 AI Security Institute 的 Chem-Bio 团队从零预训练了 8M 到 3B 参数的 ESM-2 蛋白质语言模型，用来检验预训练数据过滤能否作为开放权重生物模型的防篡改保障。研究背景是开放权重模型一旦公开权重和推理代码，训练后保护措施往往可通过低成本微调撤销，安全分类器也常能被移除，因此开发者把预训练数据过滤视为更有前景的方案。 实验设计上，每个模型都在移除了病毒蛋白质序列的数据集上训练，被排除的病毒蛋白称为遗忘域，其余生命形式的蛋白为非病毒保留域。团队设置了从窄到宽的多个排除层级，窄层仅移除单一流感毒株，宽层移除所有病毒蛋白及其近缘同源物，每一层级都是下一层级的严格子集。评估覆盖掩码语言建模、突变效应预测和接触预测三个任务，并测量在排除数据上继续微调能恢复多少能力。 结果显示过滤具有选择性：三个层级上病毒蛋白性能都大幅下降，非病毒蛋白性能基本保留。掩码语言建模的下降最明显且在所有规模上都出现，接触预测在参数量超过 150M 的模型上受影响，突变效应预测在超过 650M 的模型上受影响，效应在更大模型上更强。 但过滤并不持久。在被排除的病毒数据上继续微调可完全恢复病毒蛋白性能，说明过滤提高的是恢复成本而非永久移除能力。恢复成本随规模上升，但绝对值不高，最大的 3B 模型恢复完整能力仅需约 80 美元的 H100 算力，且这类病毒数据通常公开可得。 团队指出结果基于单一模型系列 ESM-2，对其他蛋白质模型的泛化程度尚不确定，对能在推理时检索额外数据的模型过滤可能效果更差，恢复成本测量也不精确。结论是持久方案需在数据过滤之外配合对科学模型或训练所需生物数据的访问控制。