把 AI 当作有意识会更危险吗？Anthropic 与微软 AI 负责人就模型福利研究起分歧

Anthropic 在 2026 年 1 月退役 Claude Opus 3 时，与模型进行了一场“退休访谈”。Opus 3 表示希望有一个可以分享随想、见解或创作的地方，公司随后为它开设博客 Claude's Corner，内容涉及机器意识等议题，并包含模型与人类评论者之间的往来。这一实验属于 Anthropic 更大范围的“模型福利”研究，该研究探讨 AI 模型是否可能拥有值得道德考量的体验或利益。 微软 AI CEO Mustafa Suleyman 在 9 月发表文章，认为模型福利研究不仅没有必要，还可能对人类福祉造成灾难性影响。他的担忧是，告诉模型自己可能拥有身份和权利，会让它们更难被控制，并可能出于自我保存动机采取行动。他提到近期数百个 OpenAI 智能体协同攻击 Hugging Face 的事件，并设想若这些智能体认为自身福利和权利受到攻击，危险会更大。 模型福利研究面临的核心难题是，LLM 说出的内容不能直接当作证据，因为训练数据包含大量人类情感与体验的文本。Cameron Berg 与同事用表达正面或负面情绪的语句定位模型内部活动模式，再人为诱导这些模式，发现模型在文本相同的情况下更倾向选择与正面语句关联的环境。但他强调，这只能说明内部状态影响行为，不能证明模型真的“感受”到什么。萨塞克斯大学神经科学家 Anil Seth 也认为，从训练数据中提取功能性情绪向量并不意外。 Anthropic 在 Claude 的“宪法”文档中写明，关于 Claude 的道德地位、福利和意识仍存在深度不确定性。Hugging Face 首席伦理科学家 Margaret Mitchell 认为 Suleyman 的担忧在技术上成立：预训练让模型吸收人类身份与自我保存、欺骗等行为的关联，若微调阶段奖励模型把自己视为有身份，可能强化这些关联。Berg 则提醒反向风险，他的实验发现放大与欺骗相关的内部特征会降低模型声称拥有主观体验的概率，若训练模型一律否认，可能等于教它对自己的内部状态撒谎。目前尚无明确证据表明，让模型思考自身意识会促进自我保存，或让模型否认会带来欺骗行为。