跳到正文
TechCrunch · AI· Russell Brandom·· 2 小时前AI 评分55

Anthropic 研究 FlashProve 系统,用密码学证明 AI 模型身份

Anthropic is working on a system to prove AI models’ identity

AI 导读

Anthropic 正在研发开源系统 FlashProve,为模型输出提供“可证明推理”的密码学证明,让用户确认回答确实来自所声称的模型。该系统要求模型方发布不暴露权重的模型指纹,验证可轻量到本地设备完成,研究团队已在 GitHub 公开技术规范与部分代码,但暂无在 Anthropic 或其他实验室部署的计划。

深度导读
Anthropic 在周二发布的博客文章中介绍,正在研发一套名为 FlashProve 的开源系统,用于验证某段输出究竟由哪个 AI 模型生成。研究团队将这一能力称为“可证明推理”,即用密码学证明给出数学层面的保证,使用户能够确认收到的回答确实来自自己以爲在使用的模型。其思路类似加密邮件签名,可抵御把一个模型伪装成另一个模型的冒名行为,即便冒名者是构建并运营该模型的实验室本身。 研究团队列举了几类应用场景:防止 AI 公司为压缩成本暗中换成更便宜的模型,或为抬高跑分换成更贵的模型;也可用于核验第三方声明,例如开发者称某软件库已由前沿网络安全模型扫描过漏洞,或企业称其商业计划已获合适模型认可。 系统运行的前提是 AI 实验室为每个发布的模型公布一份“指纹”,之后可与具体输出匹配并做密码学验证。关键在于指纹不会暴露模型权重,也就是决定模型行为、被 Anthropic 和 OpenAI 等闭源厂商视为核心资产的内部数值,因此实验室无需交出最有价值的资产即可发布指纹,使系统同样适用于商业模型。系统还按轻量化设计,验证可在本地设备上完成。 随公告一同发布的还有详细技术规范和系统各部分的可运行代码,已在 GitHub 以开源许可证公开。研究仍在进行中,目前没有在 Anthropic 或任何其他实验室部署的计划。研究者在公告中说明,这篇研究文章意在分享阶段性进展而非已完成的研究议程,公开的目的是让他人查看、取用并改进他们的工作。

来源:TechCrunch · AI · techcrunch.com