The Decoder · AI· Jonathan Kemper·· 4 小时前AI 评分38
前 DeepMind 研究员称 AlphaGo 思路可治 AI 幻觉,创办 Metis Reasoning
Former Deepmind researcher thinks AlphaGo's playbook can cure AI hallucinations
AI 导读
前 DeepMind 研究员 Thore Graepel 创办 Metis Reasoning,提出用 AlphaGo 式搜索加显式“知识账本”替代把知识烧进模型权重,以减少幻觉并让结论可核验。该方案目前只是白皮书,无可用系统、无 benchmark,也未与现有推理模型对比。团队称分步推理还可让更小模型跑在边缘设备和机器人上。
深度导读
前 DeepMind 研究员 Thore Graepel 在柏林 Nvidia GTC 大会上介绍了其新公司 Metis Reasoning 的技术路线:把 AlphaGo 的“预测网络 + 系统化搜索”结构搬到通用推理上,用一个显式的“知识账本”充当棋盘,记录系统已知什么、置信度多高、还有哪些问题悬而未决。
按 Metis 的说法,今天的语言模型只相当于 AlphaGo 的预测网络,负责给出可能的“落子”;AlphaGo 之所以能下出著名的第 37 手,是因为它在这之外还做了系统化搜索。Metis 希望把这种搜索引入通用推理:一个独立模块用计算、形式化证明或实证证据校验新增条目,一旦某个假设被推翻,依赖它的所有结论都要重新评估。系统每一步“落子”可以是一个问题、一次实验或对既有假设的挑战,优先选择最能降低原问题不确定性的那一步,最终给出答案或有理有据的弃答。
与已有思路相比,微软的 GraphRAG 把知识组织在模型权重之外的知识图谱里,Google 的 AlphaGeometry2 用语言模型搭配符号引擎验证数学证明,Metis 想把这类原则扩展到现实世界的开放问题。其架构中两个神经网络负责提议和评估,训练数据来自既往调查日志,但无权推翻校验规则。公司称这套设计应能减少幻觉、给出带来源引用的解释,并让知识可以修改或删除而无需重新训练;由于推理被拆成小步,也更适合跑在边缘设备和机器人上的小模型。
Metis 在论文中批评现有路线:更多数据和算力能提升语言模型,却解决不了编造答案、推理链不可验证、知识锁死在权重里这三个根本问题;幻觉源于训练过程本身,因为模型学的是生成“像真的”文本而非真实文本。论文还称,这正是 AI 迄今经济影响有限的原因——智能体替企业行动时,错误难以溯源,错误知识也无法从模型中移除;软件工程之所以先跑通,是因为代码容易测试和回滚,而医疗、金融、芯片设计和机器人需要从底层就可验证。
需要强调的是,这份白皮书只描述了一个研究计划,没有可用系统、没有 benchmark,也没有与当前推理模型的对比。团队承认现实世界不像围棋那样信息完备,证据获取成本高昂,有些问题根本没有答案;最大的未解难题是,在教科书案例之外的杂乱领域,经过验证的知识账本究竟如何成形——符号主义 AI 当年失败,恰恰因为所有知识都要手工录入。
Graepel 2001 年在柏林获得机器学习博士学位,在微软研究院参与构建了 Xbox Live 背后的 TrueSkill 匹配系统,后加入 DeepMind 参与 AlphaGo、AlphaZero 和 MuZero,此后任职 Altos Labs,最近在 Google DeepMind 的后 AGI 团队工作,并于今年夏天离开,同时持有伦敦大学学院机器学习教席。据 Bloomberg 报道,他正为 Metis 募集数千万美元级别(low tens of millions)的融资,更高估值的新一轮数亿美元 follow-on 已在筹备中。他是 DeepMind 知名成果架构师中最新一位走出 Google 创业的人:David Silver 创办 Ineffable Intelligence 并拿下欧洲初创公司最大种子轮,Tim Rocktäschel 联合创办的 Recursive 估值已达 46.5 亿美元;也有人直接去了竞争对手,据 Financial Times 报道 DeepMind 解散了 AlphaFold 团队,诺贝尔奖得主 John Jumper 与两位同事转投 Anthropic。CNBC 将人才流失部分归因于内部获取 Google TPU 芯片受限与官僚流程,同时 DeepMind 自身正在失去独立性,创始人 Demis Hassabis 已从日常运营中退后。
来源:The Decoder · AI · the-decoder.com