跳到正文
The Decoder · AI· Matthias Bastian·· 5 小时前AI 评分58

斯坦福研究:50条被广泛引用的LLM结论中44%已失效

Rapid LLM development is outrunning the research meant to explain it, study finds

AI 导读

斯坦福研究者Owen Queen与James Zou用8家开发商在2024年7月至2026年9月间发布的20个模型,复测50条被广泛引用的LLM结论,发现44%已失效,另有34%明显减弱,仅16%仍成立、6%反而增强。在有预估失效时间的22条结论中,平均寿命仅15.7个月;一年后16%失效,两年后升至39%。关于模型“做不到什么”的结论失效最快,9条推理相关结论中5条已失效,且无一保持或增强。

来源:The Decoder · AI · the-decoder.com