Epoch AI 用内部真实任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均仅得 65%

Epoch AI 发布 Epoch Automation Reports，把机构内部定期执行的真实工作任务纳入评测，例如平面设计和研究项目规划，并按评估人类员工的同等标准来给 AI 打分。这套方法比多数标准基准更费功夫，但更贴近真实工作：任务要求模型收集上下文、使用工具，并处理 Epoch 员工面对的复杂性。 结果显示，领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%，即产出满足了人类员工评分标准中 65% 的条目。Epoch 强调 100% 才意味着任务可以放心自动化，65% 仍意味着任务失败，人类提交这样的产出会被拒绝或修改。 分数结构上，AI 更容易在较简单的评分条目上得分。例如它能生成有前景的研究方向，但在设计可执行实验上举步维艰。在一项试点实验中，GPT-6 Astra 为被评估模型设置的 token 预算过低，导致 22% 的运行没有返回答案，却把失败当作关于模型能力的关键发现而非设置缺陷。 任务类型差异明显：AI 在编码、数据分析等定义明确的任务上表现更好，在从示例中归纳模式、涉及判断的开放式任务上更差。在图表设计任务中，Fable 5.1 拿到大量 Epoch 风格示例后仍生成了一张信息过载、杂乱无章的图表，而 Epoch 设计师在同样任务下给出简洁清晰的图表。 Epoch 认为这为 AI 经济影响滞后提供了一种解释：65% 还不够，产出虽有帮助，但仍需人类逐项评估和修正。目前已有基础图表生成任务因 Fable 5.1 多数情况下一次尝试即可生成可接受图表而被移出评测，该步骤已在 Epoch 日常工作中部分自动化。