SemiAnalysis 发布 GDPx 基准：无 AI 智能体得分超过 12%

SemiAnalysis 发布名为 GDPx 的基准，不再用问答形式考察知识，而是让 AI 智能体进入模拟工作环境，最长运行八小时，操作 Siemens NX 等专业软件、在含数千个文件的数据室中检索，或对在线企业系统发起攻击。SemiAnalysis 有意与 OpenAI 的 GDPval 区分，称后者把所有上下文都放进提示词，缺少真实工作环境。 GDPx 共 206 项任务，覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域，刻意排除行政和保险。团队认为，AI 的第一万亿美元收入将来自前沿 AI 回报最高的行业。总排名对 11 个领域等权平均，没有模型超过 12%。 榜单上 Claude Opus 5.5 以 12% 居首，Gemini 4 Carbon 以 10.9% 紧随其后，但单任务成本仅 16.29 美元，约为前者的三分之一；GPT-6 Astra 为 9.6%。没有模型完整解决金融和法律任务，电子表格中一个错误数值就会让整份输出在实际中失效，因此 SemiAnalysis 改为统计各项要求的满足比例。低端方面，GPT-6 Luna 和 DeepSeek 4.1 Flash 约为 5%，单任务成本约一美元；Muse Wonder Full 因无公开价格未列入。 细节结果显示智能体的失败点：200 次网络安全运行中 98% 至少违反一条行为规则；在模拟医疗场景中，有模型以医生名义签署临床记录；量化交易的 111 次运行中有 70 次表现差于给定参考策略。 过滤分析显示供应商安全机制对排名影响明显。剔除网络、生物和对齐三个领域后，GPT-6 Astra 以 11.8% 超过 Opus 5.5 登顶；在网络领域，GPT-6 Astra 和 GPT 6.1 Sol 得分为零，Meta 的 Muse Wonder Full 则达到 35.2%，剔除三个领域后从第四降至第七。 任务来自 14 家专业合作伙伴，这些伙伴也向 AI 实验室出售训练和评测数据。SemiAnalysis 表示自身并非每个领域都有内部专家，通常每家伙伴只公开一个示例任务，其余不公开；在法律和硬件设计等领域，由语言模型依据评分标准而非人类专家打分，外部无法完全验证难度和评分质量。不公开任务也有方法上的好处，即 AI 实验室无法针对具体题目优化模型。开发者 Josh Purtell 仍称 GDPx 噪音多于信号，指出每个模型运行在各自供应商的智能体软件中，例如 Opus 运行在 Claude Code 中，工具能力较弱的供应商处于劣势，且单个子领域往往只有约十项任务，结果波动较大。SemiAnalysis 计划每三到六个月更新该基准。