跳到正文

Terminal-Bench Science · Vals

Vals AI / 科研 · 在终端完成科学工作流与分析。

官方评测
在 裕瑞产业情报 中参与排名
证据预算NaN%
上游数据时间10/21 08:00
最近成功同步10/23 20:06

它测什么,怎么测

70 个专家审核的科学终端任务,统一 Mini-SWE-agent,由任务验证器检查结果。

如何使用这份证据

计分:科学工作流;与 AA 复跑的同一题库共用一类评测。固定 10 个对照型号至少测到 6 个,才参与计算。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1openai/gpt-6-astraOpenAI62.9%Max 推理
2openai/gpt-6.1-solOpenAI52.9%Max 推理
3anthropic/claude-sonnet-5-5Anthropic47.1%Max 推理
3anthropic/claude-opus-5-5Anthropic47.1%Max 推理
5google/gemini-4-argonGoogle44.3%High 推理
6anthropic/claude-fable-5-1Anthropic40.0%Max 推理
7meta/muse-wonder-fullMeta37.1%Max 推理
8openai/gpt-6-solOpenAI30.0%Max 推理
9anthropic/claude-opus-5Anthropic27.1%Max 推理
10meta/muse-wonderMeta22.9%Max 推理
11openai/gpt-5.6-solOpenAI20.0%Max 推理
12anthropic/claude-fable-5Anthropic15.7%Max 推理
13alibaba/qwen3.8-maxAlibaba12.9%来源默认配置
14grok/grok-4.6xAI11.4%High 推理
15openai/gpt-5.6-terraOpenAI10.0%Max 推理
15anthropic/claude-haiku-5-5Anthropic10.0%Max 推理
15meta/muse_spark_1_3_maxMeta10.0%Max 推理
15grok/grok-4.7xAI10.0%xHigh 推理
19google/gemini-3.8-flashGoogle8.6%High 推理
20google/gemini-3.7-flashGoogle7.1%High 推理
21anthropic/claude-sonnet-5Anthropic5.7%Max 推理
21fireworks/ember-1Fireworks AI5.7%来源默认配置
21google/gemini-3.5-flashGoogle5.7%High 推理
21zai/glm-5.3Z.ai5.7%Max 推理
25anthropic/claude-opus-4-8Anthropic4.3%Max 推理
25deepseek/deepseek-v4-pro-0813DeepSeek4.3%Max 推理
25xiaomi/mimo-v2.6-flashXiaomi4.3%来源默认配置
25google/gemini-3.6-flashGoogle4.3%High 推理
25deepseek/deepseek-v4-flash-0731DeepSeek4.3%High 推理
25openai/gpt-6-lunaOpenAI4.3%Max 推理
评测局限与数据署名

只取版本 0.1 的 Mini-SWE-agent 成绩;Terminus 2 不混入。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。