评测来源
评测来源
每个来源测什么、怎样更新、是否进入排名,都可以在这里找到。
35本轮参与排名90已审查来源与专项
排序怎么算 编程
19在终端里完成工程任务、开发应用、修补漏洞、写代码、科学计算、整套程序的迁移与重建。
参与排名Terminal-Bench 4.0 · AA在命令行环境里独立完成一整件工程任务。Artificial Analysis证据预算 NaN%
参与排名Terminal-Bench 4.0 · ValsVals 用同一套 Agent 流程给所有模型复跑 Terminal-Bench 4.0。Vals AI证据预算 NaN%
参与排名LiveBench · 编程综合Coding + Agentic Coding 两项均分,各占 50%。LiveBench证据预算 NaN%参与排名SciCode · AA把物理、化学、生物等科研问题写成能运行的计算代码。Artificial Analysis证据预算 NaN%
参与排名Code Migration把整套程序从一种语言或框架迁移到另一种。Vals AI证据预算 NaN%
参与排名ProgramBench只给可执行文件,从零重写出行为相同的程序。Vals AI证据预算 NaN%
参与排名Vibe Code Bench v1.1从需求搭建网页应用,检查实际功能。Vals AI证据预算 NaN%
参与排名Vibe Code Bench 1–100在已有应用上连续开发,同时保持旧功能。Vals AI证据预算 NaN%
参与排名CyberBench Patch v1.1修补真实开源项目的安全漏洞。Vals AI证据预算 NaN%
观察中DeepSWE v1.1在统一的编程助手环境里改仓库、修缺陷,比较的是写代码的模型本身。DataCurve证据预算 NaN%
观察中MirrorCode长时间的软件复现Epoch AI证据预算 NaN%
仅供参考TapTap Maker在真实游戏引擎里用 Lua 写出能跑起来的功能。分数由引擎执行判定,不用另一个模型打分。TapTap Maker证据预算 NaN%
- H仅供参考Terminal-Bench 4保留模型搭配不同 Agent 在终端任务中的原始成绩,供交叉核对。Harbor / Terminal-Bench证据预算 NaN%
- S观察中Hyper-τ-bench根据业务资料构建并测试能工作的客户服务代理。Sierra证据预算 NaN%
- N观察中SWE-rebench持续收集真实仓库问题,比较模型在多种编程语言中的软件修复能力。Nebius证据预算 NaN%
- T观察中LHTB在较长时间内持续使用终端,完成复杂工程与工具任务。Tencent HY / Lehigh 等证据预算 NaN%
- C观察中FrontierCode真实仓库任务的质量、测试与修改范围Cognition证据预算 NaN%
- P观察中FrontierSWE v2长时间运行的工程实现与研究任务Proximal Labs证据预算 NaN%
- W观察中WeirdML在陌生数据上实现机器学习方案WeirdML证据预算 NaN%
科研
17专家难题、研究级数学与物理、逻辑与游戏推理、实验探索和科学工作流。
参与排名HLE · AA横跨学科的专家级难题,不用工具作答。Artificial Analysis证据预算 NaN%
参与排名FrontierMath v2 · Tiers 1–3研究级数学推理Epoch AI证据预算 NaN%
参与排名LiveBench · 推理与数学Reasoning + Mathematics 两项均分,各占 50%。LiveBench证据预算 NaN%参与排名CritPt · AA研究级物理问题,考验专业推导。Artificial Analysis证据预算 NaN%
参与排名Chess Puzzles根据文字棋局寻找正确走法Epoch AI证据预算 NaN%
参与排名Mystery Game Puzzles从陌生规则推导正确行动Epoch AI证据预算 NaN%
参与排名MysteryMechanism自己设计实验,去推断一套隐藏的规律。Vals AI证据预算 NaN%
参与排名Terminal-Bench Science · Vals在终端完成科学工作流与分析。Vals AI证据预算 NaN%
参与排名Terminal-Bench Science · AA在终端完成科学工作流与分析。Artificial Analysis证据预算 NaN%
仅供参考FrontierMath v2 · Tier 4更高难度的数学研究题Epoch AI证据预算 NaN%
- C观察中Humanity’s Last Exam横跨学科的高难度学术知识与推理。CAIS / Scale AI证据预算 NaN%
- S观察中SimpleBench用日常常识和逻辑问题,检验模型能否识别问题中的实际约束。SimpleBench证据预算 NaN%
- M观察中MathArena · ArXivLean用 Lean 验证数学证明MathArena / ETH Zurich证据预算 NaN%
- M观察中MathArena · BrokenArXiv发现和修复数学证明中的错误MathArena / ETH Zurich证据预算 NaN%
- M观察中MathArena · ArXivMath从近期数学论文提炼的新题MathArena / ETH Zurich证据预算 NaN%
- A观察中ARC-AGI-2从陌生规则中学习和泛化ARC Prize证据预算 NaN%
- A观察中ARC-AGI-3从陌生规则中学习和泛化ARC Prize证据预算 NaN%
专业办公
26职业交付件、业务流程、金融法律、客服、数据分析与医疗编码。
参与排名GDPval-AA按真实职业交付件出题,两两比较产出质量。Artificial Analysis证据预算 NaN%
参与排名AA-Briefcase办公知识工作的长任务,两两比较交付结果。Artificial Analysis证据预算 NaN%
参与排名AutomationBench · AA跨办公软件完成一整条业务自动化流程。Artificial Analysis证据预算 NaN%
参与排名Vals Finance Agent金融分析师的日常办公题,看研报、建模这类工作做得怎样。Vals AI证据预算 NaN%
参与排名APEX-Agents 1.1投行、咨询和法律里的长任务,看模型当助手能不能把一件完整的工作做完。Mercor证据预算 NaN%
参与排名Harvey Legal Agent Benchmark处理法律资料并交付 Word、Excel、幻灯片等可审阅文件。Vals AI / Harvey证据预算 NaN%
参与排名τ³-Banking · Mercor在统一工具环境里办理银行客服业务:查政策、找产品、改账户。Mercor证据预算 NaN%
参与排名LiveBench · 数据分析表格重排、列类型标注、表连接预测等数据处理任务。LiveBench证据预算 NaN%参与排名MedCode根据住院记录给出医疗诊断编码。Vals AI证据预算 NaN%
参与排名AA-Analyst Agent可靠地分析数据并回答专业问题。Artificial Analysis证据预算 NaN%
观察中τ³-Banking在统一工具环境中办理银行业务,检验规则理解、客户沟通与任务完成。Sierra证据预算 NaN%- Z观察中AutomationBench跨办公软件完成自动化工作Zapier证据预算 NaN%
- D观察中OfficeQA Pro从大量真实财务文件中检索、计算并回答问题。Databricks证据预算 NaN%
- S观察中MCP Atlas通过真实 MCP 服务检索资料、操作文档与数据库,完成跨软件任务。Scale AI证据预算 NaN%
- F观察中FinanceBenchmark完成金融定价、资本计算和风控任务,用数值与代码执行结果核验。FinanceBenchmark证据预算 NaN%
- S观察中PRBench · Legal回答真实法律工作中的复杂问题,检验专业判断和论证质量。Scale AI证据预算 NaN%
- S观察中PRBench · Finance回答真实金融决策问题,检验专业判断、推导和风险说明。Scale AI证据预算 NaN%
- S观察中SpreadsheetBench 2完成财务建模、修复工作簿和数据可视化的整套表格工作。SpreadsheetBench / Renmin University / AfterQuery证据预算 NaN%
- A观察中Vending-Bench 2经营模拟商店一年,处理采购、谈判、库存与定价。Andon Labs证据预算 NaN%
仅供参考EBR-bench在长任务中学习新规则并使用记忆Epoch AI证据预算 NaN%
观察中Excel · EMB表格编辑与 Excel 办公Vals AI证据预算 NaN%
观察中Legal Research法律检索和论证Vals AI证据预算 NaN%
观察中TaxAgentBench税务专业问题Vals AI证据预算 NaN%
观察中MedScribe临床记录整理与撰写Vals AI证据预算 NaN%
观察中BioMysteryBench生物学研究推理Vals AI证据预算 NaN%
- H观察中Terminal-Bench Science在终端里完成科研任务Harbor证据预算 NaN%
知识问答
8事实准确、长文理解、语言理解、按要求作答、识破错误前提。
参与排名AA-Omniscience事实问答,答错倒扣、拒答不扣,看模型知道什么、会不会乱编。Artificial Analysis证据预算 NaN%
参与排名SimpleQA Verified短问题的事实准确性Epoch AI证据预算 NaN%
参与排名AA-LCR读很长的文档后,回答需要综合推理的问题。Artificial Analysis证据预算 NaN%
参与排名LiveBench · 语言与指令Language + IF 两项均分,各占 50%。LiveBench证据预算 NaN%- P参与排名BullshitBench · 错误前提识别问题里的错误前提,观察模型会不会顺着错误继续编造。Peter Gostev / BullshitBench证据预算 NaN%
参与排名MLCR-AA准确、完整且简洁地理解医疗长记录。Artificial Analysis证据预算 NaN%
仅供参考GPQA Diamond研究生水平的物理、化学与生物知识Epoch AI证据预算 NaN%
- G观察中FACTS Parametric不借助搜索工具回答世界事实问题,检验模型自身知识的准确性。Google DeepMind / Kaggle证据预算 NaN%
真人盲选与综合指数
4真人匿名两两比较计分;各家综合指数只做交叉核对。
写作与设计
12创作、文风与设计类评测,目前只作参考,不计分。
仅供参考Arena 创作盲选真人盲选故事、诗歌和其他创意表达,观察作品是否吸引读者。LMArena证据预算 NaN%
仅供参考Creative Writing v3短篇创作与表达EQ-Bench证据预算 NaN%
仅供参考Longform Writing长篇故事的连贯性与完整性EQ-Bench证据预算 NaN%
观察中EQ-Bench 4 · 情绪与人际理解在多轮交流中理解人物情绪、隐含需求与不同的沟通偏好。EQ-Bench证据预算 NaN%
- L观察中Short-Story · 短篇小说把固定人物、情节与风格要求自然写进一篇完整短篇小说。Lech Mazur证据预算 NaN%
- T观察中ToneBench · 文风与脚本按指定作者文风写视频脚本,考查开场、结构、表达与口播节奏。Towards AI证据预算 NaN%
- T观察中TubeLab · 视频脚本面向不同视频频道写脚本,比较故事组织、文风、节奏与清晰度。TubeLab证据预算 NaN%
- N观察中NC Bench · 作家工作流帮助作家改写、续写、总结、翻译和整理创作想法。Novelcrafter证据预算 NaN%
- D观察中Design Arena · 视觉设计真人盲选网页、界面、图表和幻灯片的设计作品。Design Arena / Intelligence证据预算 NaN%
- O观察中OpenVibeEval · 网页作品对照网页作品、可访问性和盲选偏好,观察不同工具下的设计表现。OpenVibeEval证据预算 NaN%
- S观察中SVGBench · 矢量图盲选按相同提示盲选 SVG,考查视觉清晰度与图形表现。SVGBench证据预算 NaN%
观察中Rapidata SVG真人比较模型生成的矢量图,直接评价视觉偏好。Rapidata证据预算 NaN%
视觉理解
2读懂图片的评测,目前只作参考,不计分。
中文与多语言
2目前只作参考,不计分。
“观察中”表示仍在核对数据、运行条件或使用边界,不参与综合榜和分类榜。同一评测的重复抓取和展示切片不会增加权重;不同评测之间的题库重叠仍需持续核对。