τ³-Banking（Mercor 复跑）
Mercor / 专业办公 · 在统一工具环境里办理银行客服业务：查政策、找产品、改账户。
在 裕瑞产业情报 中参与排名
证据预算NaN%
上游数据时间待核实
最近成功同步10/23 20:06
它测什么，怎么测
取 Mercor 给所有模型统一复跑的 pass@1。同一型号按最高推理档位选代表配置，选择不看分数。
如何使用这份证据
计分：专业办公领域的客服一类。
评测成绩
同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | gemini-4-argonGoogle | 58.1% | High 推理 |
| 2 | claude-opus-5-5Anthropic | 55.0% | Max 推理 |
| 3 | claude-fable-5.1Anthropic | 54.0% | Max 推理 |
| 3 | claude-sonnet-5-5Anthropic | 54.0% | Max 推理 |
| 5 | muse-spark-1-3Meta | 52.2% | xHigh 推理 |
| 6 | gemini-3.8-flashGoogle | 48.8% | High 推理 |
| 7 | gpt-6-astra-maxOpenAI | 46.7% | Max 推理 |
| 7 | qwen-3-8-max-xhighAlibaba | 46.7% | xHigh 推理 |
| 9 | grok-4-6-xhighxAI | 45.7% | xHigh 推理 |
| 10 | claude-opus-5Anthropic | 44.0% | Max 推理 |
| 11 | gpt-6-solOpenAI | 43.0% | Max 推理 |
| 11 | gpt-6-1-solOpenAI | 43.0% | Max 推理 |
| 11 | claude-haiku-5-5Anthropic | 43.0% | Max 推理 |
| 11 | gpt-5-6-sol-max-proOpenAI | 43.0% | Max 推理未计入：Pro 系统多次采样后汇总作答，不是 GPT-5.6 Sol 本身。 |
| 15 | glm-5-3Z.ai | 40.5% | Max 推理 |
| 15 | inception/mercury-3Inception | 40.5% | High 推理 |
| 17 | deepseek-v4-pro-08-13DeepSeek | 40.2% | Max 推理 |
| 17 | gpt-6-lunaOpenAI | 40.2% | Max 推理 |
| 19 | gpt-5.6-terra-maxOpenAI | 38.8% | Max 推理 |
| 20 | glm-5-3-flashZ.ai | 37.8% | Max 推理 |
| 20 | deepseek-v4-1-flashDeepSeek | 37.8% | Max 推理 |
| 22 | gpt-5.6-luna-maxOpenAI | 35.7% | Max 推理 |
| 22 | deepseek-v4-1-flash-1017DeepSeek | 35.7% | Max 推理 |
| 24 | kimi-k3Moonshot AI | 34.7% | Max 推理 |
| 25 | beam-1-0-maxReflection | 33.0% | Max 推理 |
| 26 | grok-4.7xAI | 32.6% | xHigh 推理 |
| 27 | minimax-m3MiniMax | 21.0% | High 推理 |
| 28 | nemotron-3-5-super-vlNVIDIA | 19.2% | High 推理 |
| 29 | nemotron-3-ultra-nvfp4NVIDIA | 18.6% | High 推理 |
| 29 | gemini-3-5-flash-liteGoogle | 18.6% | High 推理 |
评测局限与数据署名
依赖模拟用户与工具协议，只代表银行客服场景；Sierra 官方榜单接受厂商自报成绩，不计分。
数据许可：官方公开结果；题目与评测框架来自 Sierra tau2-bench（MIT）
成绩由 Mercor 发布。各项评测的原始分数尺度不同，不能直接相加；AIHOT 按公开规则把它们折算成同一种分数。