Harvey Legal Agent Benchmark
Vals AI / Harvey / 专业办公 · 处理法律资料并交付 Word、Excel、幻灯片等可审阅文件。
在 裕瑞产业情报 中参与排名
证据预算NaN%
上游数据时间10/18 08:00
最近成功同步10/23 20:06
它测什么，怎么测
固定 Harvey 私有测试集、文件工具和 docx、xlsx、pptx 技能，禁用互联网；取两名裁判的整任务通过率均值。同一型号按最高推理档位选代表配置，选择不看分数。
如何使用这份证据
计分：专业办公领域的法律一类。
评测成绩
同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | meta/muse_spark_1_2Meta | 25.4% | xHigh 推理 |
| 2 | meta/muse_spark_1_3_maxMeta | 23.8% | Max 推理 |
| 4 | meta/muse-wonder-fullMeta | 21.7% | Max 推理 |
| 5 | meta/muse_spark_1_1Meta | 20.0% | xHigh 推理 |
| 6 | google/gemini-4-argonGoogle | 19.6% | High 推理 |
| 7 | zai/glm-legalZ.ai | 19.2% | Max 推理 |
| 8 | meta/muse-wonderMeta | 17.1% | Max 推理 |
| 9 | meta/muse-spark-openMeta | 16.7% | xHigh 推理 |
| 10 | grok/grok-4.6xAI | 15.8% | High 推理 |
| 10 | mistralai/mistral-large-4Mistral AI | 15.8% | High 推理 |
| 12 | kimi/kimi-k3Moonshot AI | 12.9% | Max 推理 |
| 12 | grok/grok-4.5xAI | 12.9% | High 推理 |
| 14 | grok/grok-4.7xAI | 12.5% | xHigh 推理 |
| 15 | alibaba/qwen3.8-27bAlibaba | 11.3% | xHigh 推理 |
| 15 | xiaomi/mimo-v2.6-flashXiaomi | 11.3% | 来源默认配置 |
| 15 | anthropic/claude-fable-5Anthropic | 11.3% | Max 推理 |
| 18 | xiaomi/mimo-v2.6-proXiaomi | 10.8% | 来源默认配置 |
| 19 | alibaba/qwen3.8-maxAlibaba | 10.4% | 来源默认配置 |
| 20 | google/gemini-3.8-flashGoogle | 10.0% | High 推理 |
| 21 | anthropic/claude-opus-4-8Anthropic | 9.6% | Max 推理 |
| 22 | tencent/hy4-previewTencent | 9.2% | 来源默认配置 |
| 22 | deepseek/deepseek-v4.1-flash-1017DeepSeek | 9.2% | Max 推理 |
| 22 | fireworks/ember-1Fireworks AI | 9.2% | 来源默认配置 |
| 22 | stepfun/step-5-previewStepFun | 9.2% | 来源默认配置 |
| 26 | google/gemini-3.7-flashGoogle | 8.8% | High 推理 |
| 27 | deepseek/deepseek-v4-flash-0731DeepSeek | 8.3% | High 推理 |
| 27 | zai/glm-5.3Z.ai | 8.3% | Max 推理 |
| 29 | deepseek/deepseek-v4-pro-0813DeepSeek | 7.5% | Max 推理 |
| 30 | zai/glm-5.2Z.ai | 7.1% | Max 推理 |
| 31 | anthropic/claude-fable-5-1Anthropic | 6.7% | Max 推理 |
评测局限与数据署名
v1 已由 Vals 归档，成绩保留在原版页面，与新版 1.1 不可直接比较。整项任务通过率普遍很低；Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号：有回退的成绩照常计入并在模型页标注，受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。
数据许可：官方公开结果；公开再展示保留官方署名，完整再分发授权仍以 Vals 条款为准
成绩由 Vals AI / Harvey 发布。各项评测的原始分数尺度不同，不能直接相加；AIHOT 按公开规则把它们折算成同一种分数。