DeepSWE v1.1
DataCurve / 编程 · 在统一的编程助手环境里改仓库、修缺陷,比较的是写代码的模型本身。
在 裕瑞产业情报 中观察中
证据预算NaN%
上游数据时间待核实
最近成功同步尚未开始采集
它测什么,怎么测
只取 pass@1;统一 harness 内按预先固定的推理档位优先级选代表配置。
如何使用这份证据
观察中:9 月 3 日后没有再加入新模型,且 Epoch 指出部分题目判分有缺陷;恢复更新并修好后再计分。
评测局限与数据署名
仍是模型+mini-swe-agent 的系统表现;大版本变化必须隔离快照。
数据许可:官方公开结构化结果;仅管理员私有观察,公开前复核许可
成绩由 DataCurve 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。