阿里等机构发布 Co-Design Bench：编码智能体仅完整完成约四分之一真实任务

阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench，测试素材来自真实用户变更请求，任务要求智能体改造现有 Web 应用，部分任务需读取图片、音频、视频或文档作为输入。研究者优先选取用户多次改写请求或回滚改动的案例，因此测试集中了实践中已让智能体受挫的任务，范围从小幅调整（如从收据中提取金额并更新所有关联合计）到整体项目改造。 在十款被测模型中，GPT-6 Astra 表现最好，平均满足约 70% 的任务要求，但仅 26.4% 的任务被完整正确完成；多数情况下智能体完成了主体工作，却留下至少一处细节未完成。Claude Opus 5 和 Qwen3.8-Max 分列其后，Grok 4.6 垫底。GPT-6 Astra 在两条赛道均领先，但多模态任务完整解决率仅 41%，仓库任务不足 18%。在更大规模改造上，参数量小得多的 Qwen3.8-27B 升至第二，作者并未据此得出该模型的普遍优势。 评分采用严格流程：一名 AI 评审在浏览器中测试成品应用，第二名评审复核所有通过判定，并排查 mock-up 或硬编码结果，只有实际可用的功能才得分。当任务同时涉及布局、设计、交互、内容等多种变更类型时，所有模型的表现都下降，而这类交织需求在真实项目中是常态。增加算力帮助有限，GLM-5.2 在小改动上消耗的 token 接近 GPT-6 Astra 的六倍，得分仍明显更低。 另一项测试让相同模型在不同 harness（智能体读写与执行代码的程序环境）中运行，Qwen3.8-27B 在大规模改造任务上得分分别为 75% 和 56%，两款模型谁领先也取决于环境。作者因此建议排行榜同时报告模型与工作环境，企业选型时应把两者作为组合来测试。 该基准也有局限：每个任务只评估一次固定请求，不包含用户追问或中途修正，AI 评审也可能出错。研究组织 METR 此前的调查显示，项目负责人对 AI 生成代码的实际接受率比 SWE-bench Verified 得分低约 24 个百分点。测试环境缺陷也可能让智能体未真正解决问题却通过任务；不过另一项近期研究发现，更复杂的 harness 带来的可测收益很小，尽管 token 消耗可达三倍。