开源基准 CloudOpsBench 发布：推理是 AI 云运维最大瓶颈

密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench，用于衡量 AI 智能体在云上执行典型 DevOps 任务的能力，覆盖修复服务、删除资源、限制访问权限、推送更新和下线项目等场景。1.0 版本包含 45 个 AWS 任务，由有经验的 DevOps 工程师构建。 评测结果显示，即使表现最好的模型也未能完成全部任务：Claude Fable 5.1 解决 60%，GPT-6 Astra 完成 53%。团队将失败原因主要归为推理而非知识不足，约 80% 的失败来自智能体误判任务范围、未检查所有相关服务或过早停止；其余约 20% 属于错误操作，其中一些会对基础设施造成不可逆后果。 在方法上，所有任务在真实 AWS 云环境和模拟器中以相同方式运行，便于对照。团队计划后续扩展至 GCP、Azure 和 OCI。项目已在 GitHub 以 Apache 2.0 许可开源，并同时提供详细的失败分析，可供云运维智能体的开发者复现和定位问题。