Replit 发布 ViBench 2.0 长周期开发基准

Replit 发布 ViBench 2.0，这是一个面向长周期软件开发的基准测试，包含 17 个产品、241 个功能请求和 544 个测试计划；智能体需从空项目开始，逐个添加最多 18 个功能。 17 个产品中，8 个以 Harbor 格式公开在 GitHub 上，其余 9 个未公开。Replit 称，所有结果都可在基于 OpenHands 的测试框架上，用 v2.0.6 版本的一条命令重跑；官方结果来自 Fireworks 的运行，每个模型对 17 个产品各构建四次，所有构建器均以中等 effort 和 temperature 1.0 运行，并采用相同限制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。