Replit 发布 ViBench 2.0：面向长周期软件构建的基准测试

Replit 发布 ViBench 2.0，一个面向长周期软件开发的基准测试，并加入其开放权重模型推理与训练合作伙伴 Fireworks 的 Specialized Intelligence Index（SII）。与 DeepSWE 等把明确定义的任务放进现有代码库的编程基准不同，ViBench 2.0 让智能体从空项目起步，参照 Uber、GitHub、Google Docs 等产品，逐个功能构建完整产品。基准共含 17 个产品、241 个功能请求和 544 个测试计划，其中 8 个产品以 Harbor 格式在 GitHub 公开，其余 9 个保留不公开，结果可通过 release v2.0.6 在基于 OpenHands 的 harness 上一键复跑。 设计上，智能体先根据简短规格构建产品初版，再在已有代码上追加最多 18 个功能。这迫使它在不知道后续需求的情况下先确定 schema 和路由，后续功能可能比早期功能更难。ViBench 1.0 曾发现模型在给自己写的代码加功能时得分更低（Vibe-on-Vibe），2.0 进一步模拟产品演进。构建过程需处理干净部署、已有数据、不变量、过期状态和并发等问题，例如打车产品中分摊车费必须精确到分、市场产品中两张退货单不能对同一件商品重复退款。 官方结果来自 Fireworks 的运行：每个模型对 17 个产品做 4 次构建，统一 harness 与设置，构建模型均为 medium effort、temperature 1.0。GPT-6.1 Sol 以 65% 的 pass@1 领先，GPT-6 Astra 为 60%，Opus 5.5 为 49%；三者测试计划通过率均超过 90%，失败构建大多只差少数计划。Sol 每次构建约 $12，Astra 约 $90。DeepSeek V4.1 Flash 测试计划通过率 77%，每次构建约 $2.50，但没有开源权重模型通过完整构建。Opus 5.5 平均约 70 分钟完成一次构建，比 Sol 快约 2.5 倍，token 量仅少约 6%，差距主要来自 API 提供商速度。 在 8 个公开产品上单独运行 GPT 系列可见代际提升：pass@1 从 GPT-5.4 的 0% 升至 GPT-6 Sol 的 31% 和 GPT-6.1 Sol 的 53%，计划通过率从 42% 升至 95%。GPT-6.1 Terra 以约 GPT-6.1 Sol 一半的成本通过 47% 的构建。评分由 Opus 5.5 担任，在植入 34 个 bug 的检验中未在 bug 可见时放行任何计划；GPT-6.1 Sol 复核其 477 次通过，99.2% 被确认正确。 顶级模型的失败多集中在功能交叉处的小细节，例如代码托管产品中草稿 PR 不显示合并冲突、文档编辑器无法评论表格单元格内的词、设计工具撤销会误撤队友的改动。约四十分之一的构建因 schema 代码在建表语句前引用表而无法在空数据库启动；近四分之三的失败构建只败在功能交叉点。ViBench 不评设计，但截图显示同族模型风格相近：GPT 倾向插图和大标题，Claude 更朴素、更贴近被模仿产品。Replit 表示，逐功能构建暴露了模型局限，并预计这类分数将向更具成本效率的模型（包括开放权重模型）扩散。