ViBench 2.0

ViBench 2.0 是 Replit 于 2026 年 10 月 28 日发布的 AI 编程智能体长周期软件构建基准。它不是让智能体在现有代码库里修 bug，而是从空项目开始：先根据简短需求做出产品的第一版，再在自己写的代码上逐个追加最多 18 个功能，并且事先不知道后面要做什么。它已加入 Fireworks 的 Specialized Intelligence Index（SII，专业智能指数）。

官方文章：Replit 博客 · 榜单：Fireworks SII · 发布推文：Replit 官方 X · 代码：ViBench/vibench-public

要点

1. 测什么：智能体能不能交付一个完整可用的产品，而不只是完成单个编程任务。17 个产品都以真实产品为原型，比如 Uber、GitHub、Google Docs，共 241 个功能需求和 544 个测试计划；其中 8 个产品以 Harbor 格式公开，9 个保留不公开。
2. 难在哪里：智能体必须在看到后续功能之前就确定数据结构和路由，所以后加的功能可能把前面的弄坏。测试会检查空数据库上的干净部署、已有数据、不变量（如分摊车费必须精确到分）、过期状态和并发等问题。
3. 评分方式：最后一个功能完成后，由评分智能体（Claude Opus 5.5）在真实浏览器里点击、输入，逐条执行测试计划。Replit 故意埋了 34 个 bug 来检验评分器，并用 GPT-6.1 Sol 复核，99.2% 的通过判定被确认正确。
4. 成绩（pass@1，每个产品构建 4 次取平均）：GPT-6.1 Sol 64.7%（每次约 12 美元）、GPT-6 Astra 60.3%（约 90 美元）、Claude Opus 5.5 48.5%、Claude Sonnet 5.5 19.1%、Grok 4.7 1.5%。DeepSeek V4.1 Flash 能通过 77% 的测试计划、每次约 2.5 美元，但没有任何开源权重模型完整通过一次构建。
5. 来历：ViBench 1.0（ACM CAIS '26 论文）以白板、简历生成器等较简单的应用为原型，提出了让模型在自己代码上继续开发的 “Vibe-on-Vibe” 设定；2.0 把它扩展成了完整的产品演进过程。

如何使用

• 看榜单：在 Fireworks SII 页面 按通过率、单次构建成本和耗时比较各模型。
• 自己跑：8 个公开产品和测试框架在 GitHub，论文见 vibench.ai。

适用场景

• 为“做应用”的智能体选模型，尤其是后续修改不能破坏已有功能的场景
• 权衡成本和可靠性（Sol 通过率接近 Astra，但单次构建便宜得多）
• 研究智能体的长周期规划能力

注意

官方成绩来自 Fireworks 在同一框架和设置下的运行结果，换成你自己的智能体配置，分数可能不同。