返回首页

WorkflowArena

x+web 0.86
访问原文

介绍

WorkflowArena 是 Einsia AI 的 Navers Lab 与清华大学合作、在 2026 年 11 月 10 日公布的基准，用来衡量大模型多智能体系统能不能自己分工、调度 worker，并改写协调用的工作流。官方账号 @EinsiaAI 的宣布帖把它称作“面向真实长周期工作的自主多智能体工作流编排”基准；同日更新的实验室研究页和项目页 lab.einsia.ai/workflowarena 给出了入口，论文为 arXiv:2611.12856（2026 年 11 月 9 日投稿），代码在 Einsia/WorkflowArena。

按论文摘要，现有基准要么只看端到端是否交卷，要么在事先定好的协作结构下评分。WorkflowArena 把“工作流编排”单独拿出来评：一共 145 项长周期任务，覆盖 8 个专业领域和 17 种任务形态，包括软件工程、形式化数学、法律分析和三维制作。每个任务给出初始工作区，要求交一份由相互依赖的部件组成的整合交付物，由隐藏的、任务专用的评测器检查，也包括整合检查——零件都对、但没有对上接口，不必算通过。

智能体可以独自做完，也可以使用 Workflow 工具最多同时拉起 16 个 worker；worker 是同一套模型–harness–投入配置的新实例，共享工作区。所有委派都经记录的工具发出，主智能体可以查看结果并改写工作流。主智能体和 worker 共享 4 小时墙钟预算，所以组织工作本身会占用执行时间。官方在 9 个模型、25 种模型-投入配置上做了实验：Claude Opus 5.5 在 Claude Code、最大投入档拿到最高的 Overall Resolved（36.95%），没有一种配置在所有领域都领先。一项固定执行模型的迁移实验还写到，当执行模型是 Kimi K3.1 Pro 时，由 Opus 撰写的静态工作流连续得分 45.04，由 GPT-6 Astra 撰写的为 29.69。这些数字均来自论文，我们没有独立复现。

要点：

解释

为什么值得关注

现在的 agent harness 已经允许模型在运行时自己拉起 worker、并写出协调它们的可执行工作流，编排质量成了一项可以单独看的能力，但大多数公开基准仍在评“能不能把任务做完”，或是在事先规定好的分工下评分。WorkflowArena 把问题改成：模型会不会自己决定如何拆任务、给每个 worker 什么上下文、怎样检查和合并结果，并且用隐藏评测器去卡整合后的交付物。

它和同一实验室此前发布的 Quant-Arena 是不同的评测：Quant-Arena 针对量化投研策略，WorkflowArena 针对多智能体工作流编排。论文里的 36.95%、迁移实验分数以及“没有一种配置全面领先”都是作者报告的结果，口径是 Overall Resolved（八个领域通过率的等权平均）和另给的连续分，不宜直接拿去和其他基准的通过率横比。

局限

论文写明每种配置对每个任务只评了一次，没有给出方差估计，接近的排名应谨慎看待。迁移实验里，源模型撰写的工作流包含 worker 指令，可能同时带有任务知识和组织结构，因此结果并不能单独证明“拓扑/协调”就是因果。官方“首个……基准”是宣布帖中的表述，不是第三方鉴定。代码仓库在宣布时 star 数仍然很少，复现前请以官方页面、论文和仓库 README 为准。

用法

  1. 阅读官方项目页 https://lab.einsia.ai/workflowarena/ 与宣布帖 https://x.com/EinsiaAI/status/2120162063905681632 ；
  2. 对照论文 arXiv:2611.12856（https://www.alphaxiv.org/abs/2611.12856）核对任务数、领域划分、预算和评分口径，再引用 Overall Resolved 或连续分；
  3. 需要复现或提交结果时，使用官方代码 https://github.com/Einsia/WorkflowArena，并注明模型、harness（论文中出现过 Claude Code 与 Codex）和投入档；
  4. 不要把它和 Quant-Arena 或其他“Arena / Bench”评测混用同一个分数；本页数字只复述官方论文与宣布材料，对外引用前请再对一次上游。

广告