返回首页

Science's Last Exam

x+web 0.78
访问原文

介绍

Science's Last Exam(SLE) 是 AItonomy Foundation 发起的科学智能体基准,官网:https://sciences-last-exam.org/ 。核心问题:AI 能否端到端做科研?

任务由斯坦福、牛津、普林斯顿等机构的研究者以个人身份参与设计与审阅;公开材料称由来自约 34 所机构、五个国家的博士生与博士后撰写与评审。

要点:

  • 113 项公开任务,覆盖 9 个学科;
  • 6 项能力诊断 + 1 项端到端研究评估(湿实验执行等模块仍在建设/扩展);
  • 能力包括:假设发现、方案规划、科学计算、科学软件操作、实验观察等;端到端任务要求智能体持续提出假设、选择实验并处理反例,并以可核验产物收尾;
  • 早期报道:在约 8 个前沿模型配置中,最佳综合分约 37.5/100(Claude Opus 5 + Claude Code);端到端科研赛道上报道为全部 0 分;
  • 计划开放任务包与排行榜评测(官网称约 2026-11-06 正式发布相关资源)。

解释

解决什么问题

多数科学基准停在答题、子任务或“给定论文再复现”。SLE 面向完整科研闭环:假设 → 规划 → 计算/软件 → 观察 →(规划中的)湿实验,并用专家定义的隐藏核验判断结果是否真的成立。

评测结构

  • 能力诊断:拆开看缺哪一环(文献/假设、协议、代码、GUI 软件、视频观察等);
  • 端到端闭环:看能否把各能力串成可独立核验的研究结果;
  • 任务强调真实研究问题与可打开检查的产物,而非选择题分数。

局限

  • 端到端与湿实验部分仍在扩展;部分前沿模型在排行榜上可能尚未评完;
  • 37.5/100 等分数来自公开发布/报道口径,具体榜单以官网 Leaderboard 为准;
  • 跨学科任务难度与核验标准高度依赖领域专家设计。

用法

适合谁

  • 做科学智能体 / 科研自动化的实验室与创业团队;
  • 需要端到端科研基准而非纯 QA 榜的模型评测方;
  • 愿意贡献真实科研任务的领域研究者。

如何上手

  1. 访问 https://sciences-last-exam.org/ 阅读 Blog / Docs / Tasks;
  2. 下载或按文档运行公开任务包,在 Claude Code / Codex 等 Agent 环境中评测;
  3. 通过 Contribute 提交难题任务,加入共著者名单;
  4. 引用:AItonomy SLE Team, Science's Last Exam, 2026, https://sciences-last-exam.org/ 。

广告