返回首页 访问原文
Mundo
介绍
Mundo 是大晓机器人(ACE Robotics)联合南洋理工大学 S-Lab(吕健勤团队)于 2026 年 10 月 30 日发布的定制化机器人世界模型。只需某个真实场所的几张照片或一段短视频,它就能重建出一个可自由探索、可编辑的三维世界:物体带有物理属性,机器人可以在其中导航和操作。
其底层把显式的 3D 代理(proxy)、基于代码的场景程序、物理引擎(MuJoCo)和视频扩散模型结合起来:物理引擎算运动,视频模型以原始照片为参考把结果渲染成画面。
解释
能做什么
- 自由视角探索:1–12 张图就能让相机在房间里自由穿行;更大的空间可用几十张图生成数十秒到分钟级的长路径画面。
- 物理交互:在场景程序里给物体设置质量、摩擦等属性,推、拉、碰撞、重力由物理引擎计算后再渲染出来。
- Agent 可编辑:视觉语言模型 Agent 可以通过代码修改物体、属性和动作。
- 机器人训练:支持导航(在 3D 代理上做路径规划)和操作(如把苹果放进碗里),生成第一/第三人称及腕部相机视角,并保留轨迹与接触状态,用于 Real-to-Sim 数据生成。
- 4D“子弹时间”:可暂停某个模拟瞬间,绕着它多角度观察。
背景与局限
Mundo 属于大晓机器人以 Kairos(开悟) 为核心的世界模型体系。作者坦言目前速度较慢(场景重建 10–20 分钟,8 张 A800 上渲染约 1.5 帧/秒),小物体可能“漂浮”,也还没有长时记忆。它与启元的 PrimeSim 同日发布。
用法
从哪里开始
- 项目主页(含演示视频):mundo-world-model.github.io。
- 技术博客:Hugging Face 博客 — Mundo。
- 适合:搭建 Real-to-Sim 流程的机器人团队(例如重建酒店楼层后训练导航/操作),以及做三维重建 + 视频生成方向的研究者。
- 引用名:
luo2026mundo(“Mundo: Customized World Model”)。