VFlash

VFlash 是 NVIDIA Learning and Perception Research（LPR）与 GEAR 实验室于 2026 年 11 月 5 日公布的面向 Physical AI 的 System-1 视觉语言模型解码框架。项目页：https://research.nvidia.com/labs/lpr/vflash/ 。同日 Jim Fan（@DrJimFan）与 Zhiding Yu 等在 X 上官宣。

核心洞察：机器人与自动驾驶需要不断更新视觉计划（抓取点、轨迹、场景演化），但用自回归方式逐 token 生成坐标越来越贵。VFlash 利用视觉原语的已知几何结构，让轻量 drafter 一次并行写出完整原语，再由冻结的目标 VLM 更新上下文并抽出下游动作特征。

官方宣称要点：

• 并行原语解码（Flash Primitive Decoding）：框、点、深度、2D/3D 轨迹等整块生成；
• 误差下降：相对自回归目标，ShareRobot-Bench / VABench-V 上 3D 位移误差可降约 28–61%；
• 速度：Jetson Thor / DGX Spark 上机器人推理约 5×，驾驶规划解码可再快一个数量级；
• 下游世界动作模型 / 扩散动作头交叉注意 VFlash 产生的视觉计划特征，提升控制成功率。

解决什么问题

具身模型并不只能用文字“想”。预测抓哪里、怎么动、场景如何演化，是连接感知与动作的桥梁。但计划必须频繁重算，自回归坐标 token 成为瓶颈。

关键设计

1. 工具调用声明长度，原语类型决定坐标布局；
2. 冻结目标 VLM 上下文，轻量（约 5 层非因果 Transformer）drafter 在标注几何上训练，一次并行写出完整原语；
3. 边界对齐 / 位置对齐：训练与解码块与完整原语边界匹配，坐标用专用 token 或定宽字段，避免可变 token 数打乱位置；
4. 子任务文本仍用可验证的 speculative 解码。

结果与局限

页面给出机器人、密集运动、检测框与 NAVSIM/Waymo 驾驶等多项对比；下游控制在若干套件上优于纯语言或纯 AR 计划基线。注意：数字来自 NVIDIA 自报评测与定制 TensorRT 运行时；框架偏研究/工程系统，未必有独立消费级产品下载页。

适合谁

• 机器人 / 自动驾驶视觉规划与 VLA 推理加速研究者；
• 在 Jetson Thor、DGX Spark 等边缘/桌面平台做 Physical AI 部署的工程师；
• 关注 System-1 vs System-2 具身智能分工的产品团队。

如何跟进

1. 打开 https://research.nvidia.com/labs/lpr/vflash/ 阅读方法与表格；
2. 关注 LPR / GEAR 后续代码与权重发布；
3. 与已入库的 NVIDIA Flora、NVIDIA ASPIRE、GR00T 等 Physical AI 栈对照阅读。