返回首页

ToyBlocks

x+hf+web 0.92
访问原文

介绍

ToyBlocks 是 Ai2(Allen Institute for AI) 发布的首个 FoundationWorld:面向机器人学习的可控开源仿真框架,场景为桌面机械臂操作积木(推、翻、堆叠),基于 NVIDIA Isaac Sim / Isaac Lab。

核心能力:

  • 自动生成技能与长程示教,无需昂贵遥操作;
  • 首批数据约 85,336 条长程示教、近 1,600 小时、1.44 亿帧(LeRobot 格式);
  • 配套训练(如 ManiFlow)与闭环评测,可用 oracle 替换高层/低层策略以定位失败;
  • 目标用 PDDL 表达,自动度量成功与部分进度。

博客:https://huggingface.co/blog/allenai/toyblocks 仓库:https://github.com/allenai/ToyBlocks

解释

为什么重要

机器人学习常卡在「演示贵、难复现、难定位失败」。ToyBlocks 把数据生成、训练与评测放进同一可控世界,便于分离规划失败与控制失败,并研究 sim→real 迁移。

注意

  • FoundationWorld 是 Ai2 系列框架名,ToyBlocks 是其中第一款;
  • 需 Isaac Sim/Lab 与 NVIDIA GPU 环境;
  • 与通用玩具积木品牌区分,以 allenai/ToyBlocks 为准。

用法

  1. 阅读 https://huggingface.co/blog/allenai/toyblocks ;
  2. clone https://github.com/allenai/ToyBlocks 按文档配置 Isaac Sim/Lab;
  3. 使用 allenai/toyblocks-data 或自生成示教训练策略;
  4. 在仿真中闭环评测,必要时用 oracle 分层定位失败。

广告