机器人正在学习折叠衣物、分拣零件以及操作不熟悉的物体。但这些演示通常相当狭窄,无法解释机器人究竟学到了什么,或者它为什么会失败。
为了研究复杂的系统,科学家通常从一个微小且受控的环境入手,例如培养皿或生态缸,在其中改变条件并观察其影响。机器人领域同样需要能够实现这种探索的环境——研究人员应该能够改变训练数据或模型设计,重复测试,并追溯失败的原因。
今天,我们推出了一个用于构建此类环境的框架,我们称之为基础世界(FoundationWorlds)。每个基础世界都将一个旨在特定环境中研究机器人的受控模拟世界,与自动生成任务及训练演示的工具,以及用于长期衡量机器人行为的指标相结合。它们共同提供了一个研究环境,用以探索诸如模型如何随着训练数据的增加而提升,以及如何最好地将高阶推理与精确的物理控制结合起来等问题。
我们的首个基础世界是 ToyBlocks:一个围绕机械臂和桌面积木构建的开源仿真框架。该场景刻意保持简单,但机器人仍必须对积木之间的相互作用以及在推、翻转和堆叠时如何排列它们进行推理。
ToyBlocks 能够自动生成演示数据(即机器人在仿真中完成任务的记录),而无需耗时的人工遥操作(teleoperation,即由人员远程控制机器人)。研究人员可以轻松调整这些训练经验。例如,团队可以生成更多推或翻转的演示,然后针对未参与训练的任务评估其性能。
以 ToyBlocks 作为我们的首个基础世界,我们的目标是将这种方法逐步扩展到日益复杂的环境中。
ToyBlocks 的工作原理
立足于我们在开放机器人学习领域的早期工作(包括 MolmoAct 2、MolmoBot 和 MolmoSpaces),ToyBlocks 为研究人员提供了一种在刻意受限的领域中探究机器人技术问题的方法。
作为一个基础世界,ToyBlocks 围绕四个要求进行设计:(1) 真实的物理特性与外观;(2) 大规模自动生成任务与演示;(3) 结合推理与灵巧性的挑战;(4) 对特定领域内可能任务的广泛覆盖。
开放式领域需要对各种各样的物体和相互作用进行建模,使得同时满足所有这些要求变得不可行。相反,ToyBlocks 狭窄的范围使其能够全部满足这些要求。
在 ToyBlocks 较小的场景中,研究人员可以致力于探索机器人如何学会执行任何合理的任务,同时确信仿真中的机械臂和积木的行为与其物理实体高度相似。
ToyBlocks 设置中位于木块上方的实体机器人夹爪。
ToyBlocks 不仅仅关乎抓取和

