7月22日,SeedGR-3是字节跳动Seed团队提出的全新Vision-Language-ActionModel(VLA)模型,它具备泛化到新物体和新环境的能力,能理解包含抽象概念的语言指令,还能够精细地操作柔性物体。
据Seed介绍,与此前需要大量机器人轨迹训练的VLA模型不同,GR-3通过少量的人类数据即可实现高效微调,从而快速且低成本地迁移至新任务,以及认识新物体。此外,得益于改进的模型结构,GR-3能有效处理长程任务并能进行高灵巧度的操作,包括双手协同操作、柔性物体操作,以及融合底盘移动的全身操作等。
具体而言,这些能力是通过一种多样的模型训练方法实现的:除遥操作机器人收集的高质量真机数据外,团队还经过用户授权,征集了基于VR设备的人类轨迹数据,以及公开、可用的大规模视觉语言数据进行联合训练——多样性数据的融合是GR-3区别于现有VLA模型的亮点之一。
同时,字节跳动Seed团队还开发了一款具备高灵活性、高可靠性的通用双臂移动机器人ByteMini,相当于是专为GR-3这颗“大脑”打造的“灵活躯体”。ByteMini具备22个全身自由度以及独特的手腕球角设计,使它能够像人类一样灵活,在狭小空间中完成各种精细操作,携带GR-3模型这颗“机器人大脑”,可高效在真实环境中处理复杂任务。
GR-3在各类任务中展现的特点包括:
“心灵”:GR-3在超长序列(子任务数≥10)的餐桌整理任务中,可高鲁棒性、高成功率地完成任务,并在过程中严格跟随人类发出的分步指令;
“手巧”:GR-3在复杂灵巧的挂衣服任务中,能够控制双臂协同操作可形变的柔性物体,甚至可以鲁棒地识别并整理不同摆放方式的衣物;
泛化好:GR-3在各类物体的抓取放置任务中,可以泛化到抓取未见过的物体,同时可理解包含复杂抽象概念的指令。
经过团队上千次系统性实验测试,GR-3表现超过业界此前可测试具体性能的VLA头部模型π0。未来,团队希望GR-3可以成为迈向通用机器人“大脑”的重要一步。在基础场景和新环境中,加入公开可用的图文数据进行训练不会带来能力损失;在未见过的复杂指令和新物品任务中,这部分数据分别能带来42.8%和33.4%的成功率提升。