IT之家 7 月 22 日消息，Seed GR-3 是字节跳动 Seed 团队提出的全新 Vision-Language-Action Model（VLA）模型，它具备泛化到新物体和新环境的能力，能理解包含抽象概念的语言指令，还能够精细地操作柔性物体。 据 Seed 介绍，与此前需要大量机器人轨迹训练的 VLA 模型不同，GR-3 通过少量的人类数据即可实现高效微调，从而快速且低成本地迁移至新任务，以及认识新物体。 此外，得益于改进的模型结构，GR-3 能有效处理长程任务并能进行高灵巧度的操作，包括双手协同操作、柔性物体操作，以及融合底盘移动的全身操作等。 具体而言，这些能力是通过一种多样的模型训练方法实现的：除遥操作机器人收集的高质量真机数据外，团队还经过用户授权，征集了基于 VR 设备的人类轨迹数据，以及公开、可用的大规模视觉语言数据进行联合训练 —— 多样性数据的融合是 GR-3 区别于现有 VLA 模型的亮点之一。 同时，字节跳动 Seed 团队还开发了一款具备高灵活性、高可靠性的通用双臂移动机器人 ByteMini，相当于是专为 GR-3 这颗“大脑”打造的“灵活躯体”。 ByteMini 具备 22 个全身自由度以及独特的手腕球角设计，使它能够像人类一样灵活，在狭小空间中完成各种精细操作，携带 GR-3 模型这颗“机器人大脑”，可高效在真实环境中处理复杂任务。 “心灵”：GR-3 在超长序列 (子任务数≥ 10) 的餐桌整理任务中，可高鲁棒性、高成功率地完成任务，并在过程中严格跟随人类发出的分步指令；“手巧”：GR-3 在复杂灵巧的挂衣服任务中，能够控制双臂协同操作可形变的柔性物体，甚至可以鲁棒地识别并整理不同摆放方式的衣物；泛化好：GR-3 在各类物体的抓取放置任务中，可以泛化到抓取未见过的物体，同时可理解包含复杂抽象概念的指令。 经过团队上千次系统性实验测试，GR-3 表现超过业界此前可测试具体性能的 VLA 头部模型 π0。未来，团队希望 GR-3 可以成为迈向通用机器人“大脑”的重要一步。 在基础场景和新环境中，加入公开可用的图文数据进行训练不会带来能力损失；在未见过的复杂指令和新物品任务中，这部分数据分别能带来 42.8% 和 33.4% 的成功率提升。 为持续提升 GR-3 应对未见过物体的能力，团队利用 VR 设备采集了人类操作物体的数据，结果发现：只需要通过 VR 设备对相应物品采集 10 条轨迹数据，就可以让 GR-3 操作这些物体的成功率从不到 60% 提升到超过 80%。 团队还同时测试了 GR-3 跟随分步指令的能力，结果发现：GR-3 在跟随语言指令上，领先基准模型，面对多件同类物品（如多个杯子），GR-3 能按指令将他们“全放进垃圾桶”，若指令无效（如餐桌上没有蓝色的碗，指令为“把蓝色碗放进篮子”），GR-3 能准确判断并保持不动，而基准模型则会随机拿取物品。 此外，GR-3 还能泛化到机器人数据中未包含的衣服。例如，当机器人数据中的衣服均为长袖款式时，GR-3 对短袖衣物同样能有效处理。
