[开源项目]Mobile ALOHA低成本全身远程操作手臂

从人类演示中进行的模仿学习在机器人技术中表现出了令人印象深刻的表现。然而,大多数结果都集中在桌面操作上,缺乏一般有用任务所需的移动性和灵活性。在这项工作中,我们(斯坦福华人团队)开发了一种用于模仿双手且需要全身控制的移动操纵任务的系统。我们首先推出Mobile ALOHA,这是一种用于数据收集的低成本全身远程操作系统。它通过移动底座和全身遥控操作界面增强了ALOHA系统。然后,我们使用Mobile ALOHA收集的数据执行监督行为克隆,并发现与现有静态ALOHA数据集的联合训练可以提高移动操作任务的性能。每项任务有50次演示,协同训练可将成功率提高高达90%,使Mobile ALOHA能够自主完成复杂的移动操作任务,例如完成炒上一块虾、打开两门壁柜存放重型烹饪锅、呼叫和进入电梯,并使用厨房水龙头轻轻冲洗用过的锅等任务。
                            如下图:用户远程操作,从冰箱中获取食物

展示图片1.png

Mobile ALOHA可以通过模仿学习执行复杂的长期任务

展示图片2.png 展示图片3.png 展示图片4.png

       烹饪虾                         收拾椅子                        关上柜门

展示图片5.png

       擦酒渍                         呼叫电梯                       击掌

下面视频是机器人可以通过模仿学习之后自主完成的事情

  

                   炒菜                                        擦桌子

  

                   坐电梯                                 把锅放进储物柜

  

                   洗碗                                      把椅子归位

  

                                          击掌

重复性和稳健性测试系列视频如下: