【论文推荐】GELLO：面向机器人机械臂的通用、低成本且直观的遥操作框架

原文题目：GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators

文中引文编号、图号、表号、数值和参考文献均按原文保留。

图 1：为三种不同机器人构建的 GELLO 遥操作系统。（A）两台 UR5；（B）一台 xArm；（C）一台 Franka。用户通过操控 GELLO 装置遥操作机器人臂。每台 GELLO 装置的物料清单成本低于 300 美元。

摘要

从人类示范中进行模仿学习，是教会机器人新技能的有力框架。然而，所学策略的性能受制于示范数据的质量、规模和多样性。本文提出 GELLO（GeneraL、Low-cost，即“通用、低成本”），旨在降低收集大规模高质量人类示范数据的门槛；它是一种用于构建机器人操作低成本、直观遥操作系统的通用框架。给定目标机器人臂，我们用 3D 打印零件和现货电机作为关节编码器，构造一个与目标臂运动学结构相同的 GELLO 控制器。GELLO 易于制作且直观易用。大规模用户研究表明，相较于模仿学习文献中常用的 VR 控制器和 3D SpaceMouse，GELLO 能更可靠、更高效地收集示范。我们还展示了 GELLO 执行复杂双臂操作和富接触操作任务的能力。为让所有人都能使用 GELLO，我们已为三种常用机器人臂——Franka、UR5 和 xArm——设计并构建了 GELLO 系统，全部软硬件将开源。

I. 引言

近年来，数据驱动方法日益融入从感知到控制的每个环节，机器人技术因此经历了显著变革。从多样化数据中学习的能力，帮助机器人在手工设计系统难以覆盖的广泛场景中泛化。对于机器人操作，从人类示范数据中学习已取得巨大成功 [1]、[2]。更近的研究显示，系统性能会随示范数据集规模的增长而持续提高，甚至可泛化到开放词汇的语言指令 [3]–[6]。然而，现有系统仍受数据集规模，以及人类通过遥操作系统能完成任务的复杂度和多样性所限制。

对操作任务而言，常用遥操作系统从 3D 鼠标 [7]、VR 控制器 [8]、[9] 或摄像头获取控制信号。这些系统抽象掉机器人自身的运动学约束，对新用户可能并不直观。另一方面，机器人领域长期采用能向操作者反馈信息的双边设备 [10]，但其成本通常较高。近期的 ALOHA 系统虽然是单边系统，却用现货机器人臂构成低成本硬件，在精细双臂操作上展现出卓越能力 [11]；但它针对特定机器人臂设计，且需额外机器人臂作为用户控制器，因而成本更高。

本文提出 GELLO：一种面向机器人机械臂的通用、低成本且直观的遥操作框架。GELLO 追求低成本、易构建并且便于人类使用。核心思想是以 3D 打印零件和现货电机作为关节编码器，制作小型、运动学等价的控制器。GELLO 背后的理念本身并非全新；本文贡献可概括为：

1. 以简单、低成本的设计，为三种常用机器人臂提供 GELLO 遥操作系统的可实施方案。

2. 开展综合用户研究，证明它相对文献中其他常见低成本遥操作系统的有效性。

3. 开源复现和操作 GELLO 所需的硬件与软件，以保证其可及性¹。

II. 相关工作

A. 面向操作的遥操作系统

低成本控制器。 遥操作系统历史悠久，许多低成本传感器被用于人机交互接口。常用系统包括操纵杆和 SpaceMouse [12]–[14]、商用 VR 控制器 [15]–[18]、RGB 摄像头 [19]–[22] 或 IMU 传感器 [23]–[25]。但这些控制设备与机器人在形态上不同，用户往往只能在较为抽象的末端执行器空间中遥操作，难以感知机器人臂的运动学约束。这会妨碍操作者在接近运动学奇异位形或自碰撞区域时精确控制机械臂，降低示范吞吐量并增加失败率；VR 与基于摄像头的方案还可能遭遇遮挡和额外延迟。

近期 ALOHA 系统采用基于 Dynamixel 的伺服臂进行精细双臂操作，另两条臂充当控制器 [11]。类似于 [26]–[28] 等传统但昂贵的系统，其遥操作装置本身是尺寸和能力均接近被控机械臂的完整机器人臂，因而会提高成本。GELLO 则以低成本部件构建目标臂的缩比副本，在保留运动学同构控制臂优势的同时提供经济方案。

表 I：常用遥操作系统的价格比较。用户研究表明，GELLO 与其他低成本选项（SpaceMouse 和 VR）相比具有优势，同时又比其他选择低若干数量级。

双边遥操作系统。 与单边遥操作不同，双边遥操作使用户能感受目标臂的力反馈。这是一个活跃研究方向，方法多样。其中一类方法使用与目标机器人同构的额外机器人臂作为控制器 [26]–[31]，可将环境反馈直接传递到控制装置的关节；控制臂与机器人相同的运动学约束，也使用户易于感知这些约束。还有研究为遥操作设计一对一外骨骼 [32]–[34]，但这些系统通常针对特定机器人定制。带触觉反馈的专用输入设备 [35]、[36] 可有形地传达运动学约束，却往往操作空间很小，且需将运动学约束转换为力反馈，从而提高系统复杂度。与之相比，本文提出了一套用于设计价格可负担、易获得、类似外骨骼的单边控制器的通用框架，并为三种广泛使用的机械臂提供实例。GELLO 的可负担性、便携性和可复现性，降低了收集高质量遥操作人类示范的难度。

B. 从人类示范中学习

从示范中学习是使机器人完成多种任务的流行框架 [3]–[5]、[15]、[22]、[37]、[38]。已有工作观察到，学习系统性能随数据集规模扩展；因此，持续有工作收集规模越来越大的数据集 [39]、[40]。但是，收集人类示范昂贵且耗时。例如 [3] 中的数据收集由研究团队持续了 17 个多月。为缓解这一瓶颈，研究者也在改进人机交互，例如在人和机器人之间共享控制 [12]，或让人同时操作多个机器人 [41]；这些工作与我们构建更易获得、更直观遥操作系统的目标相辅相成。直接从人类视频学习 [42]–[46] 也是有前景的方向；直接收集人类执行任务的视频相对便宜，但克服机器人与人类之间的形态差异，对策略学习仍很困难。

III. 遥操作设备设计

GELLO 的设计目标，是为希望在机器人学习中生成高质量示范的用户提供一个经济可及、易于使用的接口。其主要原则如下。

低成本。 我们希望表明，性能可用的系统能够以可负担的价格构建，从而降低准入门槛。系统使用经济的可反向驱动伺服电机、3D 打印部件和极简设计，遥操作方案的成本可低于 300 美元。表 I 给出成本比较；用户研究表明 GELLO 优于其他低成本选择，同时远低于其他系统的成本。

能力强。 GELLO 面向人类操作者，强调易用性。我们在一系列复杂双臂操作和富接触任务上展示其能力。

便携。 在不同任务和环境中收集示范数据的多样性，对学习系统最终性能至关重要。因此 GELLO 被设计得紧凑、自包含，便于运输；我们在实验室与野外环境中展示其执行任务。

易复现。 除现货电机和 3D 打印件外，零件采购很少；装配过程也很直接，对技术专长要求较低。

我们遵循这些原则，为三类机器人臂构建 GELLO，如图 1。方案的关键在于电机选择、运动学等价结构、3D 打印部件和重力补偿。

a) 伺服电机选择

实现 GELLO 的关键，是低成本全功能伺服电机的可获得性。具体而言，我们使用 DYNAMIXEL XL330 系列 [47]。尽管价格低，这些伺服器具备高分辨率 12 位编码器，可测得伺服器位置，从而把控制器构型准确映射到目标臂。原则上，构建 GELLO 甚至不需要伺服器，因为只需读取关节位置；但在实践中，伺服器套件提供了带编码器与通信协议、开箱即用且自包含的解决方案，简化了构建、使用与维护。此外，用户反驱伺服执行器时会感到阻力，它充当自然阻尼并提升稳定性。

b) 缩比、运动学等价的结构

我们把 GELLO 构造成目标臂的缩小版本，并使其运动学结构等价。这意味着 GELLO 的关节和连杆与目标臂直接对应，用户可如同直接控制目标臂一样控制 GELLO 操纵器，类似于动觉示教 [48]。目标关节位置直接发送给目标臂，无需计算逆运动学。当关节接近运动学奇异位形或关节限位时，用户可从控制器感到阻力，因而更能察觉此类失效并实现更可靠的遥操作。小型设计也使控制器便携，同时仍可操纵全尺寸机器人臂。

图 2：GELLO 在有、无重力补偿时的轨迹。上：没有重力补偿时，肘关节下垂，导致后续任务不利的关节构型，甚至可能碰撞桌面。下：实施重力补偿后，肘关节几乎不移动，形成更有利的关节构型。简单使用橡皮筋或弹簧即有效。

c) 3D 打印部件

GELLO 使用 3D 打印部件，因而具有很高的定制性；用户可设计并打印匹配特定机器人硬件的零件。3D 打印使我们易于为三种运动学不同的机器人设计 GELLO，同时也是低成本的零件制造方法，进一步成就 GELLO 的低成本特性。

d) 重力补偿

重力补偿是 GELLO 设计的必要组成部分。它抵消重力对操纵器的作用，使用户更易控制。我们采用朴素但有效的被动重力补偿：利用弹簧或橡皮筋等机械部件抵消操纵器重量。这些部件还充当关节控制正则器，保证机械臂维持“自然”姿态，避免其采取运动学可行但不寻常的位姿，如图 2 所示。我们只为默认静止姿态中抗重力最明显的关节加入重力补偿；在 UR 设计中，这些是第二、第三关节。

图 3：为三种不同机器人臂设计并实现 GELLO。我们在这些机械臂上执行一系列任务，以定性观察遥操作行为。GELLO 的便携、自给式设计使我们能在广泛环境中采集数据。

遵循上述原则，我们为三种常用机械臂——Universal Robot UR5、uFactory xArm7 和 Franka Panda——实现并测试 GELLO。图 3 展示了在不同机器人上可由 GELLO 完成的示例任务。

IV. 实验

我们通过实验评估 GELLO 作为遥操作系统的表现。定量方面，在五项探索不同操作要素的任务中，将 GELLO 与文献中其他常见低成本遥操作系统进行比较；定性方面，在来自三家厂商的机器人上、在多样环境中完成各类操作任务来研究 GELLO。

A. 用户研究流程

我们邀请 12 名参与者，以两台 UR 机器人进行双臂遥操作，评估 GELLO、3D 鼠标和 VR 控制器在受控条件下的相对有效性。图 4 给出实验概览及五项任务细节。使用 3D 鼠标或 VR 控制器时，需要额外调节决定控制器对人类输入灵敏度的缩放参数。我们通过五项任务调节每种设备：既要足够灵敏以完成精细 USB 插入，也要足够灵敏以便在递送香蕉任务中迅速跨越工作空间。

在使用遥操作工具前，每位用户接受 6 分钟简短培训，介绍机器人、遥操作基础和任务要求。为减少偏差，培训不提供针对特定设备的说明，任务演示视频也不展示任何设备。随后依次介绍三种遥操作设备。每次介绍新设备后，用户有 5 分钟练习期以熟悉设备和用法；之后进入任务执行期，放帽子任务的时限为 45 秒，其余任务为 90 秒。对所有三种设备重复上述流程。每名参与者学习三种设备的顺序由实验人员随机安排，以消除固定顺序的潜在偏差。用户被要求在避免自碰撞或与环境碰撞的同时，尽力完成任务；一旦失败即停止机器人并立即终止当前任务。我们记录任务成功、失败类型或完成时间（按适用情况），最后还让用户徒手完成同样任务。

图 4：用户研究的实验设置。绿色区域为主工作空间，呈现由两台 UR5 和完整任务套件构成的双臂机器人工作站。蓝色数字框表示五项任务：（1）把帽子放到架子上；（2）打开盒子并取出其中的眼罩；（3）向厨房区域递送香蕉；（4）叠毛巾；（5）插入 USB 线缆。这些任务用于考察关节式物体交互、大工作空间、可变形物体和精确插入等遥操作挑战。带字母的图像表示三种双臂设备：（A）GELLO、（B）VR（Meta Quest 2）控制器、（C）3D 鼠标（SpaceMouse）。每位用户均用三种设备尝试五项任务。

B. 用户研究结果

表 II 给出了每种遥操作设备在不同任务上的成功率。使用 GELLO 始终获得最高成功率。最简单的任务是将帽子放到架子上，只需控制一条臂，此时 GELLO 与 VR 表现接近。对于更复杂的任务，例如需要双臂在大工作空间中运动的香蕉递送，使用 SpaceMouse 或 VR 控制器会出现更多自碰撞或触及奇异位形等失败，说明 GELLO 在更广泛用例中更易控制。叠毛巾任务中，GELLO 同样明显优于另外两种设备；我们推测原因是 GELLO 提供了更直观的控制，从而改善双臂协调。

表 II：不同遥操作系统的任务成功率。本文方法在所有任务上取得最高成功率。

有趣的是，在 USB 插线任务中，GELLO 也获得高得多的成功率。尽管 VR 或 SpaceMouse 可让用户固定一个控制器、集中注意力控制另一个，从而简化问题——这也是用户常采用的策略——结果仍然如此。表 III 按系统给出失败模式细分。观察结果表明，不同于在笛卡尔空间中操作的其他设备，GELLO 对用户专业技能的要求很低；其超时次数最低也进一步印证了这一点。并且，GELLO 的同构关节结构设计确保其遥操作具有最低碰撞风险。

图 5：不同遥操作系统完成每项任务所需时长的比较。每个任务—系统组合仅绘制成功试验的平均完成时间（越小越好）。彩色点表示每位用户在该组合下的完成时间。蓝色的人类数据为遥操作完成时间的下界，即用户直接徒手完成任务的时间。

表 III：五项任务汇总的各失败模式计数。每个 ✗ 表示本试验中一次该类型失败。“其他”涵盖其他不可恢复的失败，例如将操作物品掉落到机器人够不到的位置。

图 5 汇总了五项任务中每种设备在成功执行时的完成时间。GELLO 的完成时间始终更短。这既表明 GELLO 更易使用、成功率更高，也表明其效率更高：较短完成时间使用户能在给定时间内完成更多成功操作。

C. 遥操作系统能力

我们还在更具挑战性的操作任务上，包括真实世界环境中的任务，展示 GELLO 的能力。图 3 展示其中一些，项目网站提供更多视频。这些任务包括富接触任务、长时程任务和困难的双臂协调任务。给水瓶加水等任务要求机器人臂具备一定负载能力，较小的机械臂难以完成，例如 ALOHA 系统所用 ViperX 臂 [11]。尽管多出一个自由度，GELLO 对 Panda 和 xArm 等 7 自由度机械臂同样有效。我们发现，当需要时，运动学等价结构使用户可直接管理机械臂的零空间；在杂乱空间操作时，这会带来优势。

V. 讨论

由于所用电机的输出扭矩有限，GELLO 不向用户提供力反馈，这限制了其在更富接触任务上的遥操作能力。为保持低成本、提高可及性并适用于所有机器人臂，我们作出这一折中；双边设备也要求目标机器人具有力传感能力。不过，我们希望将此作为可选能力在未来纳入，以支持更高级的使用方式。

本用户研究的对象是只接受简短遥操作教学、且练习时间有限的缺乏经验用户。更多训练能够显著提高用户使用遥操作设备的熟练度，我们将此类研究留给未来工作。

本文介绍了 GELLO，一个面向操作任务的通用低成本遥操作平台。采用两台 UR5 组成的双臂机器人系统的用户研究证明其有效性。为展示通用性并让 GELLO 更易获得，我们为三种机器人设计了 GELLO。我们希望 GELLO 能降低收集大规模、高质量示范数据集的门槛，从而加速机器人学习的进展。