智能佳机器人知识社区

【论文推荐】GELLO：面向机器人机械臂的通用、低成本且直观的遥操作框架

Thu, 08 Oct 2026 23:00:00 +0800

原文题目：GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators

作者：Philipp Wu、Yide Shentu、Zhongke Yi、Xingyu Lin、Pieter Abbeel

单位：加州大学伯克利分校

文中引文编号、图号、表号、数值和参考文献均按原文保留。

图 1：为三种不同机器人构建的 GELLO 遥操作系统。（A）两台 UR5；（B）一台 xArm；（C）一台 Franka。用户通过操控 GELLO 装置遥操作机器人臂。每台 GELLO 装置的物料清单成本低于 300 美元。

摘要

从人类示范中进行模仿学习，是教会机器人新技能的有力框架。然而，所学策略的性能受制于示范数据的质量、规模和多样性。本文提出 GELLO（GeneraL、Low-cost，即“通用、低成本”），旨在降低收集大规模高质量人类示范数据的门槛；它是一种用于构建机器人操作低成本、直观遥操作系统的通用框架。给定目标机器人臂，我们用 3D 打印零件和现货电机作为关节编码器，构造一个与目标臂运动学结构相同的 GELLO 控制器。GELLO 易于制作且直观易用。大规模用户研究表明，相较于模仿学习文献中常用的 VR 控制器和 3D SpaceMouse，GELLO 能更可靠、更高效地收集示范。我们还展示了 GELLO 执行复杂双臂操作和富接触操作任务的能力。为让所有人都能使用 GELLO，我们已为三种常用机器人臂——Franka、UR5 和 xArm——设计并构建了 GELLO 系统，全部软硬件将开源。

I. 引言

近年来，数据驱动方法日益融入从感知到控制的每个环节，机器人技术因此经历了显著变革。从多样化数据中学习的能力，帮助机器人在手工设计系统难以覆盖的广泛场景中泛化。对于机器人操作，从人类示范数据中学习已取得巨大成功 [1]、[2]。更近的研究显示，系统性能会随示范数据集规模的增长而持续提高，甚至可泛化到开放词汇的语言指令 [3]–[6]。然而，现有系统仍受数据集规模，以及人类通过遥操作系统能完成任务的复杂度和多样性所限制。

对操作任务而言，常用遥操作系统从 3D 鼠标 [7]、VR 控制器 [8]、[9] 或摄像头获取控制信号。这些系统抽象掉机器人自身的运动学约束，对新用户可能并不直观。另一方面，机器人领域长期采用能向操作者反馈信息的双边设备 [10]，但其成本通常较高。近期的 ALOHA 系统虽然是单边系统，却用现货机器人臂构成低成本硬件，在精细双臂操作上展现出卓越能力 [11]；但它针对特定机器人臂设计，且需额外机器人臂作为用户控制器，因而成本更高。

本文提出 GELLO：一种面向机器人机械臂的通用、低成本且直观的遥操作框架。GELLO 追求低成本、易构建并且便于人类使用。核心思想是以 3D 打印零件和现货电机作为关节编码器，制作小型、运动学等价的控制器。GELLO 背后的理念本身并非全新；本文贡献可概括为：

1. 以简单、低成本的设计，为三种常用机器人臂提供 GELLO 遥操作系统的可实施方案。

2. 开展综合用户研究，证明它相对文献中其他常见低成本遥操作系统的有效性。

3. 开源复现和操作 GELLO 所需的硬件与软件，以保证其可及性¹。

II. 相关工作

A. 面向操作的遥操作系统

低成本控制器。 遥操作系统历史悠久，许多低成本传感器被用于人机交互接口。常用系统包括操纵杆和 SpaceMouse [12]–[14]、商用 VR 控制器 [15]–[18]、RGB 摄像头 [19]–[22] 或 IMU 传感器 [23]–[25]。但这些控制设备与机器人在形态上不同，用户往往只能在较为抽象的末端执行器空间中遥操作，难以感知机器人臂的运动学约束。这会妨碍操作者在接近运动学奇异位形或自碰撞区域时精确控制机械臂，降低示范吞吐量并增加失败率；VR 与基于摄像头的方案还可能遭遇遮挡和额外延迟。

近期 ALOHA 系统采用基于 Dynamixel 的伺服臂进行精细双臂操作，另两条臂充当控制器 [11]。类似于 [26]–[28] 等传统但昂贵的系统，其遥操作装置本身是尺寸和能力均接近被控机械臂的完整机器人臂，因而会提高成本。GELLO 则以低成本部件构建目标臂的缩比副本，在保留运动学同构控制臂优势的同时提供经济方案。

遥操作设备	约计成本
3D 鼠标（SpaceNavigator [7]）	150 美元
GELLO（本文）	300 美元
VR（Meta Quest 2）[9]	300 美元
机器人对机器人遥操作（如 UR5）	30,000 美元
触觉设备（Omega7 [36]）	40,000 美元

表 I：常用遥操作系统的价格比较。用户研究表明，GELLO 与其他低成本选项（SpaceMouse 和 VR）相比具有优势，同时又比其他选择低若干数量级。

双边遥操作系统。 与单边遥操作不同，双边遥操作使用户能感受目标臂的力反馈。这是一个活跃研究方向，方法多样。其中一类方法使用与目标机器人同构的额外机器人臂作为控制器 [26]–[31]，可将环境反馈直接传递到控制装置的关节；控制臂与机器人相同的运动学约束，也使用户易于感知这些约束。还有研究为遥操作设计一对一外骨骼 [32]–[34]，但这些系统通常针对特定机器人定制。带触觉反馈的专用输入设备 [35]、[36] 可有形地传达运动学约束，却往往操作空间很小，且需将运动学约束转换为力反馈，从而提高系统复杂度。与之相比，本文提出了一套用于设计价格可负担、易获得、类似外骨骼的单边控制器的通用框架，并为三种广泛使用的机械臂提供实例。GELLO 的可负担性、便携性和可复现性，降低了收集高质量遥操作人类示范的难度。

B. 从人类示范中学习

从示范中学习是使机器人完成多种任务的流行框架 [3]–[5]、[15]、[22]、[37]、[38]。已有工作观察到，学习系统性能随数据集规模扩展；因此，持续有工作收集规模越来越大的数据集 [39]、[40]。但是，收集人类示范昂贵且耗时。例如 [3] 中的数据收集由研究团队持续了 17 个多月。为缓解这一瓶颈，研究者也在改进人机交互，例如在人和机器人之间共享控制 [12]，或让人同时操作多个机器人 [41]；这些工作与我们构建更易获得、更直观遥操作系统的目标相辅相成。直接从人类视频学习 [42]–[46] 也是有前景的方向；直接收集人类执行任务的视频相对便宜，但克服机器人与人类之间的形态差异，对策略学习仍很困难。

III. 遥操作设备设计

GELLO 的设计目标，是为希望在机器人学习中生成高质量示范的用户提供一个经济可及、易于使用的接口。其主要原则如下。

低成本。 我们希望表明，性能可用的系统能够以可负担的价格构建，从而降低准入门槛。系统使用经济的可反向驱动伺服电机、3D 打印部件和极简设计，遥操作方案的成本可低于 300 美元。表 I 给出成本比较；用户研究表明 GELLO 优于其他低成本选择，同时远低于其他系统的成本。

能力强。 GELLO 面向人类操作者，强调易用性。我们在一系列复杂双臂操作和富接触任务上展示其能力。

便携。 在不同任务和环境中收集示范数据的多样性，对学习系统最终性能至关重要。因此 GELLO 被设计得紧凑、自包含，便于运输；我们在实验室与野外环境中展示其执行任务。

易复现。 除现货电机和 3D 打印件外，零件采购很少；装配过程也很直接，对技术专长要求较低。

我们遵循这些原则，为三类机器人臂构建 GELLO，如图 1。方案的关键在于电机选择、运动学等价结构、3D 打印部件和重力补偿。

a) 伺服电机选择

实现 GELLO 的关键，是低成本全功能伺服电机的可获得性。具体而言，我们使用 DYNAMIXEL XL330 系列 [47]。尽管价格低，这些伺服器具备高分辨率 12 位编码器，可测得伺服器位置，从而把控制器构型准确映射到目标臂。原则上，构建 GELLO 甚至不需要伺服器，因为只需读取关节位置；但在实践中，伺服器套件提供了带编码器与通信协议、开箱即用且自包含的解决方案，简化了构建、使用与维护。此外，用户反驱伺服执行器时会感到阻力，它充当自然阻尼并提升稳定性。

b) 缩比、运动学等价的结构

我们把 GELLO 构造成目标臂的缩小版本，并使其运动学结构等价。这意味着 GELLO 的关节和连杆与目标臂直接对应，用户可如同直接控制目标臂一样控制 GELLO 操纵器，类似于动觉示教 [48]。目标关节位置直接发送给目标臂，无需计算逆运动学。当关节接近运动学奇异位形或关节限位时，用户可从控制器感到阻力，因而更能察觉此类失效并实现更可靠的遥操作。小型设计也使控制器便携，同时仍可操纵全尺寸机器人臂。

图 2：GELLO 在有、无重力补偿时的轨迹。上：没有重力补偿时，肘关节下垂，导致后续任务不利的关节构型，甚至可能碰撞桌面。下：实施重力补偿后，肘关节几乎不移动，形成更有利的关节构型。简单使用橡皮筋或弹簧即有效。

图 3：本文对实施简单的关节正则化对维持远程操作装置在不同高度静止状态所需力的影响进行了定量分析。未进行关节正则化时，测得的抵抗重力所需的力约为1.9N，且数值恒定。这使得操作者难以感知机器人的运动极限。进行正则化后，我们发现，在靠近工作台的位置，恢复力有助于降低补偿重力所需的力；而在远离工作台的位置，则提供更大的恢复力，从而引导用户避开奇异点。

c) 3D 打印部件

GELLO 使用 3D 打印部件，因而具有很高的定制性；用户可设计并打印匹配特定机器人硬件的零件。3D 打印使我们易于为三种运动学不同的机器人设计 GELLO，同时也是低成本的零件制造方法，进一步成就 GELLO 的低成本特性。

d) 重力补偿

重力补偿是 GELLO 设计的必要组成部分。它抵消重力对操纵器的作用，使用户更易控制。我们采用朴素但有效的被动重力补偿：利用弹簧或橡皮筋等机械部件抵消操纵器重量。这些部件还充当关节控制正则器，保证机械臂维持“自然”姿态，避免其采取运动学可行但不寻常的位姿，如图 2 所示。我们只为默认静止姿态中抗重力最明显的关节加入重力补偿；在 UR 设计中，这些是第二、第三关节。

图 3：为三种不同机器人臂设计并实现 GELLO。我们在这些机械臂上执行一系列任务，以定性观察遥操作行为。GELLO 的便携、自给式设计使我们能在广泛环境中采集数据。

遵循上述原则，我们为三种常用机械臂——Universal Robot UR5、uFactory xArm7 和 Franka Panda——实现并测试 GELLO。图 3 展示了在不同机器人上可由 GELLO 完成的示例任务。

控制器连杆长度按比例 α 缩放，本文实现采用 α=0.5。DYNAMIXEL 编码器的关节测量误差在一个机械角度的 0.088° 以内。软件栈采用 DYNAMIXEL Python API 直接读取 GELLO 关节角，再通过各机器人自己的 Python API 向跟随臂下发关节命令；进程之间使用 ZMQ [60] 传递消息，并提供用于扩展新机器人类型的简单协议。该直接关节控制设置使软件栈保持简单，也避免了逆运动学计算。

IV. 实验

我们通过实验评估 GELLO 作为遥操作系统的表现。定量方面，在五项探索不同操作要素的任务中，将 GELLO 与文献中其他常见低成本遥操作系统进行比较；定性方面，在来自三家厂商的机器人上、在多样环境中完成各类操作任务来研究 GELLO。

A. 用户研究流程

我们邀请 12 名参与者，以两台 UR 机器人进行双臂遥操作，评估 GELLO、3D 鼠标和 VR 控制器在受控条件下的相对有效性。图 4 给出实验概览及五项任务细节。使用 3D 鼠标或 VR 控制器时，需要额外调节决定控制器对人类输入灵敏度的缩放参数。我们通过五项任务调节每种设备：既要足够灵敏以完成精细 USB 插入，也要足够灵敏以便在递送香蕉任务中迅速跨越工作空间。

在使用遥操作工具前，每位用户接受 6 分钟简短培训，介绍机器人、遥操作基础和任务要求。为减少偏差，培训不提供针对特定设备的说明，任务演示视频也不展示任何设备。随后依次介绍三种遥操作设备。每次介绍新设备后，用户有 5 分钟练习期以熟悉设备和用法；之后进入任务执行期，放帽子任务的时限为 45 秒，其余任务为 90 秒。对所有三种设备重复上述流程。每名参与者学习三种设备的顺序由实验人员随机安排，以消除固定顺序的潜在偏差。用户被要求在避免自碰撞或与环境碰撞的同时，尽力完成任务；一旦失败即停止机器人并立即终止当前任务。我们记录任务成功、失败类型或完成时间（按适用情况），最后还让用户徒手完成同样任务。

图 4：用户研究的实验设置。绿色区域为主工作空间，呈现由两台 UR5 和完整任务套件构成的双臂机器人工作站。蓝色数字框表示五项任务：（1）把帽子放到架子上；（2）打开盒子并取出其中的眼罩；（3）向厨房区域递送香蕉；（4）叠毛巾；（5）插入 USB 线缆。这些任务用于考察关节式物体交互、大工作空间、可变形物体和精确插入等遥操作挑战。带字母的图像表示三种双臂设备：（A）GELLO、（B）VR（Meta Quest 2）控制器、（C）3D 鼠标（SpaceMouse）。每位用户均用三种设备尝试五项任务。

B. 用户研究结果

表 II 给出了每种遥操作设备在不同任务上的成功率。使用 GELLO 始终获得最高成功率。最简单的任务是将帽子放到架子上，只需控制一条臂，此时 GELLO 与 VR 表现接近。对于更复杂的任务，例如需要双臂在大工作空间中运动的香蕉递送，使用 SpaceMouse 或 VR 控制器会出现更多自碰撞或触及奇异位形等失败，说明 GELLO 在更广泛用例中更易控制。叠毛巾任务中，GELLO 同样明显优于另外两种设备；我们推测原因是 GELLO 提供了更直观的控制，从而改善双臂协调。

设备	帽子	眼罩	香蕉	毛巾	USB	平均
GELLO	0.92	0.92	1.00	0.92	0.83	0.92
3D 鼠标	0.75	0.58	0.67	0.58	0.58	0.63
VR	0.92	0.83	0.75	0.58	0.50	0.72

表 II：不同遥操作系统的任务成功率。本文方法在所有任务上取得最高成功率。

有趣的是，在 USB 插线任务中，GELLO 也获得高得多的成功率。尽管 VR 或 SpaceMouse 可让用户固定一个控制器、集中注意力控制另一个，从而简化问题——这也是用户常采用的策略——结果仍然如此。表 III 按系统给出失败模式细分。观察结果表明，不同于在笛卡尔空间中操作的其他设备，GELLO 对用户专业技能的要求很低；其超时次数最低也进一步印证了这一点。并且，GELLO 的同构关节结构设计确保其遥操作具有最低碰撞风险。

图 5：不同遥操作系统完成每项任务所需时长的比较。每个任务—系统组合仅绘制成功试验的平均完成时间（越小越好）。彩色点表示每位用户在该组合下的完成时间。蓝色的人类数据为遥操作完成时间的下界，即用户直接徒手完成任务的时间。

失败模式	GELLO	3D 鼠标	VR
超时	✗	✗✗✗✗✗✗✗✗✗	✗✗✗✗✗
自碰撞	✗	✗✗✗✗✗	✗✗✗✗✗
环境碰撞	✗✗✗	✗✗✗✗✗✗	✗✗✗✗✗✗
其他	✗✗	✗	✗

表 III：五项任务汇总的各失败模式计数。每个 ✗ 表示本试验中一次该类型失败。“其他”涵盖其他不可恢复的失败，例如将操作物品掉落到机器人够不到的位置。

图 5 汇总了五项任务中每种设备在成功执行时的完成时间。GELLO 的完成时间始终更短。这既表明 GELLO 更易使用、成功率更高，也表明其效率更高：较短完成时间使用户能在给定时间内完成更多成功操作。

C. 遥操作系统能力

我们还在更具挑战性的操作任务上，包括真实世界环境中的任务，展示 GELLO 的能力。图 3 展示其中一些，项目网站提供更多视频。这些任务包括富接触任务、长时程任务和困难的双臂协调任务。给水瓶加水等任务要求机器人臂具备一定负载能力，较小的机械臂难以完成，例如 ALOHA 系统所用 ViperX 臂 [11]。尽管多出一个自由度，GELLO 对 Panda 和 xArm 等 7 自由度机械臂同样有效。我们发现，当需要时，运动学等价结构使用户可直接管理机械臂的零空间；在杂乱空间操作时，这会带来优势。

V. 讨论

由于所用电机的输出扭矩有限，GELLO 不向用户提供力反馈，这限制了其在更富接触任务上的遥操作能力。为保持低成本、提高可及性并适用于所有机器人臂，我们作出这一折中；双边设备也要求目标机器人具有力传感能力。不过，我们希望将此作为可选能力在未来纳入，以支持更高级的使用方式。

本用户研究的对象是只接受简短遥操作教学、且练习时间有限的缺乏经验用户。更多训练能够显著提高用户使用遥操作设备的熟练度，我们将此类研究留给未来工作。

本文介绍了 GELLO，一个面向操作任务的通用低成本遥操作平台。采用两台 UR5 组成的双臂机器人系统的用户研究证明其有效性。为展示通用性并让 GELLO 更易获得，我们为三种机器人设计了 GELLO。我们希望 GELLO 能降低收集大规模、高质量示范数据集的门槛，从而加速机器人学习的进展。

JoyLo遥操R1 Pro-连接Joy-Con蓝牙手柄

Thu, 24 Sep 2026 22:00:00 +0800

第一次连接蓝牙手柄，需要配对、连接

bluetoothctl

如果是已经配对过的，直接连接：

按任意按键或短按 SYNC 唤醒。

sudo rfkill unblock bluetooth

sudo systemctl restart bluetooth

sleep 2

bluetoothctl power on

然后连接：

bluetoothctl connect C8:91:43:5F:60:C6

bluetoothctl connect C8:91:43:5F:3B:D4

查看状态：

bluetoothctl info C8:91:43:5F:60:C6 | grep "Connected:"

bluetoothctl info C8:91:43:5F:3B:D4 | grep "Connected:"

JoyLo遥操R1 Pro-Dynamixel 舵机ID 与关节校准

Thu, 24 Sep 2026 21:00:00 +0800

cd ~/projects/BEHAVIOR-1K

conda activate behavior

python joylo/scripts/scan_and_reboot.py \
  --port /dev/ttyUSB0 \
  --baudrate 2000000 \
  --protocol 2.0

零点标定

JoyLo遥操R1 Pro-启动 MuJoCo 遥操作

Thu, 24 Sep 2026 20:00:00 +0800

终端1：启动服务端

cd ~/projects/r1_pro_mujoco

conda activate behavior

python mujoco_robot_server.py \
  --model ~/projects/r1_pro_mujoco/r1_pro_teleop_visual_obj.xml \
  --host 127.0.0.1 \
  --port 6001

终端2：启动 JoyLo

cd ~/projects/BEHAVIOR-1K/

conda activate behavior

python joylo/scripts/run_joylo.py \

python joylo/scripts/run_joylo.py \
  --robot-port 6001 \
  --hostname 127.0.0.1 \
  --hz 100 \
  --gello-model r1pro \
  --gello-name default \
  --gello-port /dev/ttyUSB0 \
  --damping-motor-kp 0.0 \
  --use-joycons

Microduck机器鸭资料领取

Mon, 21 Sep 2026 23:30:00 +0800

手搓microduck保姆级完整教程！一步一步带你从零开始做鸭，小白也能复刻！

关于仿真代码

模拟器

智能佳—XL330-M288-T舵机使用教程

OpenRB-150资料领取

DynamixelWizard2 Dynamixel舵机调试软件以及U2D2等驱动下载地址：

序号	软件	描述	安装
1	DynamixelWizard2Setup-windows-x64.exe	（Windows版本）舵机测试校准向导V2.0
2	DynamixelWizard2Setup-linux-x64.run	（Linux_x64版本）舵机测试校准向导V2.0
3	DynamixelWizard2Setup-linux-arm64.run	（Linux_ARMx64版本）舵机测试校准向导V2.0
4	DynamixelWizard2_Mac OS	（Mac版本）舵机测试校准向导V2.0
5	U2D2 USB驱动	U2D2 USB驱动

Dynamixel SDK

序号	软件	描述
1	DYNAMIXEL SDK	版本4.0.5

3D打印效果

认识 Microduck

Sun, 20 Sep 2026 23:59:00 +0800

Microduck热门舵机XL330-M288-T介绍 立即采购

去年，我们发布了 Reachy Mini——一款为人机交互打造的小型桌面机器人。自那以后，已有超过 10,000 台 Reachy Mini 走进世界各地用户的生活。在打造 Reachy Mini 的过程中，我们不断回到另一个问题：如果一台小型机器人最主要的任务不是待在桌面上与你互动，而是在现实世界中移动，它会是什么样子？

Microduck 正是从这个问题中诞生的。

Microduck 是一款身高 25 厘米的双足机器人，配备 15 个电机、一枚摄像头、一枚小型深度传感器、两枚 IMU，以及一个可以拾取物体的可动喙。它能够行走、坐下、蹲下，从许多常见的跌倒姿势中重新站起，甚至还能穿轮滑鞋。它的重量不到 800 克，可以放在桌面上；目前已开放预订，税费和运费之前的价格为 399 美元。

一种不同类型的小型机器人

Microduck 不是“长了腿的 Reachy Mini”。

Reachy Mini 围绕交互而设计。它能够看、听、说，并使用头部和身体表达信息。语音是它的主要交流媒介，因此它非常适合开发对话式 AI、尝试视觉模型，以及构建富有表现力的人机交互。

Microduck 则从具身智能的另一端出发：行动。如何教会机器人移动？如何在仿真中训练一个行为，将其迁移到真实硬件上，发现问题后再重新尝试？当机器人能够离开桌面、携带物体、摔倒并自行恢复时，又会发生什么变化？对于希望训练物理行为、尝试强化学习，并测试 AI 如何从仿真走向现实的开发者而言，Microduck 是一个理想平台。

可以这样简单理解这两款机器人：Reachy Mini 是用于交互型 AI 的平台，而 Microduck 是用于行动型 AI 的平台。它们秉持相同的理念：第一次开机时应当有趣，开始编程时应当易于上手，并且随着项目成长，能够成为足够强大的专业开发平台。

为什么要做得这么小

学习运动控制并不容易。机器人必须不断尝试、失败，再次尝试。对于大型人形机器人来说，每一次失败都可能代价高昂、难以复位，或者在机器人实验室之外运行时存在安全风险。

Microduck 的小巧与轻量改变了这一体验。一次失败的行为通常只是让一台小机器人倒在地上，而不会造成严重事故。它的尺寸让用户更容易在家里、教室或普通工作台上进行实验。自我恢复功能也意味着你不必每次失败后都把它捡起来。

小尺寸还有助于控制价格并简化部署。我们希望，即使没有大型研究平台或专门的机器人实验室，用户也能够学习足式运动。

25 厘米高、重量不到 800 克：它可以放在手中，也可以放在训练它的两台笔记本电脑之间的桌面上。

鸭子的形象自然来源于机器人的比例、喙和摇摆式步态。我们保留了这一形象，因为它让机器人更容易接近，同时又不会掩盖其内部的机械结构。它依然是一台清晰可见的机器人，只是没有把自己看得太严肃。

工业设计也采用了同样的思路。Microduck 比 Reachy Mini 更加色彩鲜明，共有四种配色：奶油色、石墨色、薰衣草色和天空蓝。我们希望它在开始移动之前就显得充满活力，也希望多台机器人放在一起时，看起来像一群各具个性的角色，而不是一排完全相同的机器。

先从乐趣开始内部保持开放

我们不希望 Microduck 成为一款只有经过整个周末的配置后才会变得有趣的开发套件。它预装了经过学习的行为，因此开箱后即可开始使用。你可以用游戏手柄让它行走，让它跟随激光点，触发动作，或者让它对周围环境作出反应。重点是让第一次互动立即发生，即使你从未写过代码也一样。

抓取并携带：机器人整体下沉，喙部闭合，物体随之被带走。

Microduck 的表达方式也与 Reachy Mini 截然不同。它不会用语言说话，而是通过一些古怪的小声音进行交流，更像一只生物，而不是一名助手。每台 Microduck 第一次苏醒时都会获得独属于自己的声音身份，并与这台机器人绑定，终身保持一致。

如果你想进一步探索，同一台机器人也会变成完整的开发平台。它的开源软件栈覆盖机器人控制、仿真、强化学习以及仿真到现实的部署。软件现已开放：Microduck 主仓库包含 SDK 和机器人软件，Microduck RL 仓库包含强化学习与 sim-to-real 工具。

同一个学习行为的并列展示：左侧为仿真器，右侧为真实机器人。

未来的文章中，我们会进一步深入技术细节。对于本次发布，最重要的是：随 Microduck 提供的行为并不是对机器人能力的永久定义，而只是一个起点。

我们希望接下来发生什么

我们在内部得到的一条非常“不科学”的经验是：几台 Microduck 放在一起时，大约会有十倍的乐趣。比赛、踢足球，或者只是让机器人彼此作出反应，都会立刻让体验变得更加生动。对于开发者而言，这也提供了一种实用方式，可以在不准备一整间昂贵硬件实验室的情况下探索多机器人行为。

三个机器人踢足球会更好玩。据说，四个机器人比赛会更精彩。

我们已经列出了一份希望构建的行为清单，但更有意思的清单将来自社区。新的行走方式、更好的恢复策略、课堂实验，或者某些我们尚未想到的创意——我们希望这些想法能够被轻松复现、修改和分享。

Hugging Face 也因此自然地参与其中。模型之所以有价值，是因为人们可以在彼此工作的基础上继续构建。我们希望物理行为也能够以同样的方式变得更容易分享，并且同时分享复现它们所需的环境与训练方案。

Microduck 不会解决机器人领域的所有难题，这也不是我们的目标。我们希望它能够让其中一些问题更容易接近，让更多人拥有一条切实可行的路径，去理解 AI 如何从仿真环境走进真实机器。

Microduck 核心团队：Antoine、Augustin、Matthieu、Coralie 和 Anne-Charlotte。

原文来源：Pollen Robotics，Meet Microduck。
https://pollen-robotics.com/microduck/blog/introducing-microduck/

Microduck配色/装配网页

Sun, 20 Sep 2026 22:00:00 +0800

https://lathamz.github.io/microduck-color-studio/

https://ley-wl.github.io/microduck-guide/

【论文推荐】FACTR：面向接触密集型策略学习的力感知课程训练

Fri, 11 Sep 2026 09:00:00 +0800

原文题目：FACTR: Force-Attending Curriculum Training for Contact-Rich Policy Learning

作者：Jason Jingzhou Liu、Yulong Li、Kenneth Shaw、Tony Tao、Ruslan Salakhutdinov、Deepak Pathak

单位：卡内基梅隆大学（Carnegie Mellon University）

说明：Jason Jingzhou Liu 与 Yulong Li 贡献相同。本文公式、图号、表号和参考文献编号均与原论文保持一致。

图 1　FACTR。左：低成本主从遥操作装置通过驱动主端机械臂与夹爪的舵机实现力反馈，提高遥操作成功率、完成速度和易用性。右：FACTR 行为克隆策略利用机器人力信息，在接触密集型任务中提升对不同几何形状和纹理物体的性能与泛化能力。

摘要

人类执行的许多接触密集型任务——例如搬起箱子或擀面团——都依赖力反馈来保证可靠完成。然而，虽然大多数机械臂都能直接提供这类力信息，它在遥操作和策略学习中却并未得到普遍利用。因此，机器人的行为往往局限在不需要复杂力反馈的准静态运动学任务上。

本文首先提出一套低成本、直观的双向遥操作装置：它把从端机械臂受到的外力反馈到主端机械臂，从而便于采集复杂接触密集型任务的数据。随后，作者提出策略学习方法 FACTR。该方法在训练过程中以逐渐减弱的强度破坏视觉输入，形成一种课程。它可以避免基于 Transformer 的策略过拟合视觉输入，并引导策略正确关注力模态。

实验表明，充分利用力信息后，与没有课程的基线方法相比，FACTR 对未见物体的泛化能力提升了 43%。

一、引言

从搬箱子、擀面团，到磕鸡蛋、开门，接触密集型任务无处不在。它们看似简单，实际却涉及复杂的力交互，并要求操作者根据力反馈进行精确调整。人类高度依赖这种反馈，因此能跨任务、跨物体泛化，并自然适应外观和几何形状的变化。

但在机器人学习中，力信息仍未被充分利用，即使 Franka Panda、KUKA LBR iiwa 等现代机械臂本身就能提供它。包括行为克隆在内的大多数数据驱动方法，在数据采集和策略学习阶段主要依赖视觉反馈，忽略了力的关键作用。这限制了纯视觉策略对新物体的泛化。例如，双臂抬箱子时，决定动作的主要因素是箱体几何形状，颜色和纹理并不重要。此时，力反馈能够清楚地提示模式切换——比如是否已经建立接触——因此比单纯依赖视觉更有利于物体泛化。

力反馈利用不足，一个重要原因是缺少既直观、低成本，又能在采集数据时记录力反馈的遥操作系统。近年来，低成本主从系统开始流行：操作者控制主端机械臂，从端机械臂镜像其关节运动。然而，这类系统通常是被动、单向的：主端关节没有驱动，主端也接收不到从端的信息。对于需要精确调力的动态接触任务，这会显著增加操作难度。

为此，作者提出一种低成本双向遥操作系统：从端测得外部关节力矩后，将其传给主端并驱动主端电机，从而产生力反馈。电机驱动同时支持主动重力补偿，并能处理机械臂冗余自由度带来的运动学多解问题。四项接触密集型任务的用户研究显示，这些改进带来了：

· 任务完成率提高 64.7%；

· 完成时间缩短 37.4%；

· 主观易用性提高 83.3%。

图 2　带力反馈的低成本双臂遥操作系统。系统包括两条有源主端机械臂、两条带外部关节力矩传感能力的从端机械臂、一台前视相机和两台腕部相机。

第二个挑战，是怎样把机器人力信息真正有效地纳入策略学习。扩散策略和动作分块 Transformer 等方法在精细操作上表现出色，却常常难以泛化到外观和几何形状不同的未见物体。人类在建立接触后可以忽略无关视觉细节，只依赖力反馈完成抬箱子、擀面团等任务。可是，把力直接加入策略输入并不够：策略常会过拟合视觉模态，实际上忽略力数据。原因在于，接触力信号的区分度通常较低；在机械臂尚未接触环境时，它可能长时间接近零。若训练时不加干预，策略很容易选择视觉这条“捷径”。

FACTR 通过课程训练缓解这种模态失衡。它在训练早期对视觉输入施加强高斯模糊或强下采样，随后逐渐降低破坏尺度、恢复视觉细节。这样，策略在初期被鼓励更多关注力信息，随着训练推进再逐步平衡视觉和力。作者还基于神经切线核（NTK）给出简化情形下的理论分析，并在像素空间和潜空间中测试不同算子与调度器。

本文贡献可概括为两点：

1. 带力反馈的低成本遥操作。 设计双向主从遥操作系统，提供力反馈、重力补偿和冗余解析；用户研究中，任务完成率提升 64.7%，易用性提升 83.3%。

2. 力关注课程训练。 提出 FACTR，使策略更好地学习使用力反馈，并增强对物体外观和几何形状的泛化。在四项任务上，相比同样输入力信息但不采用课程的策略，性能平均提升 40.0%。

二、相关工作

2.1 使用力信息的模仿学习

模仿学习借助示范训练机器人策略，近年来取得了显著进展。传统方法主要使用视觉和关节位置，但许多现实任务必须显式利用力反馈，才能提高稳定性、适应性与安全性。已有研究把夹爪力或触觉信号加入示范学习，使策略能够处理细小、易碎物体，或完成削蔬菜皮等强接触任务。

相比之下，机械臂自身的关节力矩数据仍研究不足。有的方法借助末端力传感器，在动觉示教中估计柔顺参数或虚拟位置目标；也有方法把力矩感知并入扩散策略，推断用于底层控制的六维力/力矩。

不过，简单地把力反馈加入策略仍可能导致策略过拟合视觉并忽略力。FoAR 通过显式预测接触/非接触阶段来调节视觉与力的融合，但需要额外标注。FACTR 则利用课程把视觉与力有效融合，无须接触阶段标签，并让策略通过力提升物体泛化。

2.2 带力反馈的低成本遥操作系统

围绕低成本、高质量数据采集，研究者提出了手持夹爪和主从系统。手持夹爪天然能让操作者感到力，但通常不直接记录力数据；近期工作通过增设力传感器缓解了这一问题。可手持设备受制于人手与机器人的运动学差异，产生的命令未必能由机器人执行。

主从系统没有这一问题，却往往缺少力反馈。Kobayashi 等人的双向系统会在主、从端关节位置存在差异时给主端附加力矩；然而，从端在无接触运动时，操作者也会感到它的惯性、摩擦等动力学作用，降低易用性和精度。本文的方法只把从端的外部关节力矩反馈给主端，使操作者感知环境约束，同时不受从端内部摩擦和惯性干扰。

三、FACTR 低成本双向遥操作系统

GELLO、ALOHA 等主从系统通过关节空间映射，让从端把主端关节位置作为目标，因而简单、直观、成本低。操作者能够自然感知从端的运动学约束；但多数系统没有力反馈，无法感知环境几何约束。其主端虽然使用可驱动舵机，却通常保持被动，还需借助外部框架、橡皮筋或绳索抵消重力，降低了便携性。

本文充分利用主端机械臂与夹爪中的舵机。主端由现成舵机和 3D 打印件组成，是从端在运动学上等价的缩小版本；主动驱动后，系统拥有力反馈、可定制的冗余解析、重力与摩擦补偿以及关节限位规避能力。低成本硬件因此获得了过去通常只见于昂贵遥操作设备的功能。

3.1 力反馈

力反馈让操作者直接感到机器人与环境的交互，尤其适合接触密集型或视觉受限任务。系统把从端感知的外部关节力矩反馈到主端：

其中，是缩放常数，是从端测得的外部关节力矩，和是力反馈的 PD 增益。按主、从端最大力矩之比计算；阻尼项可减少从端接触环境时主端的振荡。系统只传递外力，因此操作者不会感到从端运动中的内部摩擦和惯性；作者还通过缩小反馈力改善操作精度、降低认知负担。

平行夹爪没有外部力传感器，因此系统利用从端夹爪舵机的当前电流估计力反馈：

是发送给主端夹爪的反馈力矩，是从端夹爪舵机电流，是指数移动平均滤波系数。系统取=0.1。

第一个公式是：远端接触力按比例传给操作者，并加阻尼防抖。

第二个公式是：夹爪没力传感器时，用电机电流猜夹力/阻力，再平滑后反馈给主端，让操作者感觉夹到了什么。

核心目的：让人“感觉远端环境”，但只反馈外部交互力，过滤掉机器自身惯性和摩擦，并降低抖动和操作负担。

3.2 可定制的冗余解析

对运动学冗余机械臂，如果不调节关节空间，机械臂会在重力作用下漂移到不理想姿态。GELLO 用弹簧等机械部件正则化关节空间，却会在末端产生随构型变化、分布不均的力，也无法让用户指定冗余解析目标。在狭窄空间，这会限制可达性并导致碰撞。

图 3　可定制关节正则化。左：固定关节正则化目标限制可达性，在狭窄空间引发碰撞。右：用户可为主端指定静止关节构型，使从端在狭窄空间仍能到达目标。

本文用零空间投影控制律调节关节位置：

是机械臂雅可比矩阵，是用户指定的静止姿态，、是零空间投影的 PD 增益，为零空间投影矩阵。该控制能把关节稳定在任意指定姿态，又不向末端附加额外作用力。

3.3 重力补偿

为了让主端在操作者停手时保持静止，系统用递归牛顿—欧拉算法实时计算逆动力学，实现重力补偿：

其中，是质量/惯性矩阵，是科里奥利与离心项矩阵，是重力向量。

3.4 其他补偿与控制

系统还提供：用于降低主端感知摩擦的；基于人工势场、用于避免主端超出从端关节范围的关节限位控制；以及基于黎曼运动策略（Riemannian Motion Policies）的双臂动态避障。细节见附录九。

3.5 主端总控制律

各项力矩分别负责外力反馈、零空间冗余解析、重力补偿、摩擦补偿和关节限位，最终施加到主端舵机的合力矩为：

四、FACTR：力关注课程训练

简单地把机器人力数据并入策略，并不一定提升策略。非接触阶段的力信号长时间接近零，区分信息有限，所以策略容易忽略力、主要依赖视觉。FACTR 用高斯模糊或下采样逐步破坏视觉信息，并在训练中逐渐减小破坏程度。训练早期，力模态因而被迫发挥更大作用。

图 4　FACTR 在不过拟合视觉的前提下融合力信息。RGB 图像与外部关节力矩分别经视觉编码器和力编码器转为 token，再送入动作 Transformer 预测未来关节位置目标。课程可作用于像素空间或潜空间，其尺度从大到小逐渐衰减。

4.1 问题定义与基础模型

给定时刻 t 的视觉观测 I_t 与外部关节力矩 \tau_t，策略 \pi_\theta 输出长度为 k 的未来关节位置动作块 \hat q_{t:t+k}。作者从专家轨迹数据集 \mathcal D 中用行为克隆训练，损失为：

模型是融合视觉与力的编码器—解码器 Transformer。预训练 ViT 把图像编码为 M_v 个 d 维视觉 token，MLP 把关节力矩编码为一个力 token；二者拼接后由 Transformer 编码器处理。解码器接收 k 个动作 token，并通过自注意力和对编码结果的交叉注意力生成未来动作。

解码器每层中，动作 token 对视觉 token 与力 token 的交叉注意力分别记为 \alpha_V^{(l)} 与 \alpha_F^{(l)}。它们反映动作在第 l 层对两种模态的关注程度，也是后文分析“策略究竟有没有使用力”的主要依据。最后，MLP 把解码器输出投影到动作空间。

4.2 力关注课程

实验发现，训练时直接把力与视觉拼接，策略常会忽略力输入。FACTR 因而逐渐“揭开”视觉细节，让模型先学会使用力。作者定义像素空间算子 \beta_P(I,\sigma_n) 和潜空间算子 \beta_L(z,\sigma_n)；\sigma_n 是随总计 N 个梯度步骤变化的尺度，例如高斯核标准差或最大池化核尺寸。

训练时，像素空间课程把 \beta_P 施加到图像 I_t；潜空间课程把 \beta_L 施加到视觉潜 token。较大的尺度会使不同视觉输入在度量空间中更相近，从而让力模态作出更多贡献。随着 \sigma_n 下降，视觉的判别细节逐渐恢复。

4.3 课程算子

作者考察两类算子：

3. 高斯模糊。 像素空间中用标准差为 \sigma_n 的高斯核卷积图像；潜空间中对视觉 token 加入方差与尺度相关的高斯扰动。尺度越大，视觉输入越难区分。

4. 下采样。 像素空间中先把图像缩小，再恢复到原尺寸；潜空间中对 token 序列进行最大池化。尺度越大，保留的视觉细节越少。

高斯模糊的 NTK 分析表明：训练早期的大尺度模糊压制高频视觉变化，使不同视觉输入更相似，视觉分支的判别力降低，梯度因而更倾向于更新力编码器。随着尺度减小，视觉分支重新获得细粒度判别能力。

4.4 课程调度器

在第 n=1,\ldots,N 个训练步骤，调度器控制尺度 \sigma_n。论文比较常数、线性、余弦、指数和阶跃五种方案。线性调度可写为 \sigma_n=\sigma_0(1-n/N)；余弦调度平滑衰减；指数调度按指数速度下降；阶跃调度则在预设训练阶段离散减小尺度。

*算法 1：力关注课程训练（FACTR）*

给定专家数据集、动作块长度、总训练步数、像素/潜空间算子和尺度调度器。

初始化预训练 ViT、力 MLP 编码器与动作分块 Transformer。

每轮从数据集采样图像、外部关节力矩和专家动作。

按调度器得到当前尺度；若使用像素空间课程，则先处理图像。

编码视觉 token；若使用潜空间课程，则再处理视觉 token。

编码力 token，联合两种 token 预测动作块。

计算均方误差，并用 Adam 更新全部参数。

五、评估

5.1 实验设置

作者设置了四项接触密集型任务。所有任务均使用 Franka Panda 机械臂和 OpenManipulator-X 夹爪，RGB 观测来自前方 ZED2 相机或安装在夹爪附近的腕部相机。

图 5　四项任务及训练/测试物体。任务要求机器人在操纵外观和几何形状未见过的物体时，感知并响应力反馈。

· 双臂抬箱（Box Lift）：两臂抬起箱子并在空中保持平衡至少 2 秒。输入为前视图像和两臂外部关节力矩。

· 非抓取式翻转（Non-Prehensile Pivot）：机器人把物体抵住治具角点旋转，直至翻转 90° 并能稳定站立。输入为前视图像和单臂外部关节力矩。

· 水果抓取放置（Fruit Pick and Place）：抓起柔软、易损的水果并放入碗中。输入为腕部图像和夹爪外部力矩。

· 擀面团（Rolling Dough）：连续滚动面团至少 8 秒，使其成为圆柱形。输入为前视图像和机械臂外部关节力矩。

5.2 遥操作评估

作者将完整系统——有源主端、力反馈、重力补偿和冗余解析——与采用机械关节正则化的无源主从基线比较。结果显示，本文系统的完成率提高 64.7%，完成时间缩短 37.4%，主观易用性提高 83.3%。

需要机械臂与物体持续接触的任务，例如非抓取式翻转和双臂抬箱，在无源系统上经常发生接触丢失。没有力反馈时，操作者无法通过主端感知环境的几何约束，很难稳定维持接触。

此外，无源系统在持续接触中常让从端超过关节速度限制。操作者可能把主端移到与从端差异很大的姿态；一旦失去接触，关节空间误差使 PID 控制器产生大力矩，引起突然运动。本文系统则通过主端呈现环境约束，阻止操作者在接触阶段把主端移得离从端过远。

图 7　用户研究。与无源主从系统相比，FACTR 遥操作系统显著提高完成率、缩短完成时间，并让参与者主观上感觉更易使用。

5.3 策略评估

实验关注两个问题：FACTR 相比纯视觉基线、以及“使用力但不采用课程”的基线表现如何？不同课程参数又怎样影响性能？

作者用遥操作系统为每项任务收集 50 条示范，并在完全相同的超参数下比较：

· ACT（仅视觉）：只接收视觉观测的动作分块 Transformer；

· ACT（视觉+力）：同时接收视觉和力，但不使用课程；

· FACTR：使用潜空间高斯模糊与线性调度的力关注课程。

每个任务、每个物体评估 5～10 次，并分别报告训练物体与测试物体的平均成功率。

图 6　FACTR 带来更好的物体泛化。上：训练物体；下：测试物体。绿色为仅视觉 ACT，橙色为视觉+力 ACT，蓝色为 FACTR。

在大多数任务的训练物体上，三种策略表现接近。擀面团是例外：纯视觉策略只会压扁面团而不会滚动，因而完全失败。滚动过程中，相邻时刻的视觉观测非常相似，力信号却呈明显周期性；这一振荡模式能够帮助力感知策略判断运动阶段。

图 8　擀面团轨迹中的 Franka 外部关节力矩范数。蓝色是接触前阶段，紫色和绿色分别标出机械臂到达面团左右端时的力矩峰谷。周期性力矩让策略在视觉相似时仍能区分状态。

对测试物体，纯视觉策略平均成功率仅 21.3%；直接加入力但没有课程时为 61.2%；FACTR 达到 87.5%。力在“机械臂接触箱体”“夹爪抓住水果”等时刻提供了模式切换信号，而课程使策略真正学会利用这些信号。

FACTR 学会识别模式切换

作者把第一层解码器中，动作 token 对视觉与力 token 的平均交叉注意力可视化。FACTR 在执行任务时明显更关注力。抬箱子时，一旦两臂接触箱体，对力的注意力就超过对视觉的注意力，表示策略识别到了模式切换。没有课程时，策略对力关注不足，常常无法抬起或平衡新箱体。

图 9　FACTR 学会识别模式切换。左：没有课程时，策略对力关注不足。右：FACTR 在机械臂接触箱体时让力注意力超过视觉注意力，从而完成任务。

FACTR 带来更好的恢复行为

恢复实验从策略第一次成功抬箱开始，随后人为把箱子打落，再检查第二次尝试。训练物体上各策略几乎都能恢复；测试物体上，纯视觉策略的首次成功率为 31.7%，第二次跌至 13.3%，而力感知策略两次成功率接近。

纯视觉策略在箱子被打落后经常停住，不再重试，可能是因为它过拟合训练场景，对分布外物体反应不足。FACTR 则能通过外部关节力矩恢复到抬起前数值来检测接触丢失，于是返回预抬起状态并再次尝试。

方法	训练物体恢复	测试物体恢复
ACT（仅视觉）	4/5	4/30
ACT（视觉+力）	5/5	16/30
FACTR	3/3	27/30

表 1　抬箱任务的恢复行为评估。

5.4 课程消融

作者选用最难任务之一“非抓取式翻转”，只在 5 个测试物体上评估，每个物体 5 次。

调度方式	像素空间·模糊	像素空间·下采样	潜空间·模糊	潜空间·下采样
固定尺度	16/25	15/25	17/25	16/25
线性	19/25	18/25	19/25	18/25
余弦	20/25	19/25	17/25	19/25
指数	19/25	21/25	20/25	19/25
阶跃	19/25	18/25	20/25	19/25

表 2　课程训练消融。

尺度逐渐衰减的课程在所有任务上都优于固定平滑尺度。最终策略仍需要完整、未模糊的视觉细节；课程允许策略逐渐适应清晰图像，而固定平滑虽然能减少视觉过拟合，却让策略无法提取完成任务所需的细节。

像素/潜空间、高斯模糊/下采样，以及线性、余弦、指数、阶跃调度之间，没有某一组合始终占优或始终落后。这说明 FACTR 对课程参数具有相对较好的稳健性。

六、结论与局限

FACTR 是一种训练力感知策略的课程方法，目标是提升接触密集型任务的性能和物体泛化。它在训练中对视觉信息施加尺度逐渐减小的模糊，使策略在早期更多使用力，避免过拟合视觉而忽略力。在抬箱、非抓取式翻转、水果抓放和擀面团四项任务上，FACTR 都显著提高了任务完成率，并增强了对未见外观和几何形状的泛化。带力反馈和重力补偿的有源主端也带来了更直观的遥操作体验。

作者同时指出三项局限：

从端外部关节力矩传感器精度有限，细粒度操作所需的微小调力可能淹没在噪声中。未来可加入高分辨率触觉传感器或触觉手套。

方法假设从端机械臂能提供外部关节力矩。未来可适配只在末端安装六维力/力矩传感器的机械臂。

模糊算子、尺度调度等课程超参数具有任务依赖性，可能需要大量调参。自适应或自调节课程可以按任务动态改变超参数。

附录

附录七：从神经切线核视角分析 FACTR

本节给出一个理论论证框架，解释高斯模糊、下采样等 FACTR 算子为什么能帮助策略关注力输入。

7.1 神经切线核预备知识

神经切线核（NTK）用于分析神经网络，尤其是无限宽极限下的训练行为。对参数为 \theta 的网络 f_\theta(x)：

k(x_i,x_j)=\left\langle \nabla_\theta f_\theta(x_i),\nabla_\theta f_\theta(x_j)\right\rangle

在无限宽极限下，NTK 变为确定量，并在训练期间保持不变。若参数按高斯分布初始化，核收敛为对初始化取期望的确定性核。它可视作输入间的相似度：核值越大，网络对两个输入的预测越接近。对 n 个训练点，它形成半正定核矩阵 K。

使用平方误差和梯度流训练无限宽网络时，时刻 t 的残差满足：

f_{\theta_t}(x)-y=e^{-\eta Kt}\bigl(f_{\theta_0}(x)-y\bigr)

其中 \eta 是学习率。残差沿核矩阵不同特征方向，以对应特征值决定的速率指数衰减。

7.2 用 NTK 分析高斯模糊

考虑先用标准差为 \sigma 的高斯核 K_\sigma 卷积输入，再送入两层网络：

f(x)=W^T(K_\sigma*x)

其 NTK 等价于模糊后输入之间的内积。\sigma 越大，高斯卷积越强烈地抑制高频分量，不同图像因此更相似；当 \sigma\to\infty，所有模糊输入近似同一个向量，核矩阵接近缩放后的全 1 矩阵。它是秩 1 的：网络只能为所有视觉输入学习一个全局输出，只能拟合平均标签，失去视觉判别能力。

从残差分解看，只有沿全 1 特征向量的分量会快速衰减，正交分量保持不变。因此在课程早期，视觉分支无法区分样本，梯度更新会转而使用力信息，并充分更新力编码器。随后逐渐减小 \sigma，视觉输入从平滑版本过渡到原图，核重新获得判别能力，模型再学习细粒度视觉特征。这种由简单到复杂的过程，也避免了训练早期过拟合高频视觉变化。

附录八：带力反馈遥操作系统的成本分析

下表是一套主端机械臂与主端夹爪在论文提交时的物料成本。

部件	数量
Dynamixel XM430-W210-T	2
Dynamixel XC330-T288-T	6
U2D2 控制板	1
12V 20A 电源	1
PLA 3D 打印材料	不适用
合计

表 3　一套带力反馈主端遥操作设备的物料清单

附录九：遥操作系统的其他控制律

9.1 摩擦补偿

关节摩擦会引入阻力，降低响应性与直观性，并增加反驱电机所需体力。系统显式补偿静摩擦、库仑摩擦和黏性摩擦。

静摩擦通过向控制输入加入幅值较小的高频振荡信号来缓解。微振动可防止电机停留在静摩擦状态，使静止到运动的过渡更平滑：

\tau_{ss}^{(i)}=\begin{cases} \mu_s^{(i)}\cos(\omega t), & |\dot q^{(i)}|<\dot q_s^{(i)}\\ 0, & \text{其他} \end{cases} \tag{7}

其中 \mu_s 是标定的静摩擦系数，控制循环频率为 500 Hz。运动摩擦补偿为：

\tau_{ks}^{(i)}=\mu_c^{(i)}\operatorname{sgn}(\dot q^{(i)})+\mu_v^{(i)}\dot q^{(i)} \tag{8}

\mu_c 与 \mu_v 分别是库仑摩擦和黏性摩擦系数，总摩擦补偿为静摩擦项与运动摩擦项之和。

9.2 关节限位规避

系统用人工势场在接近从端关节上下限时产生排斥力矩。势能在安全区为零，在进入上下限安全边界后按距离的倒数平方增大，控制力矩为：

\tau_{limit}^{(i)}=-\nabla_{q^{(i)}}U(q^{(i)}) \tag{10}

其中 U 是排斥势函数，安全裕量决定势场开始生效的位置，缩放因子决定排斥强度。

9.3 带动态避碰的双从端控制

常见双臂主从系统直接把主端当前关节位置作为从端目标。本文改用 Isaac Lab 中实现的黎曼运动策略（RMP）：它在尽量匹配主端关节位置的同时，动态生成满足实时避碰的从端关节目标。无论操作者怎样动作，系统都能防止两条从端机械臂相互碰撞，或撞到桌面等外部障碍。

附录十：行为克隆策略架构与训练超参数

策略输入包括 RGB 图像、当前手部关节角（本体感觉）和力信息。ViT 把图像编码为 token；线性层编码本体感觉；随后由编码器—解码器式动作分块 Transformer 输出动作序列。ViT 使用 Soup 1M 权重初始化。

抬箱任务的动作空间是两条机械臂的绝对关节角；翻转和擀面团使用单臂绝对关节角；水果抓放使用单臂与夹爪绝对关节角。作者特意不把机械臂当前关节角加入本体感觉，以免模型只预测接近当前姿态的动作；这样会迫使模型从图像中提取物体信息，有利于泛化。

类别	超参数	值
策略训练	优化器	AdamW
	基础学习率	3e-4
	权重衰减	0.05
	动量 $\beta_1,\beta_2$	0.9, 0.95
	批大小	128
	学习率计划	余弦衰减
	总步数	20,000～50,000
	预热步数	500
	数据增强	RandomResizeCrop
	GPU	RTX 4090（24GB）
	训练时长	2～6 小时
ViT	Patch 大小	16
	层数 / 注意力头数	12 / 12
	隐藏维度	768
	Class token	是
	位置编码	正弦—余弦
动作 Transformer	编码器层 / 解码器层	6 / 6
	注意力头数	8
	隐藏维度 / 前馈维度	512 / 2048
	Dropout	0.1
	位置编码	正弦—余弦
	动作块长度	100

表 4　策略架构与训练超参数。

附录十一：详细定量结果

双臂抬箱

方法	训练平均	测试 Box3	Box4	Box5	Box6	Box7	测试平均
ACT（仅视觉）	100.0%	1/10	1/10	6/10	3/10	1/10	31.7%
ACT（视觉+力）	100.0%	4/10	4/10	10/10	10/10	5/10	58.3%
FACTR	100.0%	7/10	10/10	10/10	10/10	10/10	91.7%

非抓取式翻转

方法	训练平均	测试 Box3	Box4	Box5	Box6	Box7	测试平均
ACT（仅视觉）	95.0%	3/10	0/10	7/10	2/10	1/10	26.0%
ACT（视觉+力）	90.0%	1/10	2/10	9/10	4/10	5/10	42.0%
FACTR	90.0%	6/10	5/10	10/10	7/10	10/10	76.0%

水果抓取放置

方法	训练平均	测试 Obj2	Obj3	Obj4	测试平均
ACT（仅视觉）	100.0%	0/5	4/5	0/5	26.7%
ACT（视觉+力）	100.0%	3/5	4/5	4/5	73.3%
FACTR	100.0%	4/5	5/5	5/5	93.3%

擀面团

方法	训练平均	测试 Obj2	Obj3	Obj4	测试平均
ACT（仅视觉）	0.0%	0/5	0/5	0/5	0.0%
ACT（视觉+力）	80.0%	4/5	3/5	4/5	70.0%
FACTR	90.0%	4/5	4/5	4/5	80.0%

一句话总结：FACTR 的关键并不是“给策略多加一种传感器”，而是通过课程训练改变学习顺序——先让机器人学会听懂力，再逐步把清晰视觉还给它。

智能佳—XL330-M288-T舵机使用教程

Wed, 02 Sep 2026 10:26:36 +0800

XL330-M288-T 是一款紧凑型智能伺服电机，适用于机器人关节和精密控制。

核心特点

高扭矩输出：堵转扭矩最高达 0.6 N·m（6 V），齿轮比为 288.4:1，适合高负载场景。

轻量化设计：重量仅 18 g，尺寸为 20 × 34 × 26 mm，适合空间受限的应用。

多种控制模式：支持位置、速度、电流和 PWM 控制，并支持扩展位置控制模式，范围可达 ±256 圈。

高精度传感：配备 12 位无接触式绝对编码器，分辨率为 4096 脉冲/转。

通信灵活：采用 TTL 串口通信，3.3 V 逻辑电平并兼容 5 V，波特率范围为 9600 bps～4 Mbps，支持多设备总线连接。

安全保护：支持过压、过温和过载保护，可在异常情况下自动停机；同时支持 Bus Watchdog，降低通信中断带来的失控风险。

低电压运行：工作电压为 3.7～6 V（推荐 5 V），适合移动机器人及电池供电设备。

典型应用

适用于机器人关节、小型机械臂、机器人灵巧手、无人机云台等对控制精度、重量和安装空间要求较高的应用场景。

视频介绍

XL330-M288-T 产品及基本功能介绍：

XL330-M288-T 副舵盘安装、舵机线连接及上电检测讲解：

伯克利开源低成本的示教神器GELLO-1.1.Gello-UR5硬件组装说明

Wed, 29 Jul 2026 23:00:00 +0800

采购链接

物料清单（UR5）

序号	描述	数量	链接
1	DYNAMIXEL XL330-M288-T	6	https://item.jd.com/10026901343226.html#switch-sku
2	DYNAMIXEL XL330-M077-T	1	https://item.jd.com/10152431689447.html#switch-sku
3	U2D2	1	https://item.jd.com/10152431689448.html#switch-sku
4	U2D2 Power Hub Board Set	1
5	Power Supply	1
6	Longer Cables 加长数据线	2	https://item.jd.com/10021472385991.html
7	Rubber Bands 橡皮筋	1
8	Springs	1

3D打印部件：

请访问gello_mechanical的github仓库获取用于打印的STL文件。（https://github.com/wuphilipp/gello_mechanical）需打印部件：

机器人抓取器部件

您选择的机器人部件

下面我们展示了每个机器人的3D打印部件。建议的3D打印方向如下所示。注意：大多数部件建议使用支撑。

3D打印部件（夹爪，机器人共用）

handle.stl	trigger.stl

3D打印部件（UR5）

base.stl	L1.stl	L2.stl

L3.stl	L4.stl	L5.stl

确保你面前摆放着所有必要的零件。你还需要一把小十字头螺丝刀。

3D 打印结构件

舵机

螺丝

288-T舵机用于手臂

077-T舵机用于夹持器

Dynamixels附带的螺丝有短款和长款两种：

短款螺丝用于安装在电机轴头上

长款螺丝用于将3D打印部件安装在舵机底座上

GELLO的组装十分简便

电机结构通过长螺钉固定在3D打印部件上

电机舵盘则通过短螺钉固定在3D打印部件上

最终组装的GELLO应该看起来像这样：

智能佳机器人知识社区

【论文推荐】GELLO：面向机器人机械臂的通用、低成本且直观的遥操作框架

摘要

I. 引言

II. 相关工作

A. 面向操作的遥操作系统

B. 从人类示范中学习

III. 遥操作设备设计

a) 伺服电机选择

b) 缩比、运动学等价的结构

c) 3D 打印部件

d) 重力补偿

IV. 实验

A. 用户研究流程

B. 用户研究结果

C. 遥操作系统能力

V. 讨论

JoyLo遥操R1 Pro-连接Joy-Con蓝牙手柄

JoyLo遥操R1 Pro-Dynamixel 舵机ID 与关节校准

JoyLo遥操R1 Pro-启动 MuJoCo 遥操作

Microduck机器鸭资料领取

智能佳—XL330-M288-T舵机使用教程

认识 Microduck

一种不同类型的小型机器人

为什么要做得这么小

先从乐趣开始 内部保持开放

我们希望接下来发生什么

Microduck配色/装配网页

【论文推荐】FACTR：面向接触密集型策略学习的力感知课程训练

摘要

一、引言

二、相关工作

2.1 使用力信息的模仿学习

2.2 带力反馈的低成本遥操作系统

三、FACTR 低成本双向遥操作系统

3.1 力反馈

3.2 可定制的冗余解析

3.3 重力补偿

3.4 其他补偿与控制

3.5 主端总控制律

四、FACTR：力关注课程训练

4.1 问题定义与基础模型

4.2 力关注课程

4.3 课程算子

4.4 课程调度器

五、评估

5.1 实验设置

5.2 遥操作评估

5.3 策略评估

FACTR 学会识别模式切换

FACTR 带来更好的恢复行为

5.4 课程消融

六、结论与局限

附录

附录七：从神经切线核视角分析 FACTR

7.1 神经切线核预备知识

7.2 用 NTK 分析高斯模糊

附录八：带力反馈遥操作系统的成本分析

附录九：遥操作系统的其他控制律

9.1 摩擦补偿

9.2 关节限位规避

9.3 带动态避碰的双从端控制

附录十：行为克隆策略架构与训练超参数

附录十一：详细定量结果

双臂抬箱

非抓取式翻转

水果抓取放置

擀面团

智能佳—XL330-M288-T舵机使用教程

核心特点

典型应用

视频介绍

伯克利开源低成本的示教神器GELLO-1.1.Gello-UR5硬件组装说明

先从乐趣开始内部保持开放