伯克利开源低成本的示教神器GELLO-3.1.3.遥操作双臂UR5 Duo
GELLO UR5 Duo 主手,控制同一个 MuJoCo 场景里的UR5 Duo 。
首次使用依次完成第 1~3步;校准成功后,日常使用直接看第 4 步。不要每次开机都重新校准。
1. 软件和硬件
| 项目 | 本套设备配置 |
|---|---|
| 工程目录 | /home/robot/projects/gello_software |
| Python 环境 | 工程内 .venv |
| 串口波特率 | 57600 |
| 每侧六关节 ID | 1 2 3 4 5 6 |
| 每侧扳机 ID | 7 |
| 六关节方向配置 | 1 1 -1 1 1 1 |
| 仿真通信地址 | 127.0.0.1:6001 |
打开终端:
cd ~/projects/gello_software/
source .venv/bin/activate

2. 搜索 USB 串口并确认左右
主手接好供电和 USB。
左边:

右边:

执行:
ls -l /dev/serial/by-id/
设备应出现:

2.1 “零位校准”
校准建立编码器角度与 UR 模型关节角度之间的关系。本脚本使用指定参考姿态标定,该姿态不是六关节全零。
| 关节顺序 | J1 肩部旋转 | J2 肩部俯仰 | J3 肘部 | J4 腕1 | J5 腕2 | J6 腕3 |
|---|---|---|---|---|---|---|
| 左侧参考角度(度) | -90 | -90 | 0 | 180 | -90 | 0 |
| 右侧参考角度(度) | 90 | -90 | 0 | 0 | 90 | 0 |

2.2 左手校准
支撑好主手,输入以下指令:
python scripts/calibrate_ur_duo.py \ --side left \ --config /home/robot/projects/gello_software/configs/ur_duo.json \ --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTB8NSM9-if00-port0 \ --baudrate 57600 \ --ids 1 2 3 4 5 6 7 \ --signs 1 1 -1 1 1 1

1.将左侧六关节摆到表中左侧参考姿态。
2.完全松开扳机,保持姿态,按 Enter 采样。
3.六关节继续保持不动,完全按下扳机,按 Enter 再采样。
4.等待保存成功和备份路径提示。

2.3 右手校准
python3 scripts/calibrate_ur_duo.py \ --side right \ --config configs/ur_duo.json \ --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTB8PLA9-if00-port0 \ --baudrate 57600 \ --ids 1 2 3 4 5 6 7 \ --signs 1 1 -1 1 1 1
同样先摆右侧参考姿态,再采样扳机松开和按下两端点。

出现 Arm moved during trigger sampling 表示采扳机时六关节移动过大

2.4 检查保存结果
python3 - <<'PY'
import json
cfg = json.load(open('configs/ur_duo.json'))
for side in ('left', 'right'):
item = cfg[side]
print('\n' + side)
for key in ('calibrated', 'port', 'baudrate', 'joint_ids', 'joint_signs',
'joint_offsets', 'gripper_config', 'calibration_joints', 'home'):
print(' ', key, ':', item.get(key))
PY
通过条件: 两侧均 calibrated: True,offsets/signs 各 6 个,扳机配置为 [7, 松开端点角度, 按下端点角度] 且两端不同。脚本自动生成 .bak_时间戳 备份。
出现 Offsets rounded to nearest pi/2 multiple 是当前设计行为。若 residual 较大,重新核对参考摆位、方向和机械装配;不能因为文件保存成功就认为所有关节已准确对应。
3. 参数说明
配置文件 configs/ur_duo.json
| 字段 | 含义与单位 | 使用方法 |
|---|---|---|
arm_dofs | 每侧机械臂轴数 | UR Duo 为 6,不包含扳机 |
left / right | 两侧独立配置 | 不随相机转动改变身份 |
port | USB 串口稳定路径 | 第 2 步查到的完整 by-id 路径 |
baudrate | 串口波特率 | 本套设备 57600 |
joint_ids | J1~J6 对应舵机 ID | 本套为 [1,2,3,4,5,6] |
joint_signs | 每轴方向 +1/-1 | 当前为 [1,1,-1,1,1,1],换安装需重新验证 |
joint_offsets | 六轴零位偏移,弧度 | 校准脚本生成,不复制其他主手的值 |
gripper_config | [扳机ID, 松开角度, 按下角度] | 端点单位为度;顺序不要求数值递增 |
calibration_joints | 校准所用六轴参考角度,弧度 | 记录标定参考,不会自动改模型 HOME |
home | 六轴参考角度加一个归一化夹爪值 | 共 7 项;普通模式用于复位,也用于驱动整圈分支选择 |
calibrated | 是否已有标定数据 | 成功采样后由脚本写入 |
offset_calibration | 取整前后偏移与残差记录 | 用于排查,不是运行中的额外关节指令 |
命令行参数
| 参数 | 含义 |
|---|---|
--robot sim_ur_duo | 启动本项目双 UR5e 仿真服务端 |
--agent gello | 客户端读取 GELLO 主手 |
--bimanual | 使用左右两套主手 |
--duo-config configs/ur_duo.json | 指定两侧串口和标定配置 |
--master-pose-start | 两侧停稳后,把仿真机械臂初始化到主手当前姿态 |
--mock-gello | 虚拟主手演示,不读取 USB 主手;实物遥操时不要添加 |
--max-steps | 支持该选项的版本中用于有界演示;不是实物遥操必需参数 |
--side left/right | 校准时选择一侧 |
--ids | 校准时前六个为机械臂 ID,第七个为扳机 ID |
--signs | 仅六个机械臂关节的方向,不包含扳机 |
4. 日常快速启动:两个终端
已完成设备绑定和校准的用户,每次执行以下流程即可。
终端 1:启动仿真服务
cd ~/projects/gello_software/
source .venv/bin/activate
python3 experiments/launch_nodes.py --robot sim_ur_duo
窗口打开后应看到双臂模型,终端显示类似:
sim_ur_duo ready: tcp://127.0.0.1:6001; state/action=14, nq=28, nu=14

保持终端和 MuJoCo 窗口打开。
终端 2:接入真实双主手
先支撑好主手,让两侧处于自然、稳定的姿态,再执行:
cd ~/projects/gello_software/
source .venv/bin/activate

python3 experiments/run_env.py \ --agent gello \ --bimanual \ --duo-config configs/ur_duo.json \ --master-pose-start
预期看到两个串口均初始化成功,然后:
Master-pose startup: 14 values, 6 arm joints per side. Hold still for one second.
Simulation matched to masters; grippers follow trigger targets.

此时开始缓慢移动主手,仿真中的从手UR5 Duo开始随动。
