伯克利开源低成本的示教神器GELLO-3.1.3.遥操作双臂UR5 Duo

GELLO UR5 Duo 主手,控制同一个 MuJoCo 场景里的UR5 Duo 。 

首次使用依次完成第 1~3步;校准成功后,日常使用直接看第 4 步。不要每次开机都重新校准。

1. 软件和硬件

项目本套设备配置
工程目录/home/robot/projects/gello_software
Python 环境工程内 .venv
串口波特率57600
每侧六关节 ID1 2 3 4 5 6
每侧扳机 ID7
六关节方向配置1 1 -1 1 1 1
仿真通信地址127.0.0.1:6001

打开终端:

cd ~/projects/gello_software/

source .venv/bin/activate

ur-duo-1.png

2. 搜索 USB 串口并确认左右

主手接好供电和 USB。

左边:

ur-duo-14-1.png

右边:

ur-duo-14-2.png

执行:

ls -l /dev/serial/by-id/

设备应出现:

ur-duo-7.png

2.1 “零位校准”

校准建立编码器角度与 UR 模型关节角度之间的关系。本脚本使用指定参考姿态标定,该姿态不是六关节全零。

关节顺序J1 肩部旋转J2 肩部俯仰J3 肘部J4 腕1J5 腕2J6 腕3
左侧参考角度(度)-90-900180-900
右侧参考角度(度)90-9000900

ur-duo-11.png

2.2 左手校准

支撑好主手,输入以下指令:

python scripts/calibrate_ur_duo.py \
  --side left \
  --config /home/robot/projects/gello_software/configs/ur_duo.json \
  --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTB8NSM9-if00-port0 \
  --baudrate 57600 \
  --ids 1 2 3 4 5 6 7 \
  --signs 1 1 -1 1 1 1

ur-duo-9.png

1.将左侧六关节摆到表中左侧参考姿态。

2.完全松开扳机,保持姿态,按 Enter 采样。

3.六关节继续保持不动,完全按下扳机,按 Enter 再采样。

4.等待保存成功和备份路径提示。

ur-duo-12.png

2.3 右手校准

python3 scripts/calibrate_ur_duo.py \
  --side right \
  --config configs/ur_duo.json \
  --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTB8PLA9-if00-port0 \
  --baudrate 57600 \
  --ids 1 2 3 4 5 6 7 \
  --signs 1 1 -1 1 1 1

同样先摆右侧参考姿态,再采样扳机松开和按下两端点。

ur-duo-10.png

出现 Arm moved during trigger sampling 表示采扳机时六关节移动过大

ur-duo-13.png

2.4 检查保存结果

python3 - <<'PY'
import json
cfg = json.load(open('configs/ur_duo.json'))
for side in ('left', 'right'):
    item = cfg[side]
    print('\n' + side)
    for key in ('calibrated', 'port', 'baudrate', 'joint_ids', 'joint_signs',
                'joint_offsets', 'gripper_config', 'calibration_joints', 'home'):
        print(' ', key, ':', item.get(key))
PY

ur-duo-8.png

通过条件: 两侧均 calibrated: True,offsets/signs 各 6 个,扳机配置为 [7, 松开端点角度, 按下端点角度] 且两端不同。脚本自动生成 .bak_时间戳 备份。

出现 Offsets rounded to nearest pi/2 multiple 是当前设计行为。若 residual 较大,重新核对参考摆位、方向和机械装配;不能因为文件保存成功就认为所有关节已准确对应。

3. 参数说明

配置文件 configs/ur_duo.json

字段含义与单位使用方法
arm_dofs每侧机械臂轴数UR Duo 为 6,不包含扳机
left / right两侧独立配置不随相机转动改变身份
portUSB 串口稳定路径第 2 步查到的完整 by-id 路径
baudrate串口波特率本套设备 57600
joint_idsJ1~J6 对应舵机 ID本套为 [1,2,3,4,5,6]
joint_signs每轴方向 +1/-1当前为 [1,1,-1,1,1,1],换安装需重新验证
joint_offsets六轴零位偏移,弧度校准脚本生成,不复制其他主手的值
gripper_config[扳机ID, 松开角度, 按下角度]端点单位为度;顺序不要求数值递增
calibration_joints校准所用六轴参考角度,弧度记录标定参考,不会自动改模型 HOME
home六轴参考角度加一个归一化夹爪值共 7 项;普通模式用于复位,也用于驱动整圈分支选择
calibrated是否已有标定数据成功采样后由脚本写入
offset_calibration取整前后偏移与残差记录用于排查,不是运行中的额外关节指令

命令行参数

参数含义
--robot sim_ur_duo启动本项目双 UR5e 仿真服务端
--agent gello客户端读取 GELLO 主手
--bimanual使用左右两套主手
--duo-config configs/ur_duo.json指定两侧串口和标定配置
--master-pose-start两侧停稳后,把仿真机械臂初始化到主手当前姿态
--mock-gello虚拟主手演示,不读取 USB 主手;实物遥操时不要添加
--max-steps支持该选项的版本中用于有界演示;不是实物遥操必需参数
--side left/right校准时选择一侧
--ids校准时前六个为机械臂 ID,第七个为扳机 ID
--signs仅六个机械臂关节的方向,不包含扳机

4. 日常快速启动:两个终端

已完成设备绑定和校准的用户,每次执行以下流程即可。

终端 1:启动仿真服务

cd ~/projects/gello_software/

source .venv/bin/activate

ur-duo-1.png 

python3 experiments/launch_nodes.py --robot sim_ur_duo

窗口打开后应看到双臂模型,终端显示类似:

sim_ur_duo ready: tcp://127.0.0.1:6001; state/action=14, nq=28, nu=14

ur-duo-2.png

保持终端和 MuJoCo 窗口打开。

终端 2:接入真实双主手

先支撑好主手,让两侧处于自然、稳定的姿态,再执行:

cd ~/projects/gello_software/

source .venv/bin/activate

ur-duo-3.png

python3 experiments/run_env.py \
  --agent gello \
  --bimanual \
  --duo-config configs/ur_duo.json \
  --master-pose-start

预期看到两个串口均初始化成功,然后:

Master-pose startup: 14 values, 6 arm joints per side. Hold still for one second.
Simulation matched to masters; grippers follow trigger targets.

ur-duo-6.png

此时开始缓慢移动主手,仿真中的从手UR5 Duo开始随动。

ur-duo-5.png