【开源项目】ALOHA 2双手远程操作手臂-A.ACT调试技巧

TL;DR：如果您的ACT政策不稳定或在剧集中间暂停，请训练更长时间！成功率和平滑度可以在损失达到稳定水平后得到改善。

ACT调整提示

-在将ACT应用于新环境时，块大小chunk_size是最重要的参数。一个区块应对应约1秒钟机器人运动。

-高KL重量（10或100），或不带CVAE编码器的列车。

-考虑删除temporal_agg，并在此处增加查询频率，使其与块大小相同。即，每个块都被完全执行。

-训练很长时间（在事情趋于平稳之后，见图）

-尽量增加batch_size大小，并相应地增加lr。例如，batch_size大小为64，学习率lr为5e-5，而batch_size大小8，学习率lr为1e-5

-每个摄像头都有单独的主干（需要更改代码，请参阅此提交）

-L1损耗>L2损耗（不够精确）

-Abs位置控制>增量/速度控制（更难恢复）

-尝试多个检查点

对于真实世界的实验：

-训练时间更长（5000-8000步数，尤其是多摄像头）

-如果推理太慢->机器人移动缓慢：在此处禁用temporal_agg并增加查询频率。我们试了20次。

损耗曲线示例（L1）