Hello Robot Stretch 3入门教程-x.Stretch 3视觉伺服网球演示

视觉伺服演示也适用于网球。查看代码库中的说明进行尝试。

https://github.com/hello-robot/stretch_visual_servoing#tennis-ball-demo

视觉伺服网球Stretch的视角

网球演示使用了Ultralytics 的 YOLOv8。继续操作之前，您应该运行以下安装 shell 脚本。

cd ./stretch_visual_servoing

./install_yolov8.sh

现在，如果您还没有将机器人放回原位，请将其放回原位。

stretch_robot_home.py

机器人上的 YOLOv8

首先，您应该尝试在机器人上运行一个小型 YOLOv8 模型。

进入存储库目录并启动 D405 图像服务器

cd ./stretch_visual_servoing

python3 send_d405_images.py

您应该会看到平均频率约为 15 Hz，这是 D405 在 Stretch 3 上使用的帧速率。

现在，打开另一个终端，运行以下代码，在机器人上启动 YOLOv8 处理。这将使用较小的模型来实现足够的帧速率。

cd ./stretch_visual_servoing

wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolov8n-seg.pt

python3 recv_and_yolo_d405_images.py

代码下载 YOLOv8 模型并开始运行后，您应该会在机器人的视频显示中看到处理结果。它看起来应该类似于上面的 GIF。您应该看到指尖参考帧的可视化效果。当您为机器人举起一个网球时，您应该看到网球被分段显示。它应该以 13 Hz 到 15 Hz 的平均帧速率运行。

现在，您可以使用以下代码开始视觉伺服过程。

cd ./stretch_visual_servoing

python3 visual_servoing_demo.py -y