一. 研究内容

本课题以常见工具，如锤子、扳手、螺丝刀等为研究对象，

（1）使用RGB-D相机MV-DB500S-A采集图像数据，包括RGB图、深度图和点云数据；

（2）使用目标检测算法YOLO对RGB图像进行矩形框定位，截取目标物；

（3）使用平面抓取网络GGCNN对深度图进行平面抓取位姿计算；

（4）使用点云配准算法GICP对点云数据进行配准计算，得到输入点云数据相对模板的六自由度位姿变化。

二. 开发环境

（1）visual studio 2022

（2）OpenCV 4.8.0

（3）libtorch 1.13.1

（4）PCL 1.13.0

三. 研究过程

1. 数据采集

使用RGB-D相机MV-DB500S-A采集图像数据，包括RGB图、深度图和点云数据，如图3.1所示

                                                                                 图3.1 采集的数据

2. 目标检测计算

使用目标检测算法YOLO对RGB图像进行矩形框定位，截取目标物，如图3.2所示

                                                                               图3.2 目标检测结果

3. 平面抓取计算

对于平面放置的目标，可以使用平面2D抓取，使用平面抓取网络GGCNN对深度图进行平面抓取位姿计算，如图3.3所示

                                                                        图3.3 平面抓取计算结果

4. 3D位姿计算

对于堆叠物体目标，需要使用3D抓取，使用点云配准算法GICP对点云数据进行配准计算，得到输入点云数据相对模板的六自由度位姿变化，如图3.4所示

                                                                            图3.4 3D位姿变化计算结果

5. 研究过程链接

“悉灵杯”课题研究-基于YOLO和GGCNN的物品平面抓取方案研究     https://www.v-club.com/home/article/2152

“悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究          https://www.v-club.com/home/article/8842

6. 代码链接

https://gitee.com/eric-yan166/hk_-garsp.git

四. 团队信息

团队名称：VegaVision

团队成员：严路路 祖启航