一 开发环境

pycharm 2022

tensorflow 2.20

opencv

open3d

二 基于深度学习的实例分割

本次选用backbone为resnet101+FPN的mask_rcnn， 实验对象为零散堆叠的牙刷。训练效果如下：

三 点云重建

通过获得的单个物体的掩膜和深度图进行目标点云重建。重建点云如下：

对于模板点云，在点云重建的基础上，通过cloudcompare进行处理，得到较为干净的模板点云：

四 点云配准

首先将源目标点云和模板点云进行ISS关键点检测：

然年进行用FPFH进行特征描述和对应点匹配，之后用SAC_IA粗配准算法算出点对的初始位姿，最后进行icp配准，效果如下：

五 相关链接

团队名称：视觉打工人

团队成员：肖金华