第二届“悉灵杯”课题研究机械臂引导研究报告
本方法采用实例分割加点云配准的方法。

一 开发环境

pycharm 2022

tensorflow 2.20

opencv

open3d

二 基于深度学习的实例分割

本次选用backbone为resnet101+FPN的mask_rcnn, 实验对象为零散堆叠的牙刷。训练效果如下:

三 点云重建

通过获得的单个物体的掩膜和深度图进行目标点云重建。重建点云如下:



对于模板点云,在点云重建的基础上,通过cloudcompare进行处理,得到较为干净的模板点云:



四 点云配准

首先将源目标点云和模板点云进行ISS关键点检测:

然年进行用FPFH进行特征描述和对应点匹配,之后用SAC_IA粗配准算法算出点对的初始位姿,最后进行icp配准,效果如下:


五 相关链接

往期回顾:
第二届“悉灵杯”课题研究机械臂引导研究进展(一)链接:http://www.v-club.com/home/article/8844
第二届“悉灵杯”课题研究机械臂引导研究进展(二)链接:http://www.v-club.com/home/article/8849

团队名称:视觉打工人

团队成员:肖金华



版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

第二届“悉灵杯”课题研究机械臂引导研究进展(二)

下一篇

悉灵杯”课题研究进展(一)-实例分割网络模型搭建与实验场景介绍

评论请先登录 登录
全部评论 0
Lv.0
3
创作
0
粉丝
2
获赞
相关阅读
  • 【共享学习】---脚本实现浮点数保留N位小数
    2023-09-12
  • 应用案例|能源行业-智能相机油罐口定位项目
    2023-09-01
  • 悉灵杯”课题研究报告-基于深度学习方法和虚拟仿真数据的机械臂引导方案
    2023-09-18
  • 2D相机也能做3D偏移抓取?VM轻松搞定!
    2023-08-31
  • “悉灵杯”课题研究报告-基于RGB-D相机的2D和3D抓取定位方案研究
    2023-09-13

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器