第二届“悉灵杯”课题研究机械臂引导研究进展(一)
本次分享主要围绕机械臂引导中物体位姿估计的总体方案,采用基于深度学习的实例分割和点云配准两个阶段的思路进行位姿估计。实例分割主要分割出多物体堆叠情况下单物体的掩膜,然后根据其掩膜和深度图进行目标点云重建,最后根据该物体的模板点云和目标点云进行点云配准,获得目标物体的6D位姿。

一 课题背景

    机械臂引导:运用机械手臂进行抓取和分拣已经在制造领域和物流领域广泛地应用了起来,但运用机械臂实现智能抓取和分拣则没有大规模地应用。要实现智能抓取,需要视觉系统对机械臂进行引导,其中,估计待抓取物体的6D位姿是关键。

二 总体方案

    第一步,用RGB-D相机获取物体的彩色图和深度图;第二步,把RGB彩色图作为目标检测和分割网络的输入,输出零散物体中每一个物体的掩码,并通过掩码截取该物体在RGB彩色图和深度图中的相应模块以及像素位置信息,通过该像素位置和深度图中的深度信息生成具有(x,y,z)三维信息的目标点云;第三步,把分割后该物体的目标点云和模板点云作为位姿估计算法的输入,输出该物体在两坐标系下的转换矩阵,进而获得在特定坐标系下的位姿。算法总体模型如下图。



版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

“悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究

下一篇

第二届“悉灵杯”课题研究机械臂引导研究进展(二)

评论请先登录 登录
全部评论 0
Lv.0
3
创作
0
粉丝
2
获赞
相关阅读
  • 【共享学习】---脚本实现浮点数保留N位小数
    2023-09-12
  • 应用案例|能源行业-智能相机油罐口定位项目
    2023-09-01
  • 悉灵杯”课题研究报告-基于深度学习方法和虚拟仿真数据的机械臂引导方案
    2023-09-18
  • 2D相机也能做3D偏移抓取?VM轻松搞定!
    2023-08-31
  • “悉灵杯”课题研究报告-基于RGB-D相机的2D和3D抓取定位方案研究
    2023-09-13

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器