“悉灵杯”课题研究报告-基于RGB-D相机的2D和3D抓取定位方案研究
本课题以常见工具,如锤子、扳手、螺丝刀等为研究对象,使用RGB-D相机MV-DB500S-A采集彩色图,深度图和点云数据,结合目标检测算法、平面抓取网络、点云配准算法,实现目标抓取位姿的计算。

一. 研究内容

本课题以常见工具,如锤子、扳手、螺丝刀等为研究对象,

(1)使用RGB-D相机MV-DB500S-A采集图像数据,包括RGB图、深度图和点云数据;

(2)使用目标检测算法YOLO对RGB图像进行矩形框定位,截取目标物;

(3)使用平面抓取网络GGCNN对深度图进行平面抓取位姿计算;

(4)使用点云配准算法GICP对点云数据进行配准计算,得到输入点云数据相对模板的六自由度位姿变化。

二. 开发环境

(1)visual studio 2022

(2)OpenCV 4.8.0

(3)libtorch 1.13.1

(4)PCL 1.13.0

三. 研究过程

1. 数据采集

使用RGB-D相机MV-DB500S-A采集图像数据,包括RGB图、深度图和点云数据,如图3.1所示


                                                                                 图3.1 采集的数据

2. 目标检测计算

使用目标检测算法YOLO对RGB图像进行矩形框定位,截取目标物,如图3.2所示


                                                                               图3.2 目标检测结果

3. 平面抓取计算

对于平面放置的目标,可以使用平面2D抓取,使用平面抓取网络GGCNN对深度图进行平面抓取位姿计算,如图3.3所示

                                                                        图3.3 平面抓取计算结果

4. 3D位姿计算

对于堆叠物体目标,需要使用3D抓取,使用点云配准算法GICP对点云数据进行配准计算,得到输入点云数据相对模板的六自由度位姿变化,如图3.4所示


                                                                            图3.4 3D位姿变化计算结果

5. 研究过程链接

“悉灵杯”课题研究-基于YOLO和GGCNN的物品平面抓取方案研究     https://www.v-club.com/home/article/2152

“悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究          https://www.v-club.com/home/article/8842

6. 代码链接

https://gitee.com/eric-yan166/hk_-garsp.git

四. 团队信息

团队名称:VegaVision

团队成员:严路路 祖启航

版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

“悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究

下一篇

器械UDI编码组成结构及说明

评论请先登录 登录
全部评论 0
Lv.0
0
关注
7
粉丝
3
创作
9
获赞
所属专题
  • 使用3D相机MV-EB435i基于OpenCV的客流检测与异常识别的实现
  • 悉灵杯”课题研究进展(一)通过海康RGB-D相机获取带RGB信息的点云
  • “悉灵杯”课题研究-基于RGB_D相机的物品位置计算
  • “悉灵杯”课题研究-对RGB_D相机采集的三维点云处理
  • “悉灵杯”课题研究-RGB_D相机SDK集成及Open3d点云基本处理
  • “悉灵杯”课题研究-集成RGB_D相机SDK的Open3d点云可视化
  • “悉灵杯”课题研究-集成RGB_D相机SDK的Open3d点云功能UI项目开发(项目demo)
  • “悉灵杯”课题研究-RGB_D相机SDK三维点云存储
  • “悉灵杯”课题研究-OpenNI集成及示例代码开发
  • 悉灵杯”课题研究-MV-EB435i立体相机基于opencv图像处理使用yolov5的物体识别
  • “悉灵杯”课题研究-基于opecv的集成RGB_D相机SDK的基础小样物品颜色检测及人脸识别
  • OpenCV中利用knn进行数字(0-9)识别--RGB-D相机采集
  • “悉灵杯”课题研究-基于MV-EB435i的落差边缘检测算法开发记录
  • 悉灵杯”课题研究-LabVIEW集成及示例代码开发
  • “悉灵杯”课题研究-MV-EB435i立体相机集成Apriltags发布相机位姿
  • “悉灵杯”课题研究-MV-EB435i立体相机图像处理UI界面开发
  • “悉灵杯”课题研究-基于ROS1的RGB-D相机SDK集成及示例代码开发
  • 第二届“悉灵杯”课题移动机器人感知研究进展
  • “悉灵杯”课题研究—手眼标定方案
  • 第二届“悉灵杯”课题研究-基于RGB_D相机的室内环境建模
  • 悉灵杯”课题研究进展(二)-基于三维模型/场景点云的虚拟仿真数据生成
  • 悉灵杯”课题研究进展(一)-实例分割网络模型搭建与实验场景介绍
  • “悉灵杯”课题研究报告-基于RGB-D相机的2D和3D抓取定位方案研究
  • “悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究
  • “悉灵杯”课题研究-基于YOLO和GGCNN的物品平面抓取方案研究
  • 动态手势控制音频播放器-成果物
  • 第二届“悉灵杯”课题研究报告-动态手势控制音频播放器设计
  • 动态手势控制音频播放器(五)动态手势控制音频播放器exe
  • 动态手势控制音频播放器(四)动态手势识别系统的设计
  • 动态手势控制音频播放器(三)音频播放器设计
  • 动态手势控制音频播放器(二)动态手势识别系统的设计
  • 动态手势控制音频播放器(一)总体方案设计
  • 悉灵杯”课题研究进展(四)RGB-D相机引导机械臂分拣物料
  • 悉灵杯”课题研究进展(三)RGB-D相机引导机械臂分拣物料
  • 悉灵杯”课题研究进展(二)RGB-D相机引导机械臂分拣物料
  • ”悉灵杯”课题研究报告-基于RGB-D相机的机械臂物料分拣系统研究
  • 悉灵杯”课题研究报告-基于深度学习方法和虚拟仿真数据的机械臂引导方案
  • 第二届“悉灵杯”课题研究机械臂引导研究报告
  • 第二届“悉灵杯”课题研究机械臂引导研究进展(二)
  • 第二届“悉灵杯”课题研究机械臂引导研究进展(一)
相关阅读
  • VM算法圆查找工具与基于opencv开发的圆查找对比
    2024-01-31 浏览 0
  • VM和VisionPro使用感受
    2024-02-22 浏览 0
  • ClientView对接cms配置
    2024-01-26 浏览 0
  • 【0402059】RCS低代码组件安装部署操作手册
    2024-01-31 浏览 0
  • 海康机器人软件工具目录
    2024-01-25 浏览 0

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器