悉灵杯”课题研究进展(一)-实例分割网络模型搭建与实验场景介绍
机器人抓取场景中我们需要对目标进行准确定位与位姿估计。本课题将结合RGBD相机得到的图像数据。采用基于深度学习的方法实现对抓取目标的实例分割,并通过结合深度信息的图像后处理步骤实现对目标位姿的估计用于实现机械臂的抓取引导。本文将介绍本课题研究中所使用的实例分割网络框架以及实验场景

1.模型介绍

    本课题中我们选用blendmask实例分割网络作为我们的第一阶段任务网络,实现对抓取场景的目标检测与实例分割。其网络结构如图1所示:


图1.BlendMask网络模型结构框图

       Blendmask结合了自顶向下的方法(通过局部信息生成全局预测)和自顶向上的方法(使用全局信息生成局部预测),通过简单的网络结构,在不牺牲性能的前提下减少网络的复杂性和计算成本,其主要组件和结构包括:

BackBone用于从输入图像种提取特征的标准网络,他的主要任务是捕获图像的全局上下文信息,本课题选用Resnet作为网络的backbone。

FPN即Feature Pyramid Network,通过自顶向下的上采样和横向链接,特征图与相应的浅层特征图相结合,融合不同层级的语义信息,其不同尺度的特征图都可以有对应的预测头,用于对不同尺寸的目标进行分割和边界框回归,本课题为了提高推理速度,仅使用八倍下采样后的P3层作为预测头的输入特征。

FCOS即Fully Convolutional One-Stage Object Detection,是一种无锚框的目标检测方法,相比于Fast-RCNN等基于锚框的目标检测方法,可以简化目标检测流程,减少计算量。其核心思想是在特征图上的每个位置直接预测与该位置对应的目标属性,如分类分数、边界框偏移、中心度等,本课题中我们用其预测实例的图像坐标、置信度得分、边界盒尺寸和注意力特征图。

Blender module将通过Bottom module优化后的全局特征图和每个实例的局部的基础注意力掩膜进行结合,生成最终的实例分割结果。

2.实验场景

本课题我们选择了三种不同类型的工件抓取场景用于开展后续的课题研究工作。

1.连杆场景:连杆工件杂乱摆放在料框之中,位姿情况较为复杂(图2)。


图2 连杆场景示例图

2.薄片场景:薄片工件杂乱摆放在料框之中,位姿情况较为单一,均为单面朝上(图3)。

 
图3 薄片场景示例图

3.转子场景:工件有序摆放在料框之中,场景中工件数目较多(图4).

 
图4 转子场景示例图

    由于场景搭建和图像采集过程较为繁琐,我们直接使用了同样由海康机器人官方研发生产的MV-DLS1400P立体相机采集的图像进行课题研究。MV-DB500S-A在该使用场景下同样适用。

版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

第二届“悉灵杯”课题研究机械臂引导研究报告

下一篇

悉灵杯”课题研究进展(二)-基于三维模型/场景点云的虚拟仿真数据生成

评论请先登录 登录
全部评论 1

写的很好

2023-10-16 14:37:13 浙江省
回复
  • 1
Lv.0
0
关注
4
粉丝
3
创作
7
获赞
所属专题
  • 使用3D相机MV-EB435i基于OpenCV的客流检测与异常识别的实现
  • 悉灵杯”课题研究进展(一)通过海康RGB-D相机获取带RGB信息的点云
  • “悉灵杯”课题研究-基于RGB_D相机的物品位置计算
  • “悉灵杯”课题研究-对RGB_D相机采集的三维点云处理
  • “悉灵杯”课题研究-RGB_D相机SDK集成及Open3d点云基本处理
  • “悉灵杯”课题研究-集成RGB_D相机SDK的Open3d点云可视化
  • “悉灵杯”课题研究-集成RGB_D相机SDK的Open3d点云功能UI项目开发(项目demo)
  • “悉灵杯”课题研究-RGB_D相机SDK三维点云存储
  • “悉灵杯”课题研究-OpenNI集成及示例代码开发
  • 悉灵杯”课题研究-MV-EB435i立体相机基于opencv图像处理使用yolov5的物体识别
  • “悉灵杯”课题研究-基于opecv的集成RGB_D相机SDK的基础小样物品颜色检测及人脸识别
  • OpenCV中利用knn进行数字(0-9)识别--RGB-D相机采集
  • “悉灵杯”课题研究-基于MV-EB435i的落差边缘检测算法开发记录
  • 悉灵杯”课题研究-LabVIEW集成及示例代码开发
  • “悉灵杯”课题研究-MV-EB435i立体相机集成Apriltags发布相机位姿
  • “悉灵杯”课题研究-MV-EB435i立体相机图像处理UI界面开发
  • “悉灵杯”课题研究-基于ROS1的RGB-D相机SDK集成及示例代码开发
  • 第二届“悉灵杯”课题移动机器人感知研究进展
  • “悉灵杯”课题研究—手眼标定方案
  • 第二届“悉灵杯”课题研究-基于RGB_D相机的室内环境建模
  • 悉灵杯”课题研究进展(二)-基于三维模型/场景点云的虚拟仿真数据生成
  • 悉灵杯”课题研究进展(一)-实例分割网络模型搭建与实验场景介绍
  • “悉灵杯”课题研究报告-基于RGB-D相机的2D和3D抓取定位方案研究
  • “悉灵杯”课题研究-基于点云配准算法GICP的3D抓取方案研究
  • “悉灵杯”课题研究-基于YOLO和GGCNN的物品平面抓取方案研究
  • 动态手势控制音频播放器-成果物
  • 第二届“悉灵杯”课题研究报告-动态手势控制音频播放器设计
  • 动态手势控制音频播放器(五)动态手势控制音频播放器exe
  • 动态手势控制音频播放器(四)动态手势识别系统的设计
  • 动态手势控制音频播放器(三)音频播放器设计
  • 动态手势控制音频播放器(二)动态手势识别系统的设计
  • 动态手势控制音频播放器(一)总体方案设计
  • 悉灵杯”课题研究进展(四)RGB-D相机引导机械臂分拣物料
  • 悉灵杯”课题研究进展(三)RGB-D相机引导机械臂分拣物料
  • 悉灵杯”课题研究进展(二)RGB-D相机引导机械臂分拣物料
  • ”悉灵杯”课题研究报告-基于RGB-D相机的机械臂物料分拣系统研究
  • 悉灵杯”课题研究报告-基于深度学习方法和虚拟仿真数据的机械臂引导方案
  • 第二届“悉灵杯”课题研究机械臂引导研究报告
  • 第二届“悉灵杯”课题研究机械臂引导研究进展(二)
  • 第二届“悉灵杯”课题研究机械臂引导研究进展(一)
相关阅读
  • 【使用2D相机+VM实现3D抓放】复合机器人光伏某场景上下料项目
    2024-05-30 浏览 0
  • 【光电传感器基础】—3、光电传感器的基本操作和效果演示
    2024-05-15 浏览 0
  • 【技术分享】通过脚本来重置变量计算模块中变量的值
    2024-05-22 浏览 0
  • “聚焦你的需求!”V学院有奖调研正式开启!
    2024-06-03 浏览 0
  • Hacon的仿射变换以后矩形框的角度转为VM的的矩形框的角度表达
    2024-05-20 浏览 0

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器