悉灵杯”课题研究报告-基于深度学习方法和虚拟仿真数据的机械臂引导方案

抓取是工业机器人的重要应用之一，其中目标检测与识别是实现自动化抓取的关键步骤。本课题旨在采用基于深度学习的方法，针对工业场景下的拆码垛和工件抓取场景。通过RGB图像实现自动检测与实例分割，并结合采集的Depth图像信息实现抓取目标位姿的估计，为机械臂的抓取提供充分的引导信息。

1679 4 5 2023-09-18

悉灵杯”课题研究进展（二）-基于三维模型/场景点云的虚拟仿真数据生成

基于深度学习方法的工件实例分割方法依赖于大量的训练数据，但现实场景下的训练数据制作过程面临以下两个问题：（1）场景单一：同样的工件场景在不同的光照、背景、相机设置下存在差异，单一场景的数据训练的模型在其他场景中可能会出现性能的下降。（2）标注成本高：工件的实例分割场景常常有着一定数量的工件，需要逐一标注分割目标的掩膜，每一帧图像的标注都是非常耗时的。因此本课题中我们设计了一种通用工件场景虚拟仿真数据生成管道，结合blender物理仿真引擎和工件的三维模型（或者从单帧场景点云中重建的工件模型）生成虚拟RGBD数据和数据标签用于模型的训练。

1451 2 2023-09-18

悉灵杯”课题研究进展（一）-实例分割网络模型搭建与实验场景介绍

机器人抓取场景中我们需要对目标进行准确定位与位姿估计。本课题将结合RGBD相机得到的图像数据。采用基于深度学习的方法实现对抓取目标的实例分割，并通过结合深度信息的图像后处理步骤实现对目标位姿的估计用于实现机械臂的抓取引导。本文将介绍本课题研究中所使用的实例分割网络框架以及实验场景

5232 1 1 2023-09-18