一 课题背景

    机械臂引导：运用机械手臂进行抓取和分拣已经在制造领域和物流领域广泛地应用了起来，但运用机械臂实现智能抓取和分拣则没有大规模地应用。要实现智能抓取，需要视觉系统对机械臂进行引导，其中，估计待抓取物体的6D位姿是关键。

二 总体方案

    第一步，用RGB-D相机获取物体的彩色图和深度图；第二步，把RGB彩色图作为目标检测和分割网络的输入，输出零散物体中每一个物体的掩码，并通过掩码截取该物体在RGB彩色图和深度图中的相应模块以及像素位置信息，通过该像素位置和深度图中的深度信息生成具有（x，y，z）三维信息的目标点云；第三步，把分割后该物体的目标点云和模板点云作为位姿估计算法的输入，输出该物体在两坐标系下的转换矩阵，进而获得在特定坐标系下的位姿。算法总体模型如下图。