我们的方案首先通过Hiviewer客户端完成RGB图与深度图的成像调试,确保图像质量清晰、噪声可控;再结合HiCalibrator手眼标定软件,精确建立相机与机器人之间的坐标映射关系。在此基础上,依托RobotPilot机器人视觉引导平台,集成点云预处理、目标识别、位姿解算、轨迹规划、碰撞检测等一系列算子模块,最终实现工件从识别到抓取、再到码放的全流程自适应作业。
我们团队三人分工:A负责RobotPilot视觉流程与任务逻辑,B负责标定、调图,C负责点云优化、碰撞检测与真机适配。前25分钟同步完成标定调图,中间55分钟搭建方案,最后30分钟真机联调,确保仿真零报错、真机稳定抓取5个以上工件。
首先通过客户端软件精细调优相机参数,获取亮度均匀、细节清晰的彩色图与深度图,确保画面无明显噪点或过曝区域。随后使用标定软件完成相机与机器人的坐标对齐——采集点位覆盖相机工作范围的全视野,并将平移误差严格控制在1毫米以内,为后续定位精度奠定扎实基础。
在视觉方案中,我们对场景点云进行滤波和裁剪,有效剔除料框与托盘背景。通过粗匹配与精定位两步策略,实现工件的稳定识别,重复定位精度优于0.1毫米。针对多个工件的情况,我们动态评估每个工件所需的机器人运动行程,优先抓取移动代价最小的工件,兼顾效率与避障。同时,我们增加全局碰撞检测机制,先用工件的点云模型快速预判,在保证安全的前提下提升运行流畅度。结合端拾器简化凸包与场景点云完成全局碰撞检测下的避障路径规划。
基于TCP Socket通讯(192.168.2.1:7930与机器人192.168.2.64),搭建抓取任务流。在防呆逻辑方面,当收到无效信号时直接返回失败状态并等待下一次;识别不到工件时自动保存当前图像,调整参数后重拍一次,连续两次失败才报错。
先在仿真环境中完整运行一个抓取+码放周期,展示不报错、无碰撞,然后烧录到真机,连续抓取至少5个工件并码放