【应用背景】

手机、平板等消费类电子产品流水组装过程中，会出现螺丝、残渣、保护膜等散落在电池仓内，在电池放入电池仓并压紧过程中，若存在异物会导致电池破损，而导致成品存在质量问题。

【需求内容】

检出电池仓内各种颜色螺丝、玻璃纸、残渣等异物

异物尺寸0.2*0.2*0.05mm（长宽高）

扫描速度：150-200mm/s

手机电池仓尺寸：180*80mm

笔记本电池仓尺寸：140*150mm

 
平板和手机电池仓实物图不便展示，以上仅作示意

【应用痛点】

1、 相同工位需兼容多种颜色的产品，不同产品反射率差异大

传统2D检测方案针对不同反射率材质需切换光源亮度和角度达到异物特征呈现明显的效果；2D相机无法对与底色相同的异物有效检出，而产生漏检

2、 部分电池仓内存在起伏，电池仓整体平整度差

针对较为平整的电池仓（平整度小于0.05），采用仓内大面分割统计，统计分割ROI内最大值点，再将最大值点拟合平面求取平整度的方式，可根据平整度大小有效判定电池舱内是否存在异物。

但针对平整度不达标的电池仓，使用该种方式容易产生误检、漏检等问题

3、 电池仓内有保护膜、电池垫等贴附，电池仓内特征复杂

传统的特征查找算法容易受舱内非异物特征的影响，导致误检

传统2D的深度学习算法需要大量样本训练，取样困难，实施难度大

【方案实现】

相机：MV-DP2120-01H（原MV-DP2307-01H）

软件：3DVM

方案核心流程：

① 图像获取

VisionMaster 3D版本可直接连接海康3D轮廓仪，相机出图后自动执行检测流程。

图像拼接（手机电池仓可省略该步骤）

采用VM3D“单数据源拼接”算子，可对单相机多行程输出的图像进行融合拼接，得到完整图像，该算子支持“相邻区域特征匹配”和“手动调节”拼接方式，拼接步骤简单易用。

      拼接前右图                        拼接前左图                                拼接图

② 电池仓区域定位

平整电池仓使用深度图特征进行定位，若电池仓存在上下位置波动，可使用VM3D中的3D匹配模块，进行三维空间位置修正

③平整度校验

对大面进行平面拟合，找到平面电池仓所在平面，“平面拟合”模块会输出平整度，若平整度不合格则抛出该料

④突变点查找寻找异物

针对电池仓平整度较差的平面，在对异物图像进行分析后，发现异物位置相比电池仓内其他特征或背板起伏，最突出的特点就是异物位置高度存在突变。

使用VM3D中“法向量灰度图”算子，可将图像中高度突变大的地方赋予较亮的灰度值，平滑的起伏会被赋予较小的灰度值，利用该算子生成的图像可对异物进行凸显，以下为法向量灰度图的效果。

               法向量灰度处理前                                      法向量灰度处理后                               

   
         无异物                             玻璃纸异物                             小螺丝异物                             玻璃纸异物

⑤异物锁定

对法向量灰度图做二值化处理，再通过Blob模块，查找电池仓内灰度高于设定阈值的特征，若特征数量大于1，则判断电池仓内存在异物

【方案优势】

该方案有效解决了2D相检测和3D传统平面度检测的痛点，通过对法向量灰度图的阈值调节，可对电池仓内高度突变小的特征和突变大的异物做区分，有效实现异物检出。

该异物检测VM3D方案，实现简单，测量耗时短，异物检出效果优。

注：该方案根据实际现场项目经验总结得出，若有更好的实现思路，可留言探讨交流。