1 开发背景
VM算法平台支持用户自定义开发算子模块,从而实现特定功能或扩展算子功能。部分用户较为熟悉OpenCV或Halcon软件,希望集成它们的算子进VM算子模块使用。
图1 常用的视觉应用软件
2 开发方法
2.1 集成OpenCV算子
下面以Canny边缘检测算子为例,介绍集成OpenCV算子进VM算子模块的方法。
第一步,使用AlgorithmXMLGenerator(算子生成器)生成算子模块的三层架构文件,参照开发文档分别编译控件层工程和算法层工程,将控件层生成的.dll文件拷贝到界面层文件夹。
第二步,在Visual Studio2017中配置OpenCV的开发环境。
第三步,将算子模块的输入图像由HKA_IMAGE类型转换为OpenCV Mat类型。
HKA_IMAGE数据类型的结构体如下:
typedef struct _HKA_IMAGE
{
HKA_IMAGE_FORMAT format; //图像格式,按照数据类型HKA_IMAGE_FORMAT赋值
HKA_S32 width; //图像宽度
HKA_S32 height; //图像高度
HKA_S32 step[4]; //行间距
HKA_VOID *data[4]; //数据存储地址
}
该结构体包含5个成员:图像格式、图像宽度、图像高度、行间距、数据存储地址(指针)
图像格式只支持两种格式:灰度图HKA_IMG_MONO_08、彩色图像HKA_IMG_RGB_RGB24_C3(通道顺序必须为RGB)
图像宽度:单通道图像宽度
图像高度:单通道图像高度
行间距:灰度图时为图像宽度,RGB彩色图时为3 * 单通道图像宽度
数据存储地址:图像数据的首地址,灰度图开辟内存大小为图像宽度 * 图像高度,RGB彩色图开辟内存大小为3 * 单通道图像宽度 * 图像高度
HKA_IMAGE类型转换为OpenCV Mat类型的代码如下:
cv::Mat CAlgorithmModule::HKAImageToMat(HKA_IMAGE hik_image)
{
cv::Mat mat;
if (hik_image.format == HKA_IMG_MONO_08)
{
mat = cv::Mat(hik_image.height, hik_image.width, CV_8UC1, hik_image.data[0]);
}
return mat;
}
第四步,调用OpenCV的算子API处理图像。
cv::Mat srcImage = HKAImageToMat(inputImage);
cv::Mat dstImage = cv::Mat::zeros(srcImage.rows, srcImage.cols, srcImage.type());
cv::Canny(srcImage, dstImage, 20, 60, 3); //Canny边缘检测
第五步,将算子模块的输出图像由OpenCV Mat类型转换回HKA_IMAGE类型。
HKA_IMAGE CAlgorithmModule::MatToHKAImage(cv::Mat mat)
{
HKA_IMAGE outputImage = { HKA_IMG_MONO_08, 0 };
if (mat.channels() == 1)
{
outputImage.width = mat.cols;
outputImage.height = mat.rows;
outputImage.format = HKA_IMG_MONO_08;
outputImage.step[0] = mat.cols;
outputImage.data[0] = mat.data;
}
return outputImage;
}
将工程生成的.dll文件拷贝到界面层文件夹,再将该文件夹整体拷贝至VisionMaster4.0.0\Applications\ Module(sp)\x64\XX(工具箱名称,例如ImageProcessing)。
图2 处理前的图像 图3 处理后的图像
由上图可知,自定义开发的算子模块实现了OpenCV Canny边缘检测的功能。
2.2 集成Halcon算子
下面以Halcon阈值分割算子为例,介绍集成Halcon算子进VM算子模块的方法。
第一步,使用AlgorithmXMLGenerator(算子生成器)生成算子模块的三层架构文件,参照开发文档分别编译控件层工程和算法层工程,将控件层生成的.dll文件拷贝到界面层文件夹。
第二步,在Visual Studio2017中配置Halcon的开发环境。
第三步,将算子模块的输入图像由HKA_IMAGE类型转换为Halcon HObject类型。
HalconCpp::HObject CAlgorithmModule::HKAImageToHImage(HKA_IMAGE hka_image)
{
HalconCpp::HObject h_image;
if (HKA_IMG_MONO_08 == hka_image.format)
{
uchar *GrayData = new uchar[static_cast<size_t>(hka_image.height * hka_image.width)];
memcpy(GrayData, hka_image.data[0], static_cast<size_t>(hka_image.height * hka_image.width));
HalconCpp::GenImage1(&h_image, "byte", hka_image.width, hka_image.height, reinterpret_cast<Hlong>(GrayData));
delete[] GrayData;
}
return h_image;
}
第四步,调用Halcon的算子API处理图像。
HalconCpp::Rgb1ToGray(ho_Image, &ho_GrayImage);
HalconCpp::Threshold(ho_GrayImage, &ho_Region, m_nthresholdValue, 255);
HalconCpp::Connection(ho_Region, &ConnectedRegions); //将小区域连接成一个大区域
HalconCpp::RegionToMean(ConnectedRegions, ho_GrayImage, &ho_ImageMean); //转化为Image
第五步,将算子模块的输出图像由Halcon HObject类型转换回HKA_IMAGE类型。
HKA_IMAGE CAlgorithmModule::HImageToHKAImage(HalconCpp::HObject h_image)
{
HKA_IMAGE image;
HalconCpp::HTuple h_channels;
HalconCpp::HTuple h_row{ 0 }, h_col{ 0 };
HalconCpp::ConvertImageType(h_image, &h_image, "byte");
HalconCpp::CountChannels(h_image, &h_channels);
HalconCpp::HTuple h_gray_value;
if (h_channels.I() == 1)
{
HalconCpp::HTuple imagePointer, imageType, imageWidth, imageHeight;
image = { HKA_IMG_MONO_08, 0 };
HalconCpp::GetImagePointer1(h_image, &imagePointer, &imageType, &imageWidth, &imageHeight);
image.width = imageWidth.I();
image.height = imageHeight.I();
image.step[0] = image.width;
image.data[0] = (char*)malloc(image.width * image.height);
if (NULL != image.data[0])
{
memset(image.data[0], 0, image.width * image.height);
memcpy_s(image.data[0], image.width * image.height, (byte*)imagePointer[0].L(), imageWidth.I()*imageHeight.I());
}
}
return image;
}
将工程生成的.dll文件拷贝到界面层文件夹,再将该文件夹整体拷贝至VisionMaster
4.0.0\Applications\ Module(sp)\x64\XX(工具箱名称,例如ImageProcessing)。
图4 处理前的图像 图5 处理后的图像
由上图可知,自定义开发的算子模块实现了Halcon阈值分割的功能。
3 总结
本案例详细介绍了集成OpenCV、Halcon算子进VM算子模块的方法,提供图像类型互转的核心代码,标志着VM已经正式将主流的第三方视觉工具纳入生态。
注:本文仅用于开发介绍,软件授权问题由使用者自行解决。