V社区-机器智能技术交流-悉灵杯”课题研究-LabVIEW集成及示例代码开发

0、前言

Labview简介：

LabVIEW（Laboratory Virtual instrument Engineering Workbench）是一种图形化的编程语言的开发环境，它广泛地被工业界、学术界和研究实验室所接受，视为一个标准的数据采集和仪器控制软件。LabVIEW ^[3] 集成了与满足 GPIB、VXI、RS-232和 RS-485 协议的硬件及数据采集卡通讯的全部功能。它还内置了便于应用TCP/IP、ActiveX等软件标准的库函数。这是一个功能强大且灵活的软件。利用它可以方便地建立自己的虚拟仪器，其图形化的界面使得编程及使用过程都生动有趣。

图形化的程序语言，又称为 “G” 语言。使用这种语言编程时，基本上不写程序代码，取而代之的是流程图或框图。它尽可能利用了技术人员、科学家、工程师所熟悉的术语、图标和概念，因此，LabVIEW是一个面向最终用户的工具。它可以增强你构建自己的科学和工程系统的能力，提供了实现仪器编程和数据采集系统的便捷途径。使用它进行原理研究、设计、测试并实现仪器系统时，可以大大提高工作效率。。

Mv3d_Rgbd_Sdk简介：

RGB-D立体相机SDK是用于RGB-D立体相机的一个独立组件，支持图像采集、配置参数、获取设备信息等功能。

运行环境：

硬件配置：	CPU：Intel Atom(TM) E3845及以上
	内存：4G及以上
操作系统：	Windows7/10 32/64位版本

1、整体框架

RGB-D相机SDK接口调用流程图

运行环境：

Labview 2015 32位

VS2015 debug 32位

SDK_Mv3dRgbd_V1.0.0_Win_220621_836278

2、扩展接口程序

在labview中使用共享库调用C++动态链接库时，部分函数的结构体参数中含有联合体（union），转换程序无法识别，需要编写扩展接口将结构体和函数重新封装，以便labview识别。

结构体MV3D_RGBD_DEVICE_INFO中成员变量SpecialInfo表示网口设备信息或USB设备信息，两个变量共享一段内存，将其拆分为MV3D_RGBD_GigEDEVICE_INFO和MV3D_RGBD_U3DEVICE_INFO两个结构体。

typedef struct _MV3D_RGBD_U3DEVICE_INFO_
{
	char                        chManufacturerName[32];             // 设备厂商
	char                        chModelName[32];                    // 设备型号
	char                        chDeviceVersion[32];                // 设备版本
	char                        chManufacturerSpecificInfo[48];     // 设备厂商特殊信息
	char                        chSerialNumber[16];                 // 设备序列号
	char                        chUserDefinedName[16];              // 设备用户自定义名称
	int32_t          　　　　　　 enDeviceType;                       // 设备类型：网口、USB
	uint32_t                     nVendorId;                          // 供应商ID号 
	uint32_t                     nProductId;                         // 产品ID号 
	int32_t         　　　　　　　enUsbProtocol;                      // 支持的USB协议
	char                        chDeviceGUID[64];                   // 设备GUID号
	uint8_t                      nReserved[16];                      // 保留字节 
} MV3D_RGBD_U3DEVICE_INFO;<br/>

typedef struct _MV3D_RGBD_GigEDEVICE_INFO_
{
	char                        chManufacturerName[32];             // 设备厂商
	char                        chModelName[32];                    // 设备型号
	char                        chDeviceVersion[32];                // 设备版本
	char                        chManufacturerSpecificInfo[48];     // 设备厂商特殊信息
	char                        chSerialNumber[16];                 // 设备序列号
	char                        chUserDefinedName[16];              // 设备用户自定义名称
	int32_t          　　　　　　 enDeviceType;                       // 设备类型：网口、USB
	unsigned char                chMacAddress[8];                    // Mac地址
	int32_t           　　　　   enIPCfgMode;                        // 当前IP类型
	char                        chCurrentIp[16];                    // 设备当前IP
	char                        chCurrentSubNetMask[16];            // 设备当前子网掩码
	char                        chDefultGateWay[16];                // 设备默认网关
	char                        chNetExport[16];                    // 网口IP地址
	uint8_t                     nReserved[16];                      // 保留字节
} MV3D_RGBD_GigEDEVICE_INFO;


typedef struct _MV3D_RGBD_U3DEVICE_INFO_

{
     char                        chManufacturerName[32];             // 设备厂商
     char                        chModelName[32];                    // 设备型号
     char                        chDeviceVersion[32];                // 设备版本
     char                        chManufacturerSpecificInfo[48];     // 设备厂商特殊信息
     char                        chSerialNumber[16];                 // 设备序列号
     char                        chUserDefinedName[16];              // 设备用户自定义名称
     int32_t          enDeviceType;                       // 设备类型：网口、USB
     uint32_t                    nVendorId;                          // 供应商ID号
     uint32_t                    nProductId;                         // 产品ID号
     int32_t         enUsbProtocol;                      // 支持的USB协议
     char                        chDeviceGUID[64];                   // 设备GUID号
     uint8_t                     nReserved[16];                      // 保留字节
} MV3D_RGBD_U3DEVICE_INFO;<br/>

同时重新封装与MV3D_RGBD_DEVICE_INFO

相关的函数：

MV3D_RGBD_GetDeviceList
MV3D_RGBD_GetGigEDeviceList
MV3D_RGBD_GetU3DeviceList

MV3D_RGBD_OpenDevice
MV3D_RGBD_OpenGigEDevice
MV3D_RGBD_OpenU3Device

MV3D_RGBD_GetDeviceInfo
MV3D_RGBD_GetGigEDeviceInfo
MV3D_RGBD_GetU3DeviceInfo

在悉灵相机中，每一帧会读出四张图片，一张YUV422格式的图片，一张16位深度图，两张8位灰度图，便于显示，编写MV3D_RGBD_YUV422ToRGB实现YUV422至RGB的转换。

转换公式：

//2.整数形式（减少计算量）未量化 R，G，B~[0, 255] U，V~[0, 255] //R = Y + ((360 * (V - 128)) >> 8); //G = Y - (((88 * (U - 128) + 184 * (V - 128)))>> 8); //B = Y + ((455 * (U - 128)) >> 8);

函数体：

MV3D_RGBD_STATUS __stdcall  MV3D_RGBD_YUV422ToRGB(MV3D_RGBD_IMAGE_DATA *pYuvImgge, MV3D_RGBD_IMAGE_DATA* pRgbImage) {
	//2.整数形式（减少计算量）未量化     R，G，B~[0, 255]   U，V~[0, 255]
	//R = Y + ((360 * (V - 128)) >> 8);
	//G = Y - (((88 * (U - 128) + 184 * (V - 128))) >> 8);
	//B = Y + ((455 * (U - 128)) >> 8);
	pRgbImage->enImageType = Mv3dRgbdImageType::ImageType_RGB8_Planar;
	pRgbImage->nDataLen = pYuvImgge->nHeight*pYuvImgge->nWidth * 3;
	pRgbImage->nFrameNum = pYuvImgge->nFrameNum;
	pRgbImage->nHeight = pYuvImgge->nHeight;
	pRgbImage->nTimeStamp = pYuvImgge->nTimeStamp;
	pRgbImage->nWidth = pYuvImgge->nWidth;
	static uint8_t buffer[1280 * 720 * 9];
	for (size_t i = 0; i < pRgbImage->nWidth*pRgbImage->nHeight; i += 2)
	{
		uint16_t Y1 = (uint16_t)pYuvImgge->pData[i * 2];
		uint16_t U1 = (uint16_t)(pYuvImgge->pData[i * 2 + 1]);
		uint16_t Y2 = (uint16_t)pYuvImgge->pData[i * 2 + 2];
		uint16_t V2 = (uint16_t)(pYuvImgge->pData[i * 2 + 3]);
　　　　　　　　/***********************RGB值计算*************************/
		buffer[i * 3 + 0] = (uint8_t)(Y1 + ((360 * (V2 - 128)) >> 8));					//R通道
		buffer[i * 3 + 1] = (uint8_t)(Y1 - (((88 * (U1 - 128) + 184 * (V2 - 128))) >> 8));			//G通道
		buffer[i * 3 + 2] = (uint8_t)(Y1 + ((455 * (U1 - 128)) >> 8));				　　　　//B通道
		buffer[i * 3 + 3] = (uint8_t)(Y2 + ((360 * (V2 - 128)) >> 8));					//R通道
		buffer[i * 3 + 4] = (uint8_t)(Y2 - (((88 * (U1 - 128) + 184 * (V2 - 128))) >> 8));			//G通道
		buffer[i * 3 + 5] = (uint8_t)(Y2 + ((455 * (U1 - 128)) >> 8));					//B通道
	}
	pRgbImage->pData = buffer;
	return 0;
}