红外热像仪图像预处理系统及其预处理方法

632 编辑：管理员来源：苏州长风航空电子有限公司

2024-03-12 16:57:35

权利要求书： 1.红外热像仪图像预处理系统，用于实现图像的预处理、自动聚焦控制和视频输出，其特征在于：包括ZynqSOC、焦温与环境温度传感器、TEC控制器、DDR3、网络控制器、QSPIFLASH、编码器及电机、RS232、PAL驱动器、挡片、非制冷红外探测器，其中ZyngSOC分别与所述环境温度传感器、TEC控制器、DDR3、网络控制器、QSPIFLASH、编码器及电机、RS232、PAL驱动器、挡片、非制冷红外探测器相通讯连接，所述非制冷红外探测器分别与所述焦温与环境温度传感器及TEC控制器相通讯连接，所述ZyngSOC包括PL端和PS端，

所述PL端包括探测器驱动与采样单元、探测器偏压调节单元、探测器片上非均匀性校准单元、两点校准单元、中值滤波单元、自适应直方图均衡化单元、LOGO存储单元、极性切换单元、十字靶标单元、PAL输出单元、视频压缩单元、网络控制单元、清晰度计算单元、电机控制单元，所述探测器驱动与采样单元，用于输出片上非均匀性校准数据并产生非制冷红外探测器的视频信号读出时序并采集探测器的视频信号，所述探测器偏压调节单元，用于在线调整探测器的输出视频信号的电压偏置，所述探测器片上非均匀性校准单元，用于检测探测器的每一个像元点的非均匀性，并通过计算得出对应像元点的非均匀性校准值，所述两点校准单元，用于采集的每个像素点进行两点校准，校准数据来源于DDR3，所述中值滤波单元，用于消除红外画面中出现的盲元，所述自适应直方图均衡化单元，用于拉伸图像的对比度，

所述LOGO存储单元，用于存储红外探测器的开机logo，所述极性切换单元，用于实现红外图像的极性切换控制，

所述十字靶标单元，用于在红外图像画面中心叠加十字靶标，所述PAL输出单元，用于实现视频信号的逐行转隔行的PAL制视频信号输出，所述视频压缩单元，用于实现视频信号的视频压缩，所述网络控制单元，用于实现压缩视频信号的网络输出，

所述清晰度计算单元，用于计算当前红外图像的清晰度，

所述电机控制单元，用于产生自动聚焦电机的控制PWM波；

所述PS端包括热像仪工作状态控制、PL端的数据交互控制、自动聚焦计算、两点参数计算。

2.基于权利要求1所述红外热像仪图像预处理系统的预处理方法，其特征在于包括：ZynqSOC产生非制冷红外探测器的驱动时序，非制冷红外探测器根据产生的时序产生数据有效信号和数据信号，ZynqSOC根据数据有效信号采集视频信号，经过图像处理后通过PAL输出单元输出视频图像，视频缓存输入IP，采用FIFO实现对视频信号的视频输入缓存，探测器偏压调节模块通过实时采样一帧视频信号，通过计算一帧视频图像的帧均值，实时调节探测器的信号参考电压值，非均匀性校准模块在视频流数据内，依次对每一个像素点进行片上非均匀性校准，使每个像素点的大小在控制范围内，将形成的NUC数据通过DMAIP核转存到DDR3内，片上校准输出模块将DDR3中的NUC校准数据，通过DMAIP核输出给探测器，两点校准模块通过DMA读取DDR3中的两点校准参数，并配合实时探测的图像数据进行在线实时的两点校准，其中两点校准参数的获取，通过DMA分别采集温度为T1和T2的均匀辐射的黑体图像，并存在于DDR3中，再通过公式(1)计算每一个像素点的32位两点校准参数并存于QFLASH中，中，

每个探测器像素点的输出响应为阵列的大小为MN，

Gij为增益系数，Oij为偏置系数，组成32位两点校准参数，盲元消除模块采用中值滤波的方式消除探测器上的图像盲元，自适应直方图均衡化模块将图像的原灰度信息通过分段图像直方图拉伸实现灰度的线性变化，其中ROM模块通过片上的ROM的开机LOGO图像例化实现图像的储存，极性切换模块对图像的灰度进行反向，

十字靶标及字符叠加模块对图像数据进行字符和十字靶标的叠加，PAL输出单元将输入的逐行视频信号通过奇偶行分离分别由两个DMA模块缓存进DDR3内存中，再由一个DMA分别读取奇场信号和偶场信号，进行PAL视频的逐行到隔行的转化，视频压缩模块对所采集的视频图像进行无损压缩。

3.根据权利要求2所述红外热像仪图像预处理系统的预处理方法，其特征在于两点校准流程步骤包括：划分DDR的内存空间，地址1用于PAL视频的奇场信号缓存，地址2用于PAL视频的偶场信号缓存，地址3用于NUC的数据缓存，地址4用于两点数据的缓存，地址5用于缓存图像数据，关闭挡片，获取一个均匀的校准平面，配置PAL视频的2个输入DMA，2个输出DMA，配置NUC校准的两个DMA，

读取环境温度和焦平面温度信息，设置TEC的温度值，稳定焦平面的温度，选择NU计算模式，判断NUC是否结束，

启动DMA读取NUC操作，用于实时校准焦平面的片上校准数据，开启挡片，计算两点校准参数，上位机控制分别采集黑体平面的高温图像数据和低温图像数据，计算两点校准参数，将两点数据保存在QFLASH中，输出启动DMA读取两点校准数据。

说明书：红外热像仪图像预处理系统及其预处理方法技术领域[0001] 本发明涉及红外热像仪图像预处理系统及其预处理方法，属于探测器图像采集及在线处理显示的技术领域。背景技术[0002] 我国地域广大，领土众多，陆地国界线长度2万多公里，大陆海岸线长度1.8万多公里，在如此众多的大陆及海岸边界线上，边海防建设成为维护我国领土完整的重要目标。双轴光电转台监控系统是现代边海防建设上一个重要设施，可以实现边界的高效率监控。[0003] 红外热成像系统是光电转台的一个重要组成部分，用于实现目标的夜间、雾霾天气等复杂场景的热成像。传统的应用在边海防的红外热像仪只实现一般的图像处理、自动聚焦功能，而对于边海防光电转台中的网络视频等功能分开，功耗大，集成度较低。发明内容[0004] 本发明的目的是解决上述现有技术的不足，针对的问题，提出红外热像仪图像预处理系统及其预处理方法。[0005] 为了达到上述目的，本发明所采用的技术方案为：[0006] 红外热像仪图像预处理系统，用于实现图像的预处理、自动聚焦控制和视频输出，包括ZynqSOC、焦温与环境温度传感器、TEC控制器、DDR3、网络控制器、QSPIFLASH、编码器及电机、RS232、PAL驱动器、挡片、非制冷红外探测器，[0007] 其中ZyngSOC分别与所述环境温度传感器、TEC控制器、DDR3、网络控制器、QSPIFLASH、编码器及电机、RS232、PAL驱动器、挡片、非制冷红外探测器相通讯连接，所述非制冷红外探测器分别与所述焦温与环境温度传感器及TEC控制器相通讯连接。[0008] 优选地，所述ZyngSOC包括PL端和PS端，[0009] 所述PL端包括探测器驱动与采样单元、探测器偏压调节单元、探测器片上非均匀性校准单元、两点校准单元、中值滤波单元、自适应直方图均衡化单元、LOGO存储单元、极性切换单元、十字靶标单元、PAL输出单元、视频压缩单元、网络控制单元、清晰度计算单元、电机控制单元，[0010] 所述探测器驱动与采样单元，用于输出片上非均匀性校准数据并产生非制冷红外探测器的视频信号读出时序并采集探测器的视频信号，[0011] 所述探测器偏压调节单元，用于在线调整探测器的输出视频信号的电压偏置，[0012] 所述探测器片上非均匀性校准单元，用于检测探测器的每一个像元点的非均匀性，并通过计算得出对应像元点的非均匀性校准值，[0013] 所述两点校准单元，用于采集的每个像素点进行两点校准，校准数据来源于DDR3，[0014] 所述中值滤波单元，用于消除红外画面中出现的盲元，[0015] 所述自适应直方图均衡化单元，用于拉伸图像的对比度，[0016] 所述LOGO存储单元，用于存储红外探测器的开机logo，[0017] 所述极性切换单元，用于实现红外图像的极性切换控制，[0018] 所述十字靶标单元，用于在红外图像画面中心叠加十字靶标，[0019] 所述PAL输出单元，用于实现视频信号的逐行转隔行的PAL制视频信号输出，[0020] 所述视频压缩单元，用于实现视频信号的视频压缩，[0021] 所述网络控制单元，用于实现压缩视频信号的网络输出，[0022] 所述清晰度计算单元，用于计算当前红外图像的清晰度，[0023] 所述电机控制单元，用于产生自动聚焦电机的控制PWM波；[0024] 所述PS端包括热像仪工作状态控制、PL端的数据交互控制、自动聚焦计算、两点参数计算。[0025] 本发明还提出了红外热像仪图像预处理系统的预处理方法，包括：[0026] ZynqSOC产生非制冷红外探测器的驱动时序，非制冷红外探测器根据产生的时序产生数据有效信号和数据信号，ZynqSOC根据数据有效信号采集视频信号，经过图像处理后通过PAL输出单元输出视频图像，[0027] 视频缓存输入IP，采用FIFO实现对视频信号的视频输入缓存，[0028] 探测器偏压调节模块通过实时采样一帧视频信号，通过计算一帧视频图像的帧均值，实时调节探测器的信号参考电压值，[0029] 非均匀性校准模块在视频流数据内，依次对每一个像素点进行片上非均匀性校准，使每个像素点的大小在控制范围内，将形成的NUC数据通过DMAIP核转存到DDR3内，[0030] 片上校准输出模块将DDR3中的NUC校准数据，通过DMAIP核输出给探测器，[0031] 两点校准模块通过DMA读取DDR3中的两点校准参数，并配合实时探测的图像数据进行在线实时的两点校准，其中两点校准参数的获取，通过DMA分别采集温度为T1和T2的均匀辐射的黑体图像，并存在于DDR3中，再通过公式(1)计算每一个像素点的32位两点校准参数并存于QFLASH中，[0032][0033] 中，每个探测器像素点的输出响应为阵列的大小为MN，

Gij为增益系数，Oij为偏置系数，组成32位两点校准参数，

[0034] 盲元消除模块采用中值滤波的方式消除探测器上的图像盲元，[0035] 自适应直方图均衡化模块将图像的原灰度信息通过分段图像直方图拉伸实现灰度的线性变化，其中[0036] ROM模块通过片上的ROM的开机LOGO图像例化实现图像的储存，[0037] 极性切换模块对图像的灰度进行反向，[0038] 十字靶标及字符叠加模块对图像数据进行字符和十字靶标的叠加，[0039] PAL输出单元将输入的逐行视频信号通过奇偶行分离分别由两个DMA模块缓存进DDR3内存中，再由一个DMA分别读取奇场信号和偶场信号，进行PAL视频的逐行到隔行的转化，视频压缩模块对所采集的视频图像进行无损压缩。[0040] 优选地，两点校准流程步骤包括：[0041] 划分DDR的内存空间，地址1用于PAL视频的奇场信号缓存，地址2用于PAL视频的偶场信号缓存，地址3用于NUC的数据缓存，地址4用于两点数据的缓存，地址5用于缓存图像数据，[0042] 关闭挡片，获取一个均匀的校准平面，[0043] 配置PAL视频的2个输入DMA，2个输出DMA，[0044] 配置NUC校准的两个DMA，[0045] 读取环境温度和焦平面温度信息，设置TEC的温度值，稳定焦平面的温度，[0046] 选择NU计算模式，[0047] 判断NUC是否结束，[0048] 启动DMA读取NUC操作，用于实时校准焦平面的片上校准数据，[0049] 开启挡片，计算两点校准参数，上位机控制分别采集黑体平面的高温图像数据和低温图像数据，计算两点校准参数，将两点数据保存在QFLASH中，[0050] 输出启动DMA读取两点校准数据。[0051] 本发明的有益效果主要体现在：[0052] 1.满足红外探测器的驱动采集、片上非均匀性校准、两点校准、图像滤波、直方图均衡等功能，还满足自动聚焦与网络视频传输功能，集成度较高，功能丰富。[0053] 2.能实现探测器图像采集、视频在线处理与显示，确保实时画面清晰，满足边海防红外监控需求，适用夜间、雾霾等复杂场景的热成像。附图说明[0054] 图1是本发明红外热像仪图像预处理系统的框架示意图；[0055] 图2是本发明红外热像仪图像预处理系统中ZynqSOC系统的框架示意图；[0056] 图3是本发明中值滤波模板的示意图；[0057] 图4是本发明中两点校准分段曲线图；[0058] 图5是本发明中两点校准流程框图。具体实施方式[0059] 本发明提供红外热像仪图像预处理系统及其预处理方法。以下结合附图对本发明技术方案进行详细描述，以使其更易于理解和掌握。[0060] 参照图1至图5对红外热像仪图像预处理系统及其预处理方法进行细化描述。[0061] (1)海防红外热像仪的硬件设计[0062] 图1为边海防红外热像仪的硬件包括ZynqSOC、焦温与环境温度传感器、TEC控制器、DDR3、网络控制器、QSPIFLASH、编码器及电机、RS232、PAL驱动器、挡片、非制冷红外探测器等。其中ZyngSOC采用XilinxZynq7000系列SOC,内置双硬核Cortex?ARMMPCore,最大主频达1GHz,具有L1,L2双缓存机制，内置多种硬核外设包括UART、CAN、IIC、SPI、GPIO、网络控制器等。此外，其SOC内部的还包括众多的FPGA逻辑资源用于自定义IP核。[0063] (2)边海防红外热像仪图像预处理与控制SOC系统设计[0064] 边海防红外热像仪图像预处理与控制SOC系统示意图如图2所示。[0065] 所设计的SOC系统产生红外探测器的驱动时序，非制冷红外探测器根据SOC产生的时序产生数据有效信号和数据信号，SOC系统根据数据有效信号采集视频信号，之后再内部做相应的图像处理，最后通过网络和PAL视频输出红外探测器的视频图像。[0066] 所设计SOC系统包括PS端和PL端两部分，PS端以ARM内核为主控，其中一个内核ARM1主要用于探测器驱动，采样控制，图像处理等，另外一个内核用于通讯，自动聚焦的控制等。[0067] 所设计的视频缓存输入IP,采用FIFO实现对视频信号的视频输入缓存；[0068] 所设计的探测器偏压调节模块，通过实时采样一帧视频信号，通过计算一帧视频图像的帧均值，实时调节探测器的信号参考电压值，使得探测器的输出视频信号大小在[7800,8300]的范围内。[0069] 所设计的非均匀性校准模块，在16帧的视频流数据内，依次对每一个像素点进行片上非均匀性校准，使每个像素点的大小在[7800,8300]的范围内最后将形成的NUC数据通过DMAIP核转存到DDR3内存里面，之后的片上校准数据NUC数据。[0070] 所设计的片上校准输出模块，将DDR3中的NUC校准数据，通过DMAIP核输出给探测器。[0071] 所设计的两点校准模块通过DMA读取DDR3中的两点校准参数，并配合实时探测的图像数据进行在线实时的两点校准。其中两点校准参数的获取，通过DMA分别采集温度为T1和T2的均匀辐射的黑体图像，并存在于DDR3中，再通过公式(1)计算每一个像素点的32位两点校准参数并存于QFLASH中。[0072] 参数并存于QFLASH中，[0073][0074] 中，每个探测器像素点的输出响应为阵列的大小为MN，

Gij为增益系数，Oij为偏置系数，两则组成的32位两点校准参数。

[0075] 所设计的盲元消除模块，由于探测器的工艺的差异，在探测器采集的图像上会有类似图像椒盐噪声的盲元，通过采用中值滤波的方式消除探测器上的图像盲元。中值滤波采用3*3的模板，如图3所示，模板实现3*3数据的对角线中值排列，排列的结果取数据B22作为该像素点的值，由此来消除由探测器工艺造成的盲元。[0076] 所设计的自适应直方图均衡化模块，将图像的原灰度信息，通过如图4所示的分段图像直方图拉伸实现灰度的线性变化，其中[0077] 所设计的ROM模块，通过片上的ROM的开机LOGO图像例化实现图像的储存；[0078] 所设计的极性切换模块对图像的灰度进行反向，所设计的十字靶标及字符叠加模块对图像数据进行字符和十字靶标的叠加。[0079] 所设计的PAL输出单元，将输入的逐行视频信号通过奇偶行分离分别由两个DMA模块缓存进DDR3内存中，再由一个DMA分别读取奇场信号和偶场信号，由此实现PAL视频的逐行到隔行的转化。[0080] 所设计的视频压缩模块，对所采集的视频图像进行无损压缩。[0081] 所设计的自动聚焦判断单元，通过图像数据的梯度计算得到一个视频信号的清晰度值。[0082] 所设计的电机控制单元，由两个自定义的PWM波发生器实现。[0083] (3)热像仪软件控制流程框图[0084] 本发明所设计的软件控制流程的框图如图5所示。[0085] 步骤1:划分DDR的内存空间，地址1用于PAL视频的奇场信号缓存，地址2用于PAL视频的偶场信号缓存，地址3用于NUC的数据缓存，地址4用于两点数据的缓存，地址5用于缓存图像数据。[0086] 步骤2:关闭挡片，目的为了获取一个均匀的校准平面，为NUC校准和两点校准做准备。[0087] 步骤3:配置PAL视频的2个输入DMA,2个输出DMA；[0088] 步骤4:配置NUC校准的两个DMA；[0089] 步骤5:读取环境温度和焦平面温度信息，设置TEC的温度值，稳定焦平面[0090] 的温度；[0091] 步骤6:选择NU计算模式步骤7:判断NUC是否结束；[0092] 步骤8:启动DMA读取NUC操作，用于实时校准焦平面的片上校准数据；[0093] 步骤9:开启挡片，计算两点校准参数，上位机控制分别采集黑体平面的高温图像数据，和低温图像数据，计算两点校准参数，之后将两点数据保存在QFLASH中，以后的两点数据直接由QFLASH中读取；[0094] 步骤10:输出启动DMA读取两点校准数据；[0095] 步骤11:挡片开启，系统正常工作。[0096] 通过以上描述可以发现，本发明红外热像仪图像预处理系统及其预处理方法，满足红外探测器的驱动采集、片上非均匀性校准、两点校准、图像滤波、直方图均衡等功能，还满足自动聚焦与网络视频传输功能，集成度较高，功能丰富。能实现探测器图像采集、视频在线处理与显示，确保实时画面清晰，满足边海防红外监控需求，适用夜间、雾霾等复杂场景的热成像。[0097] 以上对本发明的技术方案进行了充分描述，需要说明的是，本发明的具体实施方式并不受上述描述的限制，本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。