实时红外图像预处理的方法及装置

技术领域

本发明涉及数字信号处理技术领域，具体涉及一种实时红外图像预处理的方法及装置。

背景技术

红外成像技术相比于可见光成像具有隐蔽性好、抗干扰能力强、全天候工作等优势，现已受到了广泛关注。随着红外成像技术的发展和非制冷型红外探测器成本的降低，非制冷红外成像系统在民用、工业等诸多领域均得到了推广。由于受到红外传感器自身制作工艺和环境干扰等诸多因素的限制，由红外传感器直接获得灰度图像难以避免地存在图像信噪比低、灰度分布集中、边缘细节缺失等问题。除此以外，非制冷红外成像系统的实时性、集成度、功耗等问题也是限制其向更广泛应用场景推广的主要因素。

发明内容

(一)要解决的技术问题

针对上述不足，本发明的主要目的在于提供一种实时红外图像预处理的方法及装置。

(二)技术方案

为了实现上述目的，本发明第一方面，提供了一种实时红外图像预处理的方法，该方法包括：获取待处理的实时图像数据，利用基于神经网络的非均匀性校正算法对实时图像数据进行去噪，得到初始图像数据；对初始图像数据进行自适应增益控制，得到中间图像数据；利用非锐化遮膜算法对中间图像数据进行处理，得到目标图像数据。

上述方案中，利用基于神经网络的非均匀性校正算法对实时图像数据进行去噪，得到初始图像数据，包括：获取待处理的实时图像数据，利用基于定标的非均匀性校正算法计算实时图像数据的增益参数矩阵和偏置参数矩阵；根据增益参数矩阵和偏置参数矩阵，基于盒式滤波法对实时图像数据进行引导滤波处理并进行梯度下降更新，得到初始图像数据。

上述方案中，对初始图像数据进行自适应增益控制，得到中间图像数据，包括：基于盒式滤波法对初始图像数据进行中值滤波处理，得到中值滤波结果；对中值滤波结果进行直方图统计，得到图像灰度分布数据；基于图像灰度分布数据进行自适应增益控制，得到中间图像数据。

上述方案中，利用非锐化遮膜算法对中间图像数据进行处理，包括：将中值滤波结果再次进行引导滤波处理，得到背景图像数据；基于中值滤波结果与背景图像数据，得到细节图像数据；利用预设的伽马校正参数，分别对背景图像数据与细节图像数据校正后进行融合处理，得到图像融合数据。

上述方案中，伽马校正参数通过以下方法来预设：根据中间图像数据，对中值滤波结果中的灰度分布区间进行划分，确定图像灰度分布范围；根据图像灰度分布范围确定一组伽马校正参数。

上述方案中，利用非锐化遮膜算法对中间图像数据进行处理，得到目标图像数据，还包括：利用预设的饱和截断阈值，对图像融合数据进行饱和截断处理；对饱和截断处理后的图像融合数据进行自适应灰度拉伸，得到目标图像数据。

上述方案中，饱和截断阈值通过以下方法来预设：根据中间图像数据，对中值滤波结果中的灰度分布区间进行划分，确定图像灰度分布上限；根据图像灰度分布上限确定饱和截断阈值。

上述方案中，利用预设的饱和截断阈值，对图像融合数据进行饱和截断处理，包括：将图像融合数据中大于饱和截断阈值的像素灰度值设为饱和截断阈值。

本发明第二方面，提供了一种实时红外图像预处理的装置，其特征在于，包括：输入输出接口模块、系统总线模块、预处理控制器模块、存储控制模块、片上存储模块、红外图像预处理加速器模块；输入输出接口模块，用于传输实时图像数据与目标图像数据；系统总线模块，用于分别对输入输出接口模块、预处理控制器模块、存储控制模块、片上存储模块、红外图像预处理加速器模块中的图像数据信息进行分配与控制；预处理控制器模块，包括NUC控制模块和USM控制模块，根据信号处理模式，控制并切换选择基于定标的非均匀性校正算法、基于神经网络的非均匀性校正算法、自适应增益控制的计算与非锐化遮膜算法；存储控制模块，包括多个直接内存访问器，用于控制系统总线模块、片上存储模块和红外图像预处理加速器模块之间的数据传递；片上存储模块，包括多个并行布置的存储器，存储器用于存储图像数据与参数数据；红外图像预处理加速器模块，用于执行如上述方案中的实时红外图像预处理的方法。

上述方案中，预处理控制器模块的信号处理模式包括高质量处理模式、高帧率处理模式、旁路处理模式，其中，高质量处理模式为默认模式。

(三)有益效果

本发明实施例的技术方案，至少具有以下有益效果：

(1)在基于定标的非均匀性校正算法上进行引导滤波处理并进行梯度下降更新，可以在有效提升对复杂场景非均匀性校正效果的同时，解决神经网络参数震荡问题，并大幅缩短神经网络收敛时间，高效且精准的完成图像去噪。

(2)利用引导滤波结合非锐化遮膜算法，有效使得图像，在边缘、阴影、反射等图像细节处具备更好的增强效果，并且实现了自适应性参数的更新，具备了抑制过增强、补偿欠增强的能力。

(3)本发明提供的一种实时红外图像预处理的装置，可以在片上控制信号的控制下实现高质量算法流和高帧率算法流之间的动态切换，能够在提升处理系统集成度的同时降低处理系统功耗，是一款满足实时处理需求、拥有多样化算法配置、具备通用化应用场景的红外图像预处理器。

附图说明

图1示意性示出了本发明实施例的实时红外图像预处理方法的流程图；

图2示意性示出了本发明实施例的获取初始图像数据过程的流程图；

图3示意性示出了本发明实施例的获取中间图像数据过程的流程图；

图4示意性示出了本发明实施例的利用非锐化遮膜算法处理中间数据过程的流程图；

图5示出了本发明实施例的实时红外图像预处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示意性示出了本发明实施例的实时红外图像预处理方法的流程图。

请具体参阅图1，本发明实施例的实时红外图像预处理方法具体包括操作S110～操作S130。

在操作S110，获取待处理的实时图像数据，利用基于神经网络的非均匀性校正算法对实时图像数据进行去噪，得到初始图像数据。

在操作S120，对初始图像数据进行自适应增益控制，得到中间图像数据。

在操作S130，利用非锐化遮膜算法对中间图像数据进行处理，得到目标图像数据。

通过本发明的实施例，可以在有效提升对复杂场景非均匀性校正效果的同时，解决神经网络参数震荡问题，高效且精准的完成图像去噪。并且，利用引导滤波结合非锐化遮膜算法，有效使得图像，在边缘、阴影、反射等图像细节处具备更好的增强效果，并且实现了自适应性参数的更新，具备了抑制过增强、补偿欠增强的能力。

下面根据图2至图4对本发明实施例的实时红外图像预处理方法进行进一步具体的说明。

图2示意性示出了本发明实施例的获取初始图像数据过程的流程图。

请具体参阅图2，本发明实施例的获取初始图像数据的过程具体包括S210～S220。

在操作S210，获取待处理的实时图像数据，利用基于定标的非均匀性校正算法计算实时图像数据的增益参数矩阵和偏置参数矩阵。

在本发明的实施例中，基于定标的非均匀性校正算法采用的定标方式为实验室定标，具体为：采用高温、低温两种不同辐射温度的黑体照射传感器，使传感器在规定条件下充分成像，得到高温成像视频H和低温成像视频L。

将高温成像视频H和低温成像视频L逐帧求均值得到高温定标图h和低温定标图l。

求得高温定标图h的均值和方差记为mean

记：

mean＝mean

std＝(std

th

th

cp＝h-l

设置与原图像同画幅的盲元参数矩阵bp：

其中下标i是矩阵行号，下标j是矩阵列号，i和j均是正整数，设置与原图像同画幅的非均匀性校正增益参数矩阵gain和非均匀性校正偏置参数矩阵offset：

在本发明的实施例中，基于定标的非均匀性校正算法在传统两点校正算法的基础上，将由实验室定标得出的盲元参数矩阵bp和非均匀性校正增益参数矩阵gain、非均匀性校正偏置参数矩阵offset进行融合，融合方式如：将盲元参数矩阵bp取反得到

在操作S220，根据增益参数矩阵和偏置参数矩阵，基于盒式滤波法对实时图像数据进行引导滤波处理并进行梯度下降更新，得到初始图像数据。

例如，输入当前帧(记为第n帧)的实时图像数据In(n)，n是正整数。根据上述方法得到当前帧增益参数矩阵G(n)和偏置参数矩阵O(n)，对实时图像数据In(n)进行线性变换得到当前帧处理结果Out(n)，其中：Out(n)＝G(n)×In(n)+O(n)，然后将当前帧处理结果Out(n)输出。

然后，按照盒式滤波法对实时图像数据In(n)进行引导滤波，具体的过程为：

对实时图像数据进行去心八邻域开窗，对开窗结果按行求和；

对行求和结果进行求和，对求和结果右移3位可代替除法操作，减少硬件消耗，求得八邻域均值再进行平方操作，求得八邻域均值平方；

对开窗结果求平方，得到平方窗，并对平方窗结果按行求和；

对行求和结果进行求和，对求和结果右移3位，求得八邻域平方均值，用求得的八邻域平方均值减去求得的八邻域均值平方，获得八邻域方差；

由求得的八邻域方差计算获得引导滤波增益参数，计算公式如下：

其中para-a为引导滤波增益参数，D为八邻域方差，ε为预设正则化参数；

由求得的引导滤波增益参数para-a和缓存的八邻域均值计算获得引导滤波偏置参数，计算公式如下：

para

其中para-b为引导滤波偏置参数，E为八邻域均值。

其中，引导滤波采用去心邻域滤波以消除除法操作，减少硬件消耗；引导滤波采用盒式引导滤波；引导滤波通过滑窗设计，可以并行流水地计算窗内像素的均值、方差，完成引导滤波并进行输出。

其中，滤波窗为3*3，引导图为图像数据In(n)本身，滤波结果记为GF(n)。对于图像中的每一点都有不完全相同的滤波结果GF

在完成上述引导滤波后，按照下式计算均方误差E(n)：

E(n)＝(GF(n)-Out(n))

对于图像中的每一点都有不完全相同的滤波结果E

然后，按照下式对参数完成梯度下降更新得到第n+1帧增益参数矩阵G(n+1)和第n+1帧偏置参数矩阵O(n+1)：

其中θ

G(n+1)＝G(n)-θ′

O(n+1)＝O(n)-θ′

其中θ′

将下一帧(记为第n+1帧)增益参数矩阵G(n+1)和偏置参数矩阵O(n+1)输出得到初始图像数据，并保存以等待下一帧迭代时取用。

通过本发明的实施例，本发明在基于定标的非均匀性校正算法上进行引导滤波处理并进行梯度下降更新，可以在有效提升对复杂场景非均匀性校正效果的同时，解决神经网络参数震荡问题，并大幅缩短神经网络收敛时间，高效且精准的完成图像去噪。

图3示意性示出了本发明实施例的获取中间图像数据过程的流程图。

请具体参阅图3，本发明实施例的获取中间图像数据的过程具体包括S310～S330。

在操作S310，基于盒式滤波法对初始图像数据进行中值滤波处理，得到中值滤波结果。

在操作S320，对中值滤波结果进行直方图统计，得到图像灰度分布数据。

在操作S330，基于图像灰度分布数据进行自适应增益控制，得到中间图像数据。

具体而言，由图像源给出当前帧的初始图像数据，该数据可以由图像传感器实时给出，也可以是预设的测试视频流。按照盒式滤波法对初始图像数据进行中值滤波，其中滤波窗为3*3，滤波结果记为MF。

对中值滤波结果MF进行直方图统计，获得图像灰度分布数据记为scale；基于图像灰度分布数据进行自适应增益控制，完成自适应灰度拉伸，输出得到当前帧的初始图像的图像增强结果。

图4示意性示出了本发明实施例的利用非锐化遮膜算法处理中间数据过程的流程图。

请具体参阅图4，本发明实施例的利用非锐化遮膜算法处理中间数据的过程具体包括S410～S430。

在操作S410，将中值滤波结果再次进行引导滤波处理，得到背景图像数据。

具体而言，通过scale对MF的灰度分布区间进行划分，确定图像的灰度分布范围和灰度分布上限，划分方法可依据传统的区间划分法自行选择。

其中，根据中间图像数据，对中值滤波结果中的灰度分布区间进行划分，确定图像灰度分布范围；根据图像灰度分布范围确定并缓存一组伽马校正参数γ

根据中间图像数据，对中值滤波结果中的灰度分布区间进行划分，确定图像灰度分布上限；根据图像灰度分布上限确定并缓存饱和截断阈值TH

在操作S420，基于中值滤波结果与背景图像数据，得到细节图像数据。

在操作S430，利用预设的伽马校正参数，分别对背景图像数据与细节图像数据校正后进行融合处理，得到图像融合数据。

具体而言，按下式获得细节图像GF

GF

按照下式对背景图像GF

按照下式对伽马校正结果进行融合：

将图像融合数据中大于饱和截断阈值的像素灰度值设为饱和截断阈值。即根据确定的饱和截断阈值TH

通过本发明的实施例，本发明利用引导滤波结合非锐化遮膜算法，有效使得图像，在边缘、阴影、反射等图像细节处具备更好的增强效果，并且实现了自适应性参数的更新，具备了抑制过增强、补偿欠增强的能力。

基于上述实时红外图像预处理的方法，本发明还提供了一种实时红外图像预处理的装置。

图5示出了本发明实施例的实时红外图像预处理装置的结构示意图。

请具体参阅图5，实时红外图像预处理装置500包括输入输出接口模块501、系统总线模块502、预处理控制器模块503、存储控制模块504、片上存储模块505、红外图像预处理加速器模块506。

其中，输入输出接口模块501，用于传输实时图像数据与目标图像数据；

系统总线模块502，用于分别对输入输出接口模块501、输入输出接口模块501、预处理控制器模块503、存储控制模块504、片上存储模块505、红外图像预处理加速器模块506中的图像数据信息进行分配与控制；

预处理控制器模块503，包括NUC控制模块5031和USM控制模块5032，根据信号处理模式，控制并切换选择基于定标的非均匀性校正算法、基于神经网络的非均匀性校正算法、自适应增益控制的计算与非锐化遮膜算法；

存储控制模块504，包括多个直接内存访问器，用于控制系统总线模块502、片上存储模块505和红外图像预处理加速器模块506之间的数据传递；

片上存储模块505，包括多个并行布置的存储器，存储器用于存储图像数据与参数数据；

红外图像预处理加速器模块506，用于执行上述的实时红外图像预处理的方法。

具体来说，红外图像预处理加速器模块506包括图像旁路单元5061、非均匀性校正单元5062、图像增强单元5063与引导滤波单元5064。红外图像预处理加速器模块506采用全流水的方式工作，各单元间可以独立地进行通信，后级单元在有信号输入时即可工作，不需等待前级单元完全工作完成。

其中，图像旁路单元5061可以完成图像的裁切、截位、采样操作；图像的裁切是指从输入图像中提取部分子图像用以进一步处理，其中提取子图像的范围可由预处理控制器给出的控制信号确定；图像的截位是指从高动态范围的输入图像中提取连续的8bit灰度信息生成低动态范围的输出图像用以进一步处理，其中待提取的8bit级可由预处理控制器给出的控制信号确定；图像的采样是指对大画幅的输入图像进行2*2范围的均值池化或最大值池化生成小画幅的输出图像用以进一步处理，其中采用的池化方式可由预处理控制器给出的控制信号确定。

图像旁路单元5061在控制信号的控制下可以完成图像处理、快速旁路两种算法流程。其中，图像处理算法流程是：由总线获取数据，依次进行图像裁切、非均匀性校正、图像增强、图像采样后将处理结果输出至总线；快速旁路算法流程是：由总线获取数据，依次进行图像裁切、图像截位、图像采样后将处理结果输出至总线。

需要说明的是，当预处理控制器模块503，发出高电平时，图像旁路单元5061采用图像处理算法流程；预处理控制器模块503，发出低电平时，图像旁路单元5061采用快速旁路算法流程。

下面结合本发明实施中的实时红外图像预处理方法的过程，对红外图像预处理加速器模块506中各单元的执行进行详细说明。

非均匀性校正单元5062配合引导滤波单元5064可以完成本发明实施例的实时红外图像预处理方法过程中的操作S110，得到初始图像数据。

具体而言，非均匀性校正单元5062在控制信号的控制下可以完成高质量处理、高帧率处理两种算法流程。其中，高质量处理算法流程是利用基于神经网络的非均匀性校正算法对实时图像数据进行去噪，得到初始图像数据，完成图像去噪。高帧率处理算法流程是利用传统的基于定标的非均匀性校正算法完成图像去噪。

需要说明的是，预处理控制器模块503的信号处理模式包括高质量处理模式、高帧率处理模式、旁路处理模式，其中，高质量处理模式为默认模式。

当NUC控制模块5031发出高电平时，进入高质量处理模式，非均匀性校正单元5062采用高质量处理算法流程；当NUC控制模块5031发出低电平时，进入高帧率处理模式，非均匀性校正单元5062采用高帧率处理算法流程。需要说明的是，在执行高帧率算法流程时，非均匀性校正单元5062只启用两点校正单元，神经网络核心处于低功耗静默模式，且不与引导滤波单元5064通信。

图像增强单元5063配合引导滤波单元5064可以完成本发明实施例的实时红外图像预处理方法过程中的操作S120～操作S130，得到目标图像数据。

图像增强单元5063在控制信号的控制下可以完成高质量处理、高帧率处理两种算法流程。其中高质量处理算法流程是对初始图像数据进行自适应增益控制，得到中间图像数据；利用非锐化遮膜算法对中间图像数据进行图像增强处理。高帧率处理算法流程是仅对初始图像数据进行自适应增益控制，得到中间图像数据，完成图像增强。

当USM控制模块5032，发出高电平时，进入高质量处理模式，图像增强单元5063采用高质量处理算法流程；当USM控制模块5032，发出低电平时，进入高帧率处理模式，图像增强单元5063采用高帧率处理算法流程。需要说明的是，在执行高帧率算法流程时，图像增强单元5063只启用直方图统计单元和灰度拉伸单元，中值滤波单元和伽马校正单元处于低功耗静默模式，且不与引导滤波单元5064通信。

通过本发明的实施例，本发明提供的一种实时红外图像预处理的装置，可以在片上控制信号的控制下实现高质量算法流和高帧率算法流之间的动态切换，能够在提升处理系统集成度的同时降低处理系统功耗，是一款满足实时处理需求、拥有多样化算法配置、具备通用化应用场景的红外图像预处理器。

以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。