一种基于温度热力特性的红外背景多波段图像生成方法

技术领域

本发明属于图像处理、红外特性领域，具体涉及一种基于温度热力特性的红外背景多波段图像生成方法。

背景技术

多波段红外成像系统可以同时捕捉不同光谱范围内的三个或更多波段的场景信息。通过信号处理和融合算法，不同波段之间的差异信息被互补，复杂的背景信息被削弱，从而实现对复杂动态场景更完整、精确、有效的描述。相比单波段成像，多波段成像所具有的优势在于充分利用不同波段图像各自的特点，最大化目标分类速度和准确率，为目标的追踪、检测和识别等提供重要指导。

但是现有多波段红外图像生成方法，存在以下缺陷：

(1)数据缺失背景下，对不同波段图像的生成精度不够；现有方法往往利用生成对抗网络通过训练进行数据转换，具有可解释性不足、需要大量训练数据、适应性不好等缺陷。

(2)先验知识不足，生成的波段图像未能结合深度学习图像统一考虑。

发明内容

本发明所要解决的技术问题是：

为了避免上述现有技术的不足之处，本发明提供一种基于温度热力特性的红外背景多波段图像生成方法，用于合成真实的红外背景用作红外特征，利用红外成像系统仿真中的长波红外实现短波红外、中波红外之间的波段转换。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于温度热力特性的红外背景多波段图像生成方法，其特征在于包括：

获取长波红外地面目标的视频数据，并将其分解为单帧图像；

构建图像灰度值和红外辐射值之间的关联模型；利用图像灰度值和红外辐射值之间的关系，提取目标的红外辐射特性；

构建辐射值到温度的关联模型，采用高次拟合函数拟合辐射值和温度的反函数；

构建温度到像素值的关联模型；将图像中每个像素对应的辐射值转换为对应的温度，生成每个图像的温度热力图；

构建关于短波和中波图像的温度-辐射转化模型，将长波图像的温度热力图转换为短波和中波图像的辐射值，再将短波和中波图像的辐射值转换为图像像素值，生成短波和中波的图像；

生成不同波段的图像之后，将对应波段仿真目标贴片放置于图像中，将红外目标和背景特征可以合成为多波段波长的图像。

本发明进一步的技术方案：还包括对获得的单帧图像数据进行数据增强，以增强原数据集的数据多样性，扩展数据分布范围。

本发明进一步的技术方案：所述数据增强包括改变图像对比度、亮度、旋转、翻转、平移。

本发明进一步的技术方案：所述图像灰度值和红外辐射值之间的关联模型具体为：

其中

C

其中，G代表灰度值，L代表辐射值，T表示温度，ε为光谱发射率，W是瓦，sr代表球面度，K代表绝对温度；中括号和小括号内都代表单位。

本发明进一步的技术方案：所述辐射值和温度的反函数为：

其中，a

本发明进一步的技术方案：所述短波和中波图像的温度-辐射转化模型具体为：

其中，α和β表示对比度和亮度控制常数。

一种基于温度热力特性的红外背景多波段图像生成装置，其特征在于包括：

数据获取模型，用于获取长波红外地面目标的视频数据，并将其分解为单帧图像；

数据处理模型，用于构建图像灰度值和红外辐射值之间的关联模型；利用图像灰度值和红外辐射值之间的关系，提取目标的红外辐射特性；构建辐射值到温度的关联模型，采用高次拟合函数拟合辐射值和温度的反函数；构建温度到像素值的关联模型；将图像中每个像素对应的辐射值转换为对应的温度，生成每个图像的温度热力图；

数据转化模型，用于构建关于短波和中波图像的温度-辐射转化模型，将长波图像的温度热力图转换为短波和中波图像的辐射值；再将短波和中波的图像辐射值转换为图像像素值，生成短波和中波的图像；

数据合成模型，生成不同波段的图像之后，将对应波段仿真目标贴片放置于图像中，将红外目标和背景特征可以合成为多波段波长的图像。

一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。

一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。

本发明的有益效果在于：

本发明提供的一种基于温度热力特性的红外背景多波段图像生成方法，用于合成真实的红外背景用作红外特征，利用红外成像系统仿真中的长波红外实现短波红外、中波红外之间的波段转换。首先利用长波波段的红外背景图转换为辐射值，再将辐射值转换为具有温度-辐射特性的温度特性图；然后，将温度特性转换为对应波段的红外图像；最后根据变换后的红外背景的辐射值调整红外目标特征的灰度级，将红外目标和背景特征可以合成为特定波长的图像。

本发明采用温度热力图对不同波段红外图像进行辐射特性提取和转换，能够实现长波到中波和短波背景红外图像生成。利用图像灰度值和红外辐射值之间的关系，提取目标的红外辐射特性；之后构建辐射值到温度的关联模型，采用高次拟合函数拟合辐射值和温度的反函数，进一步提高了多波段红外背景图像生成的检测精度和鲁棒性。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为温度随辐射值变化的曲线图。

图2为辐射值和温度值的拟合结果。

图3为红外背景图像融合数据生成流程图。

图4为生成的温度热力图和不同波段的红外图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的一种基于温度热力特性的红外背景多波段图像生成方法，首先，将长波波段的红外背景转换为具有温度-辐射特性的其他波段之一；然后，再根据变换后的红外背景波长带的辐射值调整红外目标特征的灰度级后；最后将红外目标和背景特征可以合成为特定波长的图像。如图3所示，包括如下步骤：

S1：使用加载了红外摄像机的无人平台获得多个典型目标(天空、草地、车辆等)的长波红外远距离地面目标的视频数据，并将其分解为单帧图像；

S2：对于获得的单帧图像数据进行数据增强，包括随机改变图像对比度、亮度、旋转、翻转、平移等操作，以增强原数据集的数据多样性，扩展数据分布范围；

S3：构建图像灰度值和红外辐射值之间的关联模型；利用图像灰度值和红外辐射值之间的关系，提取目标的红外辐射特性；

S4：构建辐射值到温度的关联模型，采用高次拟合函数拟合辐射值和温度的反函数；

S5：构建温度到像素值的关联模型；将图像中每个像素对应的辐射值转换为对应的温度，生成每个图像的温度热力图；

S6：针对短波和中波图像，构建关于短波和中波图像的温度-辐射转化模型，将长波图像的温度热力图转换为短波和中波图像的辐射值；之后再将短波和中波的图像辐射值转换为图像像素值；生成短波和中波的图像。

实施例1：

由于红外微弱目标图像的数据集数量有限，为了使数据特征分布的更加全面，因此使用随机对比度、随机亮度、随机翻转、随机旋转等操作对数据集进行增强，以提升模型在多种情况下的鲁棒性，在对数据集进行增强后将其随机分为训练集、验证集和测试集。

步骤一：首先构建不同波段的图像的目标温度和辐射量的辐射公式。对于温度为T且光谱发射率为ε的物体，波段宽度(λ

其中

C

其中，W是瓦，sr代表球面度，K代表绝对温度；中括号和小括号内都代表单位。

当T位于200-1000K之间，可以得到温度随辐射值变化的曲线；如图1所示，图1中的SWIR、MWIR、LWIR分别代表短波红外，中波红外，长波红外。

步骤二：构建图像灰度值和红外辐射值之间的关联模型。传感器的输出电压V

其中，S是红外传感器在给定波段范围内的光谱响应度。Ω和Ap表示红外检测器与目标的立体角和红外探测器上的目标区域。一般而言，τ

步骤三：确定图像中的最高温度和最低温度，由于最高温度和最低温度仅影响图像的整体辐射分布，对图像内物体的相对辐射没有影响，一般根据经验判断，利用天空，地面等典型环境温度，再结合季节因素，给出粗略值即可。

步骤四：通过统计手段获得图像中最小像素值和最大像素值，将其和温度值进行对应。根据步骤一中辐射值和温度值的关联模型，再结合插值算法，将每个像素值的温度进行对应。对应公式为：

其中，G代表像素值，L代表步骤一中的辐射公式，T表示温度。从而可以得到每个图像像素值对应的辐射值。

步骤五：获取辐射值到温度的关联模型。由于辐射值和图像温度之间的方程包含积分项，因此其反函数难以获取，现有方法利用中值定量及泰勒展开进行近似，往往存在较大误差。由于室外环境下温度辐射范围相对固定，本发明采用高次拟合用于拟合辐射值和温度的反函数。其反函数公式为：

为获取高次拟合函数的参数a，首先通过步骤一中的公式得到T从20到1000K之间每隔0.5K的间隔点，对应的L值，再通过线性函数拟合算法获取a的参数，拟合结果如图2所示。通过拟合可以得到温度到辐射值的转换公式。

步骤六：依据步骤五中的转换公式，将图像中每个像素对应的辐射值转换为对应的温度，生成每个图像的温度热力图。温度图在不同波段的图像中保持不变，因此依据温度值完成不同波段之间的图像转换。考虑到长波转换比较容易，采用利用长波图像生成温度值，然后再转换为短波和中波图像的形式。

步骤七：针对短波和中波图像，首先重复步骤一，构建关于短波和中波图像的温度-辐射转化模型，将长波图像的温度热力图转换为短波和中波图像的辐射值。再重复步骤二，将短波和中波的图像辐射值转换为图像像素值，转换公式如下：

其中，L

步骤八：生成不同波段的图像之后，将对应波段仿真目标贴片放置于图像中，构成了可用于深度学习训练的图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。