特征度量的石化气体泄露图像融合方法和装置

技术领域

本申请属于石化气体技术领域，尤其涉及一种特征度量的石化气体泄露图像融合方法和装置。

背景技术

石化挥发性有机化合物(VOCs)是一种来源广泛的高污染性的气体，对区域性大气臭氧污染和PM2.5污染有着重要的影响，大部分石化气体具有令人不适的特殊气味，同时具有毒性、刺激性、致畸性和致癌作用，会对人体健康造成巨大危害。在石化气体发生泄漏的情况下，需要对石化气体进行观测以确定气体泄漏位置，现有的观测设备仅能在红外图像上观测到石化气体，但红外图像没有颜色信息且纹理不丰富，成像效果不佳，不便于观测石化气体的泄漏位置。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种特征度量的石化气体泄露图像融合方法和装置，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

第一方面，本申请提供了一种特征度量的石化气体泄露图像融合方法，该方法包括：

将获取的目标场景下的所述石化气体所对应的源图像输入至图像融合模型，得到所述图像融合模型输出的所述石化气体对应的初始融合图像；所述源图像包括红外光图像和可见光图像；

对所述红外光图像进行特征提取，得到所述红外光图像对应的第一特征图；对所述可见光图像进行特征提取，得到所述可见光图像对应的第二特征图；

基于所述第一特征图、所述第二特征图以及所述初始融合图像，构建损失函数；

基于所述损失函数训练所述图像融合模型；所述图像融合模型用于对所述石化气体对应的泄漏图像进行融合。

根据本申请实施例提供的特征度量的石化气体泄露图像融合方法，通过构建图像融合模型以融合石化气体的可见光图像和红外光图像，然后得到初始融合图像，并对可见光图像、红外光图像以及初始融合图像进行处理，以构建损失函数，再基于损失函数训练图像融合模型，以提升图像融合模型的精确度和准确度，将红外光图像上可见的气体泄露的信息融合到可见光图像上，既保留了可见光图像上的丰富细节和色彩信息，又保留了红外光图像上的石化气体信息，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

本申请一个实施例的石化气体泄露图像融合方法，所述基于所述第一特征图、所述第二特征图以及所述初始融合图像，构建损失函数，包括：

基于所述第一特征图、所述第二特征图以及所述初始融合图像，得到所述源图像与所述初始融合图像之间的结构差异度和强度分布差异度；

基于所述结构差异度和所述强度分布差异度，构建所述损失函数。

本申请一个实施例的特征度量的石化气体泄露图像融合方法，所述基于所述第一特征图、所述第二特征图以及所述初始融合图像，得到所述源图像与所述初始融合图像之间的结构差异度和强度分布差异度，包括：

获取所述红外光图像与所述初始融合图像之间的第一结构相似性度量值，以及所述可见光图像与所述初始融合图像之间的第二结构相似性度量值；

基于所述第一特征图对应的第一宽度、第一高度和第一通道数，计算得到所述第一特征图对应的第一图像梯度；基于所述第二特征图对应的第二宽度、第二高度和第二通道数，计算得到所述第二特征图对应的第二图像梯度；

基于所述第一图像梯度得到所述红外光图像对应的第一自适应权重；基于所述第二图像梯度得到所述可见光图像对应的第二自适应权重；

基于所述第一自适应权重、所述第二自适应权重、所述第一结构相似性度量值和所述第二结构相似性度量值，得到所述结构差异度。

本申请一个实施例的特征度量的石化气体泄露图像融合方法，所述基于所述第一特征图、所述第二特征图以及所述初始融合图像，得到所述源图像与所述初始融合图像之间的结构差异度和强度分布差异度，包括：

获取所述红外光图像与所述初始融合图像之间的第一均方误差，以及所述可见光图像与所述初始融合图像之间的第二均方误差；

基于所述第一特征图对应的第一宽度、第一高度和第一通道数，计算得到所述第一特征图对应的第一图像梯度；基于所述第二特征图对应的第二宽度、第二高度和第二通道数，计算得到所述第二特征图对应的第二图像梯度；

基于所述第一图像梯度得到所述红外光图像对应的第一自适应权重；基于所述第二图像梯度得到所述可见光图像对应的第二自适应权重；

基于所述第一自适应权重、所述第二自适应权重、所述第一均方误差和所述第二均方误差，得到所述强度分布差异度。

本申请一个实施例的特征度量的石化气体泄露图像融合方法，所述图像融合模型包括：双分支编码器、融合层和解码器；所述双分支编码器的输出端与所述融合层的输入端连接，所述将获取的目标场景下的所述石化气体所对应的源图像输入至图像融合模型，得到所述图像融合模型输出的所述石化气体对应的初始融合图像，包括：

对所述可见光图像进行分离处理，得到所述可见光图像对应的亮度分量、蓝色浓度偏移分量和红色浓度偏移分量；

将所述红外光图像输入至所述双分支编码器中第一编码器模块，获取所述第一编码器模块输出的与所述红外光图像对应的第一低频特征以及第一高频特征；将所述亮度分量输入至所述双分支编码器中第二编码器模块，获取所述第二编码器模块输出的与所述可见光图像对应的第二低频特征以及第二高频特征；

将所述第一低频特征和所述第二低频特征输入至所述融合层中基础融合层，获取所述基础融合层输出的基础特征图；将所述第一高频特征和所述第二高频特征输入至所述融合层中细节融合层，获取所述细节融合层输出的细节特征图；所述基础融合层包括轻型Transformer块；所述细节融合层包括可逆神经网络块；

将所述基础特征图和所述细节特征图输入至所述解码器，获取所述解码器输出的第一融合图像；

基于所述第一融合图像得到所述初始融合图像；所述第一融合图像为单通道图像，所述初始融合图像为三通道图像。

本申请一个实施例的特征度量的石化气体泄露图像融合方法，在所述基于所述损失函数训练所述图像融合模型之后，所述方法还包括：

获取目标时刻和目标场景下的所述石化气体对应的目标红外光图像和目标可见光图像；

分别将所述目标红外光图像和目标可见光图像输入至训练后的图像融合模型，获取训练后的图像融合模型输出所述石化气体对应的目标融合图像。

第二方面，本申请提供了一种特征度量的石化气体泄露图像融合装置，该装置包括：

第一处理模块，用于将获取的目标场景下的所述石化气体所对应的源图像输入至图像融合模型，得到所述图像融合模型输出的所述石化气体对应的初始融合图像；所述源图像包括红外光图像和可见光图像；

第二处理模块，用于对所述红外光图像进行特征提取，得到所述红外光图像对应的第一特征图；对所述可见光图像进行特征提取，得到所述可见光图像对应的第二特征图；

第三处理模块，用于基于所述第一特征图、所述第二特征图以及所述初始融合图像，构建损失函数；

第四处理模块，用于基于所述损失函数训练所述图像融合模型；所述图像融合模型用于对所述石化气体对应的泄漏图像进行融合。

根据本申请实施例提供的特征度量的石化气体泄露图像融合装置，通过构建图像融合模型以融合石化气体的可见光图像和红外光图像，然后得到初始融合图像，并对可见光图像、红外光图像以及初始融合图像进行处理，以构建损失函数，再基于损失函数训练图像融合模型，以提升图像融合模型的精确度和准确度，将红外光图像上可见的气体泄露的信息融合到可见光图像上，既保留了可见光图像上的丰富细节和色彩信息，又保留了红外光图像上的石化气体信息，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的特征度量的石化气体泄露图像融合方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的特征度量的石化气体泄露图像融合方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的特征度量的石化气体泄露图像融合方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过构建图像融合模型以融合石化气体的可见光图像和红外光图像，然后得到初始融合图像，并对可见光图像、红外光图像以及初始融合图像进行处理，以构建损失函数，再基于损失函数训练图像融合模型，以提升图像融合模型的精确度和准确度，将红外光图像上可见的气体泄露的信息融合到可见光图像上，既保留了可见光图像上的丰富细节和色彩信息，又保留了红外光图像上的石化气体信息，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

进一步地，通过在编码器中的BTE模块中使用LT模块，能够在降低参数量的情况下保证运行效果，减少了参数冗余，在提高了运行效率的基础上能够提取效果更好的低频特征；在编码器中的DCE模块中使用INN模块，能够提取可见光图像和红外光图像中的边缘纹理信息，防止信息丢失，以保留更多高频细节信息；然后基于解码器获取初始融合图像，提升了石化VOCs气体的成像效果，融合效果较好，便于对污染进行定位和溯源，从而提升检测效率，方便快速发现和处理泄漏事故。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的特征度量的石化气体泄露图像融合方法的流程示意图；

图2是本申请实施例提供的特征度量的石化气体泄露图像融合方法的原理示意图之一；

图3是本申请实施例提供的特征度量的石化气体泄露图像融合方法的原理示意图之二；

图4是本申请实施例提供的特征度量的石化气体泄露图像融合方法的原理示意图之三；

图5是本申请实施例提供的特征度量的石化气体泄露图像融合方法的原理示意图之四；

图6是本申请实施例提供的特征度量的石化气体泄露图像融合装置的结构示意图；

图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合图1至图5描述本申请实施例的特征度量的石化气体泄露图像融合方法。

需要说明的是，特征度量的石化气体泄露图像融合方法的执行主体可以为服务器，或者可以为特征度量的石化气体泄露图像融合装置，或者还可以为用户的终端，包括但不限于移动终端和非移动终端。

例如，移动终端包括但不限于手机、PDA智能终端、平板电脑以及车载智能终端等；非移动终端包括但不限于PC端等。

如图1所示，该特征度量的石化气体泄露图像融合方法，包括：步骤110、步骤120、步骤130和步骤140。

步骤110、将获取的目标场景下的石化气体所对应的源图像输入至图像融合模型，得到图像融合模型输出的石化气体对应的初始融合图像；源图像包括红外光图像和可见光图像。

在该步骤中，在石化气体(Volatile Organic Compounds，VOCs)发生泄漏的情况下，需要对石化气体需要进行观测。

石化气体所对应的源图像可以包括石化气体对应的红外光图像和可见光图像。

石化气体可以在红外传感器上成像，基于红外光图像可以观测到石化气体。

红外光图像为只有亮度信息的单通道图像，红外光图像可以基于红外传感器采集得到。

例如，红外传感器可以为有源红外传感器，或者可以为被动红外传感器，或者还可以为其他类型的传感器，可以基于用户自行选择，本申请不作限定。

可见光图像为包含色彩信息的三通道RGB图像，可见光图像可以基于可见光传感器采集得到。

例如，可见光传感器可以为RGB彩色相机，或者还可以为其他类型的传感器，可以基于用户自行选择，本申请不作限定。

在采集源图像的过程中，红外传感器和可见光传感器可以固定在同一云台，以采集目标场景下的源图像。

图像融合模型可以为神经网络模型，可以基于用户构建得到。

将源图像输入至图像融合模型，可以得到图像融合模型输出的初始融合图像。

将红外光图像中包括石化气体泄漏的场景信息融合到可见光图像上，以得到初始融合图像，既可以保留可见光图像上的丰富细节和色彩信息，又可以保留红外光图像上的石化气团信息。

在一些实施例中，在步骤110之前，该方法还可以包括：

基于目标抽帧频率对采集得到的石化气体的视频数据进行处理，获取石化气体对应的多帧初始红外光图像和多帧初始可见光图像；

将多帧初始红外光图像和多帧初始可见光图像分别划分为石化气体图像集和场景图像集；

基于目标比例对石化气体图像集中的图像进行划分，得到石化气体对应的源图像。

在该实施例中，目标抽帧频率可以基于场景重复情况和气体变化速率确定。

例如，可以基于抽帧间隔N(N≥5)对视频数据进行抽帧处理。

基于目标抽帧频率对视频数据进行处理，可以降低各帧数据的相似程度。

石化气体的视频数据可以基于固定在同一云台的红外传感器和可见光传感器采集得到。

石化气体图像集和场景图像集中均包含红外光图像和可见光图像。

石化气体图像集中的图像可以观测到石化气体。

场景图像集中的图像不可以观测到石化气体。

多帧初始可见光图像与多帧初始红外光图像为一一对应的。

石化气体图像集中多帧图像之间的场景重复度较低。

场景图像集中多帧图像之间的场景重复度较低。

在多帧图像的尺寸之间存在差异的情况下，可以通过缩放和裁剪等操作对多帧图像进行尺寸归一化操作。

目标比例可以为9:1，或者可以为8:2，可以基于用户自定义，本申请不作限定。

例如，将石化气体图像集中的图像根据9:1的比例随机划分出训练验证集和测试集，再根据9:1的比例随机将训练验证集划分为训练接和验证集，以得到石化气体数据集，即石化气体对应的源图像。

如图2所示，在一些实施例中，图像融合模型可以包括：双分支编码器、融合层和解码器；双分支编码器的输出端与融合层的输入端连接，步骤110可以包括：

对可见光图像进行分离处理，得到可见光图像对应的亮度分量、蓝色浓度偏移分量和红色浓度偏移分量；

将红外光图像输入至双分支编码器中第一编码器模块，获取第一编码器模块输出的与红外光图像对应的第一低频特征以及第一高频特征；将亮度分量输入至双分支编码器中第二编码器模块，获取第二编码器模块输出的与可见光图像对应的第二低频特征以及第二高频特征；

将第一低频特征和第二低频特征输入至融合层中基础融合层，获取基础融合层输出的基础特征图；将第一高频特征和第二高频特征输入至融合层中细节融合层，获取细节融合层输出的细节特征图；基础融合层包括轻型Transformer块；细节融合层包括可逆神经网络块；

将基础特征图和细节特征图输入至解码器，获取解码器输出的第一融合图像；

基于第一融合图像得到初始融合图像；第一融合图像为单通道图像，初始融合图像为三通道图像。

在该实施例中，双分支编码器可以包括：共有特征编码器(Share FeatureEncoder，SFE)、基础Transformer编码器(Base Transformer Encoder，BTE)和细节卷积神经网络编码器(Detail CNN Encoder，DCE)。

其中，SFE模块使用了Restormer模块，可以通过跨特征维度的自注意力机制从输入图像中提取全局特征，SFE模块可以提取得到可见光图像和红外光图像中浅层的共有特征。

BTE模块使用了具有空间自注意力的轻型Transformer(Lite Transformer，LT)模块，可以提取长距离特征，平衡提取效果和运算效率，能够在降低参数量的情况下保证运行效果，BTE模块可以用于从共有特征中提取图像的低频基本特征。

DCE模块使用了可逆神经网络(Invertible Neural Network，INN)模块，基于INN模块的可逆设计，输入特征和输出特征可以相互生成，从而防止信息丢失，DCE模块可以用于从共有特征中提取图像的高频细节信息。

红外光图像为只有亮度信息的单通道图像，可见光图像为包含色彩信息的三通道RGB图像，在对可见光图像和红外光图像进行融合之前，需要对可见光图像进行处理。

对可见光图像进行分离处理，可以得到可见光图像对应的亮度分量、蓝色浓度偏移分量和红色浓度偏移分量，以将亮度和色度分离开。

亮度分量用于表征颜色的明亮度和浓度。

蓝色浓度偏移分量用于表征RGB输入信号的蓝色部分与RGB信号亮度值之间的差异。

红色浓度偏移分量用于表征RGB输入信号的红色部分与RGB信号亮度值之间的差异。

双分支编码器可以包括第一编码器模块和第二编码器模块。

第一编码器模块的输入为红外光图像。

第一编码器模块可以包括SFE模块、BTE模块和DCE模块。

第一低频特征为红外光图像对应的低频基本特征。

第一高频特征为红外光图像对应的高频细节特征。

将红外光图像输入至第一编码器模块，第一编码器模块中的SFE模块可以输出红外光图像中与可见光图像中浅层的共有特征，将共有特征分别输入至BTE模块和DCE模块，可以获取BTE模块输出的红外光图像对应的第一低频特征，以及DCE模块输出的红外光图像对应的第一高频特征。

第二编码器模块的输入为可见光图像对应的亮度分量。

第二编码器模块可以包括SFE模块、BTE模块和DCE模块。

第二低频特征为可见光图像对应的低频基本特征。

第二高频特征为红外光图像对应的高频细节特征。

将可见光图像的亮度分量输入至第二编码器模块，第二编码器模块中的SFE模块可以输出可见光图像中与红外光图像中浅层的共有特征，将共有特征分别输入至BTE模块和DCE模块，可以获取BTE模块输出的可见光图像对应的第二低频特征，以及DCE模块输出的可见光图像对应的第二高频特征。

融合层可以包括基础融合层(Base Fusion Layer)和细节融合层(Detail FusionLayer)。

基础融合层的输入端分别与第一编码器模块的输出端和第二编码器模块的输出端连接。

基础融合层用于融合从BTE模块中提取的第一低频特征和第二低频特征。

基础融合层包括轻型Transformer(Lite Transformer，LT)块。

将第一低频特征和第二低频特征输入至融合层中基础融合层，可以获取基础融合层输出的基础特征图。

细节融合层的输入端分别与第一编码器模块的输出端和第二编码器模块的输出端连接。

细节融合层用于融合从DCE模块中提取的第一高频特征和第二高频特征。

细节融合层包括可逆神经网络(Invertible Neural Network，INN)块。

将第一高频特征和第二高频特征输入至融合层中细节融合层，获取细节融合层输出的细节特征图。

解码器可以将分解后的特征在通道维度进行拼接，从而得到并输出第一融合图像。

第一融合图像为单通道的图像。

输入至解码器的特征跨模态且分布在多个频段，解码器与SFE模块的结构一致，解码器以Restormer模块作为基础单元。

对第一融合图像进行处理，可以将第一融合图像恢复为三通道图像，得到初始融合图像。

在实际执行过程中，如图2所示，可以基于如下公式，将可见光图像I

其中，Y为颜色的亮度分量，Cb为蓝色的浓度偏移分量，Cr为红色的浓度偏移分量。

将可见光图像I

其中，S(·)为SFE模块，

将

其中，B(·)为BTE模块，

将

其中，D(·)为DCE模块，

DCE模块中使用的INN块具有仿射耦合层，下面以基于DCE模块处理红外光图像为例，对INN块中每层的变换进行说明：

其中，⊙为哈达玛积，

将第一低频特征和第二低频特征输入至融合层中基础融合层，获取基础融合层输出的基础特征图：

其中，Φ

将第一高频特征和第二高频特征输入至融合层中细节融合层，获取细节融合层输出的细节特征图：

其中，Φ

将基础特征图和细节特征图输入至解码器，获取解码器输出的第一融合图像：

F＝DC(Φ

其中，F为第一融合图像，DC(·)为解码器，Φ

将第一融合图像恢复为三通道RGB图像，得到初始融合图像I

其中，Y为可见光图像对应的亮度分量，Cb为可见光图像对应的蓝色的浓度偏移分量，Cr为可见光图像对应的红色的浓度偏移分量。

根据本申请实施例提供的特征度量的石化气体泄露图像融合方法，通过在编码器中的BTE模块中使用LT模块，能够在降低参数量的情况下保证运行效果，减少了参数冗余，在提高了运行效率的基础上能够提取效果更好的低频特征；在编码器中的DCE模块中使用INN模块，能够提取可见光图像和红外光图像中的边缘纹理信息，防止信息丢失，以保留更多高频细节信息；然后基于解码器获取初始融合图像，提升了石化VOCs气体的成像效果，融合效果较好，便于对污染进行定位和溯源，从而提升检测效率，方便快速发现和处理泄漏事故。

步骤120、对红外光图像进行特征提取，得到红外光图像对应的第一特征图；对可见光图像进行特征提取，得到可见光图像对应的第二特征图。

在该步骤中，第一特征图为对红外光图像进行特征提取之后得到的特征图，第一特征图可以用于表征红外光图像中气体的纹理和形状细节的局部特征，或者可以用于表征红外光图像中的局部空间结构等。

第二特征图为对可见光图像进行特征提取之后得到的特征图，第二特征图可以用于表征可见光图像中气体的纹理和形状细节的局部特征，或者可以用于表征可见光图像中的局部空间结构等。

在一些实施例中，步骤120可以包括：

将红外光图像和可见光图像分别输入至特征提取网络，获取特征提取网络输出的与红外光图像对应的第一特征图，以及与可见光图像对应的第二特征图。

在该实施例中，特征提取网络可以为基于移位窗口的多头自注意力Transformer网络(Shifted Windows Multi-Head Self-Attention Transformer Network，STNet)。

特征提取网络可以用于提取图像中气体等模糊气体的特征。

特征提取网络可以基于公开的大型数据集训练权重。

如图2所示，特征提取网络可以包括4个层级，各层级前可以设置块嵌入层和块合并层。

各层级包括2n个Swin Transformer块，n为大于等于1的整数。

各Swin Transformer块均包括一个基于移位窗口的多头自注意力(ShiftedWindows Multi-Head Self-Attention，SWMSA)模块或普通的多头自注意力(WindowsMulti-Head Self-Attention，WMSA)模块，以及一个多层感知机(Multilayer Perceptron，MLP)。

其中，多层感知机包括2个层级，层级之间基于GELU函数进行非线性变换。

GELU激活函数如下公式所示：

GELU(x)＝xΦ(x)

其中，GELU(x)为激活函数，Φ(x)为正态分布的概率分布函数。

每个SWMSA模块、MSA模块和MLP前进行层归一化，并在每个模块后使用残差连接。

特征提取网络中前两层的输出特征图可以用于表征浅层特征，例如，气体的纹理和形状细节等局部特征。

特征提取网络中后两层的输出特征图可以用于表征深层特征，例如，局部空间结构等。

步骤130、基于第一特征图、第二特征图以及初始融合图像，构建损失函数。

在该实施例中，损失函数用于训练图像融合模型。

基于第一特征图、第二特征图以及初始融合图像，可以构建损失函数。

在一些实施例中，步骤130可以包括：

基于第一特征图、第二特征图以及初始融合图像，得到源图像与初始融合图像之间的结构差异度和强度分布差异度；

基于结构差异度和强度分布差异度，构建损失函数。

在该实施例中，源图像与初始融合图像之间的结构差异度包括：红外光图像与初始融合图像之间的第一结构差异度，以及可见光图像与初始融合图像之间的第二结构差异度。

源图像与初始融合图像之间的强度分布差异度包括：红外光图像与初始融合图像之间的第一强度分布差异度，以及可见光图像与初始融合图像之间的第二强度分布差异度。

在一些实施例中，基于第一特征图、第二特征图以及初始融合图像，得到源图像与初始融合图像之间的结构差异度和强度分布差异度，可以包括：

获取红外光图像与初始融合图像之间的第一结构相似性度量值，以及可见光图像与初始融合图像之间的第二结构相似性度量值；

基于第一特征图对应的第一宽度、第一高度和第一通道数，计算得到第一特征图对应的第一图像梯度；基于第二特征图对应的第二宽度、第二高度和第二通道数，计算得到第二特征图对应的第二图像梯度；

基于第一图像梯度得到红外光图像对应的第一自适应权重；基于第二图像梯度得到可见光图像对应的第二自适应权重；

基于第一自适应权重、第二自适应权重、第一结构相似性度量值和第二结构相似性度量值，得到结构差异度。

在该实施例中，基于红外光图像对应的平均值和方差、初始融合图像对应的平均值和方差以及初始融合图像与红外光图像之间的协方差，可以计算得到红外光图像与初始融合图像之间的第一结构相似性度量值。

基于可见光图像对应的平均值和方差、初始融合图像对应的平均值和方差以及初始融合图像与可见光图像之间的协方差，可以计算得到可见光图像与初始融合图像之间的第二结构相似性度量值。

图像梯度可以用于进行信息度量，以衡量特征中信息的丰富程度，从而得到特征的相对重要性。

自适应权重可以用于表征信息保护度，信息保护度为源图像和初始融合图像之间的相似度，信息保护度越高的情况下，初始融合图像中保留的源图像中的信息越多。

基于第一图像梯度，可以计算得到红外光图像对应第一自适应权重。

基于第二图像梯度，可以计算得到可见光图像对应的第二自适应权重。

基于第一自适应权重、第二自适应权重、第一结构相似性度量值和第二结构相似性度量值，可以得到结构差异度。

在一些实施例中，基于第一特征图、第二特征图以及初始融合图像，得到源图像与初始融合图像之间的结构差异度和强度分布差异度，还可以包括：

获取红外光图像与初始融合图像之间的第一均方误差，以及可见光图像与初始融合图像之间的第二均方误差；

基于第一特征图对应的第一宽度、第一高度和第一通道数，计算得到第一特征图对应的第一图像梯度；基于第二特征图对应的第二宽度、第二高度和第二通道数，计算得到第二特征图对应的第二图像梯度；

基于第一图像梯度得到红外光图像对应的第一自适应权重；基于第二图像梯度得到可见光图像对应的第二自适应权重；

基于第一自适应权重、第二自适应权重、第一均方误差和第二均方误差，得到强度分布差异度。

在该实施例中，第一均方误差用于表征红外光图像与初始融合图像之间的差异度。

第二均方误差用于表征可见光图像与初始融合图像之间的差异度。

基于第一自适应权重、第二自适应权重、第一均方误差和第二均方误差，可以得到强度分布差异度。

在实际执行过程中，可以基于图像梯度对特征图像进行信息度量，以计算第一特征图像对应的第一图像梯度为例，对信息度量算法进行说明：

其中，g

基于第一自适应权重和第二自适应权重表征信息保护度，信息保护度的算法如下公式所示：

其中，ω

基于以下公式计算得到红外光图像与初始融合图像之间的第一结构相似性度量值：

其中，

基于以下公式计算得到可见光图像与初始融合图像之间的第二结构相似性度量值：

其中，

基于以下公式可以得到结构差异度：

其中，

基于以下公式得到第一均方误差：

其中，

基于以下公式得到第二均方误差：

其中，

基于以下公式可以得到强度分布差异度：

其中，

基于结构差异度和强度分布差异度，构建损失函数：

其中，

步骤140、基于损失函数训练图像融合模型；图像融合模型用于对石化气体对应的泄漏图像进行融合。

在该步骤中，图像融合模型用于对石化气体对应的泄漏图像进行融合。

在石化气体发生泄漏的情况下，可以基于图像融合模型融合石化气体对应的泄漏图像，以便于观测石化气体的泄漏情况。

在训练图像融合模型的过程中，损失函数可以基于预测值和真实值之间的损失值，更新图像融合模型中的各个参数，以降低真实值与预测值之间的损失，使得图像融合模型的输出结果更加精确和准确。

根据本申请实施例提供的特征度量的石化气体泄露图像融合方法，通过构建图像融合模型以融合石化气体的可见光图像和红外光图像，然后得到初始融合图像，并对可见光图像、红外光图像以及初始融合图像进行处理，以构建损失函数，再基于损失函数训练图像融合模型，以提升图像融合模型的精确度和准确度，将红外光图像上可见的气体泄露的信息融合到可见光图像上，既保留了可见光图像上的丰富细节和色彩信息，又保留了红外光图像上的石化气体信息，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

在一些实施例中，在步骤140之后，特征度量的石化气体泄露图像融合方法还可以包括：

获取目标时刻和目标场景下的石化气体对应的目标红外光图像和目标可见光图像；

分别将目标红外光图像和目标可见光图像输入至训练后的图像融合模型，获取训练后的图像融合模型输出石化气体对应的目标融合图像。

在该实施例中，可以通过工业红外相机和可见光相机SDK实时获取石化气体对应的视频帧，以得到目标时刻和目标场景下的目标红外光图像和目标可见光图像。

将采集到的双光谱图像输入至训练好的图像融合模型，可以获取训练好的图像融合模型输出的融合后的彩色图像，即目标融合图像。

在得到目标融合图像之后，可以在窗口实时显示目标融合图像，便于用户对石化气体进行观测。

经发明人多次试验验证得到，以某一管道泄漏的烷烃类石化VOCs气体进行图像融合为例，如图3示例了目标红外光图像，图4示例了目标可见光图像，将目标红外光图像和目标可见光图像输入至训练好图像融合模型，可以获取目标融合图像，如图5所示，可见目标融合图像的融合效果较好。

根据本申请实施例提供的特征度量的石化气体泄露图像融合方法，基于训练好的图像融合模型，融合石化气体对应的目标红外光图像和目标可见光图像，以得到目标融合图像，石化气体的成像效果较好，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

下面对本申请提供的特征度量的石化气体泄露图像融合装置进行描述，下文描述的特征度量的石化气体泄露图像融合装置与上文描述的特征度量的石化气体泄露图像融合方法可相互对应参照。

本申请实施例提供的特征度量的石化气体泄露图像融合方法，执行主体可以为特征度量的石化气体泄露图像融合装置。本申请实施例中以特征度量的石化气体泄露图像融合装置执行特征度量的石化气体泄露图像融合方法为例，说明本申请实施例提供的特征度量的石化气体泄露图像融合装置。

本申请实施例还提供一种特征度量的石化气体泄露图像融合装置。

如图6所示，该特征度量的石化气体泄露图像融合装置，包括：第一处理模块610、第二处理模块620、第三处理模块630和第四处理模块640。

第一处理模块610，用于将获取的目标场景下的石化气体所对应的源图像输入至图像融合模型，得到图像融合模型输出的石化气体对应的初始融合图像；源图像包括红外光图像和可见光图像；

第二处理模块620，用于对红外光图像进行特征提取，得到红外光图像对应的第一特征图；对可见光图像进行特征提取，得到可见光图像对应的第二特征图；

第三处理模块630，用于基于第一特征图、第二特征图以及初始融合图像，构建损失函数；

第四处理模块640，用于基于损失函数训练图像融合模型；图像融合模型用于对石化气体对应的泄漏图像进行融合。

根据本申请实施例提供的特征度量的石化气体泄露图像融合装置，通过构建图像融合模型以融合石化气体的可见光图像和红外光图像，然后得到初始融合图像，并对可见光图像、红外光图像以及初始融合图像进行处理，以构建损失函数，再基于损失函数训练图像融合模型，以提升图像融合模型的精确度和准确度，将红外光图像上可见的气体泄露的信息融合到可见光图像上，既保留了可见光图像上的丰富细节和色彩信息，又保留了红外光图像上的石化气体信息，提升了石化气体的成像效果，便于用户对石化气体的污染进行定位和溯源，从而提升检测效率，便于快速发现和处理泄漏事故。

在一些实施例中，第三处理模块630还可以用于：

基于第一特征图、第二特征图以及初始融合图像，得到源图像与初始融合图像之间的结构差异度和强度分布差异度；

基于结构差异度和强度分布差异度，构建损失函数。

在一些实施例中，第三处理模块630还可以用于：

获取红外光图像与初始融合图像之间的第一结构相似性度量值，以及可见光图像与初始融合图像之间的第二结构相似性度量值；

基于第一特征图对应的第一宽度、第一高度和第一通道数，计算得到第一特征图对应的第一图像梯度；基于第二特征图对应的第二宽度、第二高度和第二通道数，计算得到第二特征图对应的第二图像梯度；

基于第一图像梯度得到红外光图像对应的第一自适应权重；基于第二图像梯度得到可见光图像对应的第二自适应权重；

基于第一自适应权重、第二自适应权重、第一结构相似性度量值和第二结构相似性度量值，得到结构差异度。

在一些实施例中，第三处理模块630还可以用于：

获取红外光图像与初始融合图像之间的第一均方误差，以及可见光图像与初始融合图像之间的第二均方误差；

基于第一特征图对应的第一宽度、第一高度和第一通道数，计算得到第一特征图对应的第一图像梯度；基于第二特征图对应的第二宽度、第二高度和第二通道数，计算得到第二特征图对应的第二图像梯度；

基于第一图像梯度得到红外光图像对应的第一自适应权重；基于第二图像梯度得到可见光图像对应的第二自适应权重；

基于第一自适应权重、第二自适应权重、第一均方误差和第二均方误差，得到强度分布差异度。

在一些实施例中，图像融合模型包括：双分支编码器、融合层和解码器；双分支编码器的输出端与融合层的输入端连接，第一处理模块610还可以用于：

对可见光图像进行分离处理，得到可见光图像对应的亮度分量、蓝色浓度偏移分量和红色浓度偏移分量；

将红外光图像输入至双分支编码器中第一编码器模块，获取第一编码器模块输出的与红外光图像对应的第一低频特征以及第一高频特征；将亮度分量输入至双分支编码器中第二编码器模块，获取第二编码器模块输出的与可见光图像对应的第二低频特征以及第二高频特征；

将第一低频特征和第二低频特征输入至融合层中基础融合层，获取基础融合层输出的基础特征图；将第一高频特征和第二高频特征输入至融合层中细节融合层，获取细节融合层输出的细节特征图；基础融合层包括轻型Transformer块；细节融合层包括可逆神经网络块；

将基础特征图和细节特征图输入至解码器，获取解码器输出的第一融合图像；

基于第一融合图像得到初始融合图像；第一融合图像为单通道图像，初始融合图像为三通道图像。

在一些实施例中，该特征度量的石化气体泄露图像融合装置还可以包括第五处理模块，用于在基于损失函数训练图像融合模型之后，获取目标时刻和目标场景下的石化气体对应的目标红外光图像和目标可见光图像；

分别将目标红外光图像和目标可见光图像输入至训练后的图像融合模型，获取训练后的图像融合模型输出石化气体对应的目标融合图像。

本申请实施例中的特征度量的石化气体泄露图像融合装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的特征度量的石化气体泄露图像融合装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的特征度量的石化气体泄露图像融合装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701、存储器702及存储在存储器702上并可在处理器701上运行的计算机程序，该程序被处理器701执行时实现上述特征度量的石化气体泄露图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述特征度量的石化气体泄露图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述特征度量的石化气体泄露图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

又一方面，本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述特征度量的石化气体泄露图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。