烟雾浓度估计模型的训练方法、装置、电子设备及介质

技术领域

本发明属于火灾检测技术领域，具体涉及一种烟雾浓度估计模型的训练方法、装置、电子设备及介质。

背景技术

使用视频图像进行烟雾和火焰检测是一种火焰检测的低成本实现方式，其中烟雾是火焰的早期表现，因此对异常烟雾进行监测是智慧城市、消防的重要组成部分。然而，烟雾目标不同于常见的刚体，其边缘具有模糊和半透明的性质，属于一种特殊的流体目标。烟雾目标中通常会混杂背景信息，且烟雾特征容易受环境光照条件的影响，导致难以高效地对烟雾目标进行检测和标注。

在现有技术中，通常是利用神经网络模型对烟雾的浓度进行估计，以判断是否发生火灾。然而，模型的检测准确度，除了受神经网络模型本身的网络结构影响之外，模型训练也是影响模型准确性的重要因素。此外，通过人工标注的方式对烟雾进行逐像素浓度标注几乎无法实现。

发明内容

技术问题：本发明针对现有的烟雾浓度估计模型的训练方法，难以对烟雾浓度估计模型进行有效训练的问题，提供一种烟雾浓度估计模型的训练方法、装置、设备及存储介质，以提高训练后的烟雾浓度估计模型的性能。

技术方案：第一方面，本发明提供一种烟雾浓度估计模型的训练方法，所述估计模型包括第一神经网络和与其连接的第二神经网络，所述训练方法包括：

构建烟雾图像数据集，数据集中每个样本包括输入图像和类别标签图像，所需标签图像仅需像素类别标注是否为烟，无需逐像素标注烟雾浓度；

执行第一训练阶段：将输入图像输入估计模型中，根据估计模型的输出与标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；

执行第二训练阶段；随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签；根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。

优选地，根据第一输出特征与背景像素特征集合的相似程度，生成伪标签包括：

通过特征向量点积计算，逐像素地计算当前像素特征嵌入与负样本特征集的相似程度。

优选地，所述方法还包括：将类别标注图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。

优选地，执行第一训练阶段，计算损失函数值包括：

根据估计模型的输出与标签图像，计算交叉熵损失函数值，以及模糊对比损失函数值；

根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。

优选地，执行第二训练阶段，算损失函数值包括：

根据伪标签和第一训练模型的输出，计算交叉熵损失函数值，以及模糊对比损失函数值；

根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。

优选地，计算模糊对比损失函数值的公式为：

其中，N为模糊对比选取的样本点数，P

第二方面，本发明提供一种烟雾浓度估计模型的训练装置，用于执行所述的烟雾浓度估计模型的训练方法，包括：

第一阶段训练单元，用于执行第一训练阶段，将输入图像输入估计模型中，根据估计模型的输出与标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；

第二阶段训练单元，用于执行第二训练阶段，随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数。

优选地，还包括伪标签修正单元，用于将标注图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。

第三方面，本发明提供一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的烟雾浓度估计模型的训练方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的烟雾浓度估计模型的训练方法。

本发明与现有技术相比，具有以下优点：

(1)利用本发明的烟雾浓度估计模型的训练方法训练出的模型，无需逐个像素的烟雾浓度标注信息，仅仅依靠烟雾类别标注即可实现浓度估计模型的训练。在实际项目中，人工逐像素地标注烟雾像素浓度是非常困难甚至不可能的。此外，本发明中通过度量学习得到的伪标签样本，可以进一步用来迭代优化模型权重，通过自监督学习的多次优化过程，模型对于图像中烟雾浓度的估计能力，可以得到进一步提升。本发明可以利用离散的烟雾类别图即可训练得到连续的烟雾浓度估计，通过生成伪标签进行多次自监督的迭代学习，进一步提升模型性能。并且对样本标注的依赖极低，无需浓度标注即可训练，非常适用于烟雾这类半透明的目标识别与分析。

(2)本方法中的模糊对比优化方法，不同于已有的对比学习范式。本发明没有将单个像素生硬地映射到“有烟”或者“无烟”类别，而是通过标签的距离度量，设计了单个像素隶属于两类的概率，将单个样本“模糊”地映射到两类，非常适用于烟雾这类半透明目标的特征学习。其可以从离散的类别信息中，学习类间特征差异，实现图像中烟雾浓度的估计。

附图说明

图1为本发明实施例的烟雾浓度估计模型的训练方法网络架构示意图；

图2为本发明实施例的烟雾浓度估计模型的训练方法的流程图；

图3为本发明实施例的部分岩本对应的标注图和结果图；

图4为本发明实施例的烟雾浓度估计模型的训练装置的框图；

图5为本发明实施例的电子设备的框图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

图1示出了本发明实施例的烟雾浓度估计模型的训练方法网络架构示意图。在本发明的实施例中，烟雾浓度估计模型包括第一神经网络f

图2示出了本发明实施例的烟雾浓度估计模型的训练方法的流程图。结合图2，本发明实施例中，训练方法包括如下步骤：

S100：构建烟雾图像数据集，数据集中每个样本包括输入图像和类别标签图像，其中标签图像仅需像素类别标注是否为烟，无需逐像素标注烟雾浓度。

在图3中，示出了数据集中输入图像和标签图像的示例。在本发明的实施例中，输入图像如图3中第(a)行中所示示例。可以看出，图像中的烟雾均具有模糊和半透明的性质，烟雾目标(图中圈出的位置)中混杂有背景信息。

标签图像是烟雾与背景的离散1-0标注图像，将烟雾区注标注为1，背景标注为0，如图3中第(b)行中所示示例，其中黑色区域为背景区域，白色区域为烟雾区域。

S200：执行第一训练阶段；将输入图像输入估计模型中，根据估计模型的输出与标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型。

第一训练阶段，可以理解为，是对烟雾估计模型的第一次训练。在本发明的实施例中，第一训练阶段，可以理解为是第一次迭代。由于烟雾估计模型在未进行训练之前，是不具备烟雾特征表征能力的，而通过第一阶段的训练，使得模型具有了一定的烟雾特征表征和浓度估计能力。

而在这一训练阶段，是利用数据集中预先标注好的类别标签图像与烟雾估计模型的输出进行对比，然后进行反向传播，实现对模型参数的更新。通过第一训练阶段，得到一个具有烟雾能力估计能力的估计模型，这里，为了便于区别和描述，称为第一估计模型

在该阶段中，是根据估计模型的输出与类别标签图像，计算交叉熵损失函数值，以及模糊对比损失函数值；然后根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。

其中，交叉熵损失函数值，可以直接利用标准的交叉熵损失函数计算，而对于模糊对比损失函数值，在本发明中，设计模糊对比学习策略，对搭建好的模型进行参数优化。不同于标准的对比学习方法，模糊对比学习中不会硬性地规定单个样本属于某个类别，而是赋予每个样本到不同类别的隶属度。在模型优化过程中没有正负样本的对比概念，例如某个像素点能够以30％的概率隶属于背景类，同时以70％的概率隶属于烟雾类。对于参与对比学习的某个批次的样本数据，通过两个像素的标签相似度来引导模型学习到相应的特征相似度。在损失函数设计中，分子项表示样本间的标签相似度与特征相似度乘积，分母项引入标签不相似度与特征相似度的乘积。优化目标是增大分子项并减小分母项，实现相似特征的靠近和不相似特征的疏远。对于某个像素样本i，其具体损失函数形式如下：

其中，N为模糊对比选取的样本点数，P

其中，l

使用梯度下降法进行优化，对单个batch的训练样本数据，使用第一神经网络对模型前向推理后，得到H×W×D的特征表示，从中随机挑选N个样本特征进行模糊对比学习。模型优化时总的损失函数如下：

L＝L

其中，L

在本发明中，利用所提出损失函数进行优化，使得烟雾特征像素和背景特征像素能够比较均匀的分开。而如果单纯的利用交叉熵损失函数，二者特征在高维空间上会存在大量的交织，导致了特征度量时模型对于烟雾和背景的区分能力下降，如图3中第(c)行所示示例。

S300：执行第二训练阶段：随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。

在本发明的实施例中，首先从训练集中随机挑选M张输入图像用于构建负样本像素特征库。然后利用第一训练阶段训练出的第一估计模型，对挑选出的样本进行前向推理，此时，从第一神经网络f

根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，具体的可利用所构建的负样本像素特征集，以及第一输出特征图，通过特征向量点积计算，逐像素地计算当前像素特征嵌入与负样本特征集的相似程度(度量距离)。度量距离近则表示该像素在高维特征空间上更像背景，距离远则表示该像素在高维特征空间上更接近烟雾。至此，通过这种特征距离度量的方式，可以生成训练图像的烟雾浓度伪标签。其中，在伪标签中，与背景特征越相似的像素，烟雾浓度越淡。

根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数。

在计算损失函数值时，根据伪标签和第一训练模型的输出，计算交叉熵损失函数值，以及模糊对比损失函数值；根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。具体的过程可参见对第一训练阶段的说明，所用的损失函数和优化方法是相同的。

对于第二训练阶段，在训练时，实质上是利用生成的包含一定烟雾浓度信息的伪标签代替原标签图像，实现对烟雾浓度估计模型的训练。在训练时，不断循环迭代第二训练阶段的过程，直至精度不再提升，即得到最终的烟雾浓度估计模型。

在本发明的实施例中，在第二训练阶段，可将标注图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。

图3中，第(c)行显示了用传统训练方法训练的模型得到烟雾浓度估计图，第(d)行显示了用本发明所提出的方法训练的模型得到的烟雾浓度估计图。从第(c)行可以看出，利用传统方法训练出的模型，最后输出的烟雾浓度估计图中，烟雾和背景并不能完全区分，因此，利用传统的方法训练出的烟雾浓度估计模型，用于估计烟雾浓度时，准确率并不高。而从第(d)行可以看出，利用本发明的方法训练出的模型，最后输出的烟雾浓度估计图中，烟雾和背景能够完全区分，用于估计烟雾浓度时，准确率会有所提高。

图4示出了本发明实施例的烟雾浓度估计模型的训练装置的框图。

如图4所示，本发明的实施例的烟雾浓度估计模型的训练装置400，包括：第一阶段训练单元410，用于执行第一训练阶段，将输入图像输入估计模型中，根据估计模型的输出与标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；

第二阶段训练单元420，用于执行第二训练阶段，随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。

进一步地，还包括伪标签修正单元430，用于将标注图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。

本发明提供一种电子设备500。图5示了根据本发明实施例的电子设备的框图。

如图5所示，电子设备包括一个或多个处理器510和存储器520。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的烟雾浓度估计模型的训练方法以及/或者其他期望的功能。在所述的计算机可读存储介质中，还可以存储估计模型各部分输出的特征图等。

在一个示例中，电子设备还可以包括输入装置530和输出装置540，输入装置如键盘、鼠标等等，输出装置如显示器等等。输入装置530和输出装置540与处理器连接。

本发明提供一种存储介质，具体的讲，是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。