一种数据生成方法、系统、存储介质及电子设备

技术领域

本发明涉及油气站火灾检测技术领域，尤其涉及一种数据生成方法、系统、存储介质及电子设备。

背景技术

烟雾和火焰是油气站内潜在的危险信号，可能表明火灾或其他安全事故的发生。油气站内进行烟雾和火焰检测的意义在于及时发现火灾风险，保护人员安全和设备完整。通过烟雾和火焰检测，可以实时监测站点的环境，在第一时间内发现潜在的火灾风险，最大限度地减少火灾造成的损失。但是目前油气站内烟雾和火焰数据极少，无法支撑算法训练和验证。因此，进行油气站背景下的数据生成具有重要的意义，以支撑油气站内的烟雾、火焰检测算法。

数据生成的现有技术手段主要包括以下几种：1)合成数据，通过模拟和生成技术生成数据，可以根据需要灵活地生成大量数据。合成数据可以用于模型训练和测试，尤其在真实数据难以获取或需要特定场景的情况下有很大的应用潜力；2)迁移学习和预训练模型，利用已有的大规模数据集和模型，在新任务上进行微调，从而生成适用于特定任务的数据。这种方法可以节省数据收集和标注的成本，并且有助于解决数据稀缺的问题；3)数据增强，通过对原始数据应用一系列变换和扩展操作来生成新的数据样本，可以提高模型的鲁棒性和泛化能力，并增加数据集的多样性。

现有技术的缺点有：1)合成数据可能不完全符合真实数据的分布和特征，无法捕捉真实数据的所有变化和噪声。在某些任务中，合成数据的性能可能不如真实数据。2)迁移学习和预训练模型的性能受到预训练数据的质量和多样性的限制。在应用于不同领域或任务时，需要仔细选择和调整预训练模型，以确保适应新任务的特点。3)数据增强可能会引入一些不真实的样本，使模型对异常情况过于敏感。需要谨慎选择和应用数据增强方法，以避免引入无关信息或破坏数据的真实性。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种数据生成方法、系统、存储介质及电子设备。

本发明解决上述技术问题的技术方案如下：一种数据生成方法，包括：S1、获取开源的图像分割数据集、模拟演绎的类似油气站场景下的烟雾、火焰图像以及油气站背景图像；S2、通过图像分割网络对所述开源的图像分割数据集进行图像分割训练，建立烟雾、火焰图像分割模型；

S3、通过所述烟雾、火焰图像分割模型对所述模拟演绎的类似油气站场景下的烟雾、火焰图像进行图像分割，得到烟雾、火焰的二值掩膜图像；

S4、通过OpenCV技术对所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像进行图像融合处理，得到油气站背景下的烟雾、火焰图像。

采用本发明技术方案的有益效果是：首次将图像分割技术和OpenCV技术结合起来，实现在油气站场景下大规模的烟雾、火焰数据生成，解决油气站场景下烟雾、火焰数据量少的问题。图像分割技术可以对图像中的烟雾、火焰边界进行像素级别的预测，以便生成烟雾和火焰的二值掩膜图像。结合图像分割技术和OpenCV技术可以模拟特定的场景或条件，以生成难以采集的类似油气站场景下的烟雾、火焰数据。利用图像分割和OpenCV技术进行数据生成可以节约大量的人力和时间成本，可以快速而高效的产生大规模的数据集，保证数据真实性，便于进行油气站内的烟雾、火焰检测算法研发。

进一步地，步骤S4包括：S41、通过OpenCV技术读取所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像；S42、移除所述烟雾、火焰的二值掩膜图像中的烟雾、火焰背景，得到移除背景的烟雾、火焰图像；S43、在所述油气站背景图像上添加所述移除背景的烟雾、火焰图像，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：结合图像分割技术和OpenCV技术可以模拟特定的场景或条件，以生成难以采集的类似油气站场景下的烟雾、火焰数据。利用图像分割和OpenCV技术进行数据生成可以节约大量的人力和时间成本，可以快速而高效的产生大规模的数据集，便于进行油气站内的烟雾、火焰检测算法研发。

进一步地，步骤S42包括：S421、将所述烟雾、火焰的二值掩膜图像的R通道和0进行比较，生成第一布尔掩膜；其中，烟雾、火焰区域为True，背景区域为False；S422、将模拟演绎的类似油气站场景下的烟雾、火焰图像与所述第一布尔掩膜在通道维度上进行堆叠之后与所述模拟演绎的类似油气站场景下的烟雾、火焰图像相乘，得到移除背景的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：将演绎图像和生成的布尔掩膜在通道维度上进行堆叠，然后与演绎图像相乘，以实现将背景区域置为黑色的效果，即得到了移除背景的烟雾、火焰图像。

进一步地，步骤S41包括：S411、通过OpenCV技术读取所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像；S412、将所述模拟演绎的类似油气站场景下的烟雾、火焰图像与所述烟雾、火焰的二值掩膜图像的颜色空间从BGR转换为RGB。

采用上述进一步技术方案的有益效果是：便于将模拟演绎的类似油气站场景下的烟雾、火焰图像与第一布尔掩膜在通道维度上进行堆叠以及后续处理。便于精准得到移除背景的烟雾、火焰图像。

进一步地，步骤S43包括：S431、将所述烟雾、火焰的二值掩膜图像的R通道和0进行比较，生成第二布尔掩膜；其中，烟雾、火焰区域为True，背景区域为False；S432、将所述油气站背景图像与所述第二布尔掩膜在通道维度上进行堆叠，生成与所述油气站背景图像具有相同通道数的第三布尔掩膜；S433、将所述第三布尔掩膜添加至所述油气站背景图像上，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：便于精准地在油气站背景图像上添加移除背景的烟雾、火焰图像，得到油气站背景下的烟雾、火焰图像。

进一步地，步骤S433包括：S4331、选取油气站背景图像中与第三布尔掩膜重叠的部分；S4332、将所述油气站背景图像重叠区域中与第三布尔掩膜相应像素位置为True的像素值保留，与第三布尔掩膜相应像素位置为False的像素值设为0，得到第一图像；S4333、将所述第三布尔掩膜根据掩膜的像素值进行融合处理；第三布尔掩膜中与油气站背景图像重叠区域相应像素位置为True的像素值保留，与油气站背景图像相应像素位置为False的像素值设置为0，得到第二图像；S4334、将所述第一图像以及所述第二图像相加之后赋值给油气站背景图像的重叠区域，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：便于精准地将第三布尔掩膜添加至油气站背景图像上，得到油气站背景下的烟雾、火焰图像。

此外，本发明提供了一种数据生成系统，包括采集设备以及处理设备，所述采集设备与所述处理设备连接，所述采集设备，用于获取开源的图像分割数据集、模拟演绎的类似油气站场景下的烟雾、火焰图像以及油气站背景图像；所述处理设备，用于通过图像分割网络对所述开源的图像分割数据集进行图像分割训练，建立烟雾、火焰图像分割模型；所述处理设备，还用于通过所述烟雾、火焰图像分割模型对所述模拟演绎的类似油气站场景下的烟雾、火焰图像进行图像分割，得到烟雾、火焰的二值掩膜图像；所述处理设备，还用于通过OpenCV技术对所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像进行图像融合处理，得到油气站背景下的烟雾、火焰图像。

另外，本发明提供了一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上任一项所述的一种数据生成方法。

再次，本发明提供了一种电子设备，包括处理器和上所述的存储介质，所述处理器执行所述存储介质中的指令。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例提供的数据生成方法的示意性流程框图之一。

图2为本发明实施例提供的数据生成方法的示意性流程框图之二。

图3为本发明实施例提供的数据生成系统的结构示意图。

附图标号说明：1、采集设备；2、处理设备。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供了一种数据生成方法，包括：S1、获取开源的图像分割数据集、模拟演绎的类似油气站场景下的烟雾、火焰图像以及油气站背景图像；S2、通过图像分割网络对所述开源的图像分割数据集进行图像分割训练，建立烟雾、火焰图像分割模型；S3、通过所述烟雾、火焰图像分割模型对所述模拟演绎的类似油气站场景下的烟雾、火焰图像进行图像分割，得到烟雾、火焰的二值掩膜图像；S4、通过OpenCV技术对所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像进行图像融合处理，得到油气站背景下的烟雾、火焰图像。

采用本发明技术方案的有益效果是：首次将图像分割技术和OpenCV技术结合起来，实现在油气站场景下大规模的烟雾、火焰数据生成，解决油气站场景下烟雾、火焰数据量少的问题。图像分割技术可以对图像中的烟雾、火焰边界进行像素级别的预测，以便生成烟雾和火焰的二值掩膜图像。结合图像分割技术和OpenCV技术可以模拟特定的场景或条件，以生成难以采集的类似油气站场景下的烟雾、火焰数据。利用图像分割和OpenCV技术进行数据生成可以节约大量的人力和时间成本，可以快速而高效的产生大规模的数据集，保证数据真实性，便于进行油气站内的烟雾、火焰检测算法研发。

本发明实施例提供的数据生成方法，可以为使用图像分割技术的数据生成方法，1.对烟雾、火焰使用深度学习技术进行图像分割。使用开源数据集(开源的图像分割数据集)进行图像分割训练，训练完成后得到烟雾、火焰图像分割模型，使用该模型(烟雾、火焰图像分割模型)对演绎的类似油气站场景下的烟雾、火焰数据(模拟演绎的类似油气站场景下的烟雾、火焰图像)进行图像分割，分割后得到烟雾、火焰的二值掩膜图像。

2.油气站背景下烟雾、火焰数据(油气站背景下的烟雾、火焰图像)生成。将分割烟雾、火焰的原图(模拟演绎的类似油气站场景下的烟雾、火焰图像)、二值掩膜图(烟雾、火焰的二值掩膜图像)以及油气站背景数据(油气站背景图像)三类图片使用OpenCV技术进行图像生成操作，其中，单张图像生成步骤如下：

a.读取烟雾、火焰的原图(模拟演绎的类似油气站场景下的烟雾、火焰图像)、二值掩膜图(烟雾、火焰的二值掩膜图像)和油气站背景图(油气站背景图像)；

b.从烟雾、火焰的原图(模拟演绎的类似油气站场景下的烟雾、火焰图像)中移除烟雾、火焰的背景；

c.在油气站背景(油气站背景图像)上添加移除背景的烟雾、火焰图像。

进一步地，步骤S4包括：S41、通过OpenCV技术读取所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像；S42、移除所述烟雾、火焰的二值掩膜图像中的烟雾、火焰背景，得到移除背景的烟雾、火焰图像；S43、在所述油气站背景图像上添加所述移除背景的烟雾、火焰图像，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：结合图像分割技术和OpenCV技术可以模拟特定的场景或条件，以生成难以采集的类似油气站场景下的烟雾、火焰数据。利用图像分割和OpenCV技术进行数据生成可以节约大量的人力和时间成本，可以快速而高效的产生大规模的数据集，便于进行油气站内的烟雾、火焰检测算法研发。

进一步地，步骤S42包括：S421、将所述烟雾、火焰的二值掩膜图像的R通道和0进行比较，生成第一布尔掩膜；其中，烟雾、火焰区域为True，背景区域为False；S422、将模拟演绎的类似油气站场景下的烟雾、火焰图像与所述第一布尔掩膜在通道维度上进行堆叠之后与所述模拟演绎的类似油气站场景下的烟雾、火焰图像相乘，得到移除背景的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：将演绎图像和生成的布尔掩膜在通道维度上进行堆叠，然后与演绎图像相乘，以实现将背景区域置为黑色的效果，即得到了移除背景的烟雾、火焰图像。

进一步地，步骤S41包括：S411、通过OpenCV技术读取所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像；S412、将所述模拟演绎的类似油气站场景下的烟雾、火焰图像与所述烟雾、火焰的二值掩膜图像的颜色空间从BGR转换为RGB。

采用上述进一步技术方案的有益效果是：便于将模拟演绎的类似油气站场景下的烟雾、火焰图像与第一布尔掩膜在通道维度上进行堆叠以及后续处理。便于精准得到移除背景的烟雾、火焰图像。

进一步地，步骤S43包括：S431、将所述烟雾、火焰的二值掩膜图像的R通道和0进行比较，生成第二布尔掩膜；其中，烟雾、火焰区域为True，背景区域为False；S432、将所述油气站背景图像与所述第二布尔掩膜在通道维度上进行堆叠，生成与所述油气站背景图像具有相同通道数的第三布尔掩膜；S433、将所述第三布尔掩膜添加至所述油气站背景图像上，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：便于精准地在油气站背景图像上添加移除背景的烟雾、火焰图像，得到油气站背景下的烟雾、火焰图像。

进一步地，步骤S433包括：S4331、选取油气站背景图像中与第三布尔掩膜重叠的部分；S4332、将所述油气站背景图像重叠区域中与第三布尔掩膜相应像素位置为True的像素值保留，与第三布尔掩膜相应像素位置为False的像素值设为0，得到第一图像；S4333、将所述第三布尔掩膜根据掩膜的像素值进行融合处理；第三布尔掩膜中与油气站背景图像重叠区域相应像素位置为True的像素值保留，与油气站背景图像相应像素位置为False的像素值设置为0，得到第二图像；S4334、将所述第一图像以及所述第二图像相加之后赋值给油气站背景图像的重叠区域，得到油气站背景下的烟雾、火焰图像。

采用上述进一步技术方案的有益效果是：便于精准地将第三布尔掩膜添加至油气站背景图像上，得到油气站背景下的烟雾、火焰图像。

本发明实施例提供的数据生成方法，首次将图像分割技术和OpenCV(OpenSourceComputerVisionLibrary，开源计算机视觉库)技术结合起来以解决油气站场景下烟雾、火焰数据量少的问题，从而为油气站场景下的烟雾、火焰算法研发提供大规模数据。

如图2所示，开源数据获取之后，进行图像分割训练，处理模型权重，演绎烟雾、火焰数据采集，进行模型推理，生成烟雾、火焰二值掩膜图像，得到移除烟雾、火焰背景，与油气站背景数据采集的图像融合后，得到图片融合的最终图像。

本发明的详细流程如下：

1.火焰、烟雾的图像分割算法研发。1)使用开源的图像分割数据集和图像分割网络进行烟雾、火焰的算法研发，以得到烟雾、火焰算法的图像分割模型(烟雾、火焰图像分割模型)。2)数据采集。采集油气站背景数据gas(油气站背景图像)和模拟演绎的类似油气站场景下的烟雾、火焰数据img(模拟演绎的类似油气站场景下的烟雾、火焰图像)。3)将模拟演绎的数据(模拟演绎的类似油气站场景下的烟雾、火焰图像)通过图像分割模型(烟雾、火焰图像分割模型)进行推理，得到对应的二值掩膜图像mask(烟雾、火焰的二值掩膜图像)。

2.演绎数据图像中移除烟雾、火焰的背景。1)数据读取。使用OpenCV技术读取演绎数据img(模拟演绎的类似油气站场景下的烟雾、火焰图像)和经过图像分割模型(烟雾、火焰图像分割模型)得到的二值掩膜图像mask(烟雾、火焰的二值掩膜图像)，并将两图像的颜色空间从BGR转换为RGB。2)布尔掩膜生成。将二值掩膜图像的R通道和0进行比较，生成一个布尔掩膜mask_boolean(第一布尔掩膜)，其中，烟雾、火焰区域为True，背景区域为False。3)将演绎图像img(模拟演绎的类似油气站场景下的烟雾、火焰图像)和生成的布尔掩膜mask_boolean(第一布尔掩膜)在通道维度上进行堆叠，然后与演绎图像img(模拟演绎的类似油气站场景下的烟雾、火焰图像)相乘，以实现将背景区域置为黑色的效果，即得到了移除背景的烟雾、火焰图像no_background。

3.在油气站背景图像上添加烟雾、火焰图像。1)获取油气站背景图像gas(油气站背景图像)和移除背景的烟雾、火焰图像no_background的尺寸。2)布尔掩膜生成。将二值掩膜图像mask(烟雾、火焰的二值掩膜图像)的R通道和0进行比较，生成布尔掩膜(第二布尔掩膜)，并在通道维度上进行堆叠，生成与油气站背景图像gas具有相同通道数的布尔掩膜mask_RGB(第三布尔掩膜)。3)添加mask_RGB(第三布尔掩膜)到油气站背景图像gas上。第一步，首先选取背景图像gas(油气站背景图像)中与mask_RGB(第三布尔掩膜)重叠的部分；第二步，然后将背景图像(油气站背景图像)重叠区域中与mask_RGB(第三布尔掩膜)相应像素位置为True的像素值保留下来，而与mask_RGB(第三布尔掩膜)相应像素位置为False的像素值设为0；第三步，将mask_RGB(第三布尔掩膜)根据掩膜的像素值进行融合处理，将mask_RGB(第三布尔掩膜)中与gas(油气站背景图像)重叠区域相应像素位置为True的像素值保留下来，而与gas(油气站背景图像)相应像素位置为False的像素值设置为0；最后，将第二步和第三步得到的图像进行相加，并将结果赋值给gas(油气站背景图像)的重叠区域，即实现了将mask_RGB(第三布尔掩膜)添加到gas(油气站背景图像)上。

如图3所示，此外，本发明提供了一种数据生成系统，包括采集设备1以及处理设备2，所述采集设备1与所述处理设备2连接，所述采集设备，用于获取开源的图像分割数据集、模拟演绎的类似油气站场景下的烟雾、火焰图像以及油气站背景图像；所述处理设备，用于通过图像分割网络对所述开源的图像分割数据集进行图像分割训练，建立烟雾、火焰图像分割模型；所述处理设备，还用于通过所述烟雾、火焰图像分割模型对所述模拟演绎的类似油气站场景下的烟雾、火焰图像进行图像分割，得到烟雾、火焰的二值掩膜图像；所述处理设备，还用于通过OpenCV技术对所述模拟演绎的类似油气站场景下的烟雾、火焰图像、所述烟雾、火焰的二值掩膜图像以及所述油气站背景图像进行图像融合处理，得到油气站背景下的烟雾、火焰图像。

上述关于本发明的一种数据生成系统系统中的各参数和各个单元、模块以及设备实现相应功能的步骤，可参考上文中关于一种数据生成方法的实施例中的各参数和步骤，在此不再赘述。

本发明的数据生成方法所依赖的硬件部分包括：

1.高清防爆摄像头

参数：至少200万像素(1920*1080)的高清摄像头，ipx6级防水。

2.计算平台

参数：包含1张1080Ti及以上GPU(Graphics Processing Unit，图形处理器)的计算机，内存不少于8G，处理器主频不低于2.3GHz。

本发明中使用图像分割技术的数据生成方法将图像分割技术和OpenCV技术结合起来，可以实现在油气站场景下大规模的烟雾、火焰数据生成，解决了油气站背景下烟雾、火焰数据量少的问题。因此在进行油气站场景下的火灾预防任务时，可以给烟雾、火焰检测算法研发提供足够的数据，有效的降低数据获取成本。

另外，本发明提供了一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上任一项所述的一种数据生成方法。

再次，本发明提供了一种电子设备，包括处理器和上所述的存储介质，所述处理器执行所述存储介质中的指令。电子设备可以选用电脑、手机或者控制器等。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。

因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。