掌桥专利:专业的专利平台
掌桥专利
首页

一种基于辅助损失的仪表图像分割优化方法及系统

文献发布时间:2023-06-19 19:21:53


一种基于辅助损失的仪表图像分割优化方法及系统

技术领域

本发明涉及仪表读数识别技术领域,尤其涉及一种基于辅助损失的仪表图像分割优化方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

指针式仪表广泛应用于机械、医疗、土木、化工等领域,如机车仪表,水电表、压力表等,能够实时指示系统的运行状态。由于指针式仪表缺乏对应的数据输出端口,往往需要耗费人力资源去进行仪表读数的监控,而且由于工作的繁琐与主观疲劳等因素,可能出现漏检或者错检的情况发生。

目前,随着神经网络技术的不断发展,通过图像处理算法结合神经网络进行指针式仪表读数的智能识别方法已经被广泛应用,但是,准确的预测分割出对应的指针以及刻度量程位置是智能识别方法的关键步骤,定位的准确度直接决定后处理后仪表读数的精确度。

实际应用中,表盘的图像受摄像机摆放位置和角度、光照、表盘遮挡等因素的影响,现有技术的方法往往存在适应性差、泛化能力不足以及识别准确率差等问题。

发明内容

为了解决上述问题,本发明提出了一种基于辅助损失的仪表图像分割优化方法及系统,利用深度网络同时保留住仪表刻度以及刻度量程等的较为明显的浅层边缘纹理特征,分别对浅层与深层特征进行损失计算,从而使得识别结果更加准确。

在一些实施方式中,采用如下技术方案:

一种基于辅助损失的仪表图像分割优化方法,包括:

获取待识别仪表图像信息;

将所述仪表图像信息输入至训练好的图像分割神经网络模型,得到仪表图像分割结果;

其中,所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图,最后一层浅层特征图经过上采样后得到深层特征图;所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数,加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

作为进一步地方案,所述深层特征图经过分类器变换得到待识别仪表图像信息的预测掩模信息;通过预测掩模和标签掩模计算得到深层损失函数。

作为进一步地方案,待识别仪表图像经过第一层下采样后得到第一浅层特征图,第一浅层特征图通过分类器变换得到第一浅层特征图的预测掩模信息,然后经过上采样后得到对应深层特征图的预测掩模信息;通过预测掩模和标签掩模计算得到第一浅层损失函数;按照同样的方式计算第二浅层损失函数、第三浅层损失函数和第四浅层损失函数。

作为进一步地方案,所述图像分割神经网络模型的损失函数具体为:

Loss=loss+a*aux

其中,loss为深层损失函数,aux

作为进一步地方案,还包括:基于所述仪表图像分割结果,对仪表的读数进行识别。

在另一些实施方式中,采用如下技术方案:

一种基于辅助损失的仪表图像分割优化系统,包括:

图像获取模块,用于获取待识别仪表图像信息;

图像分割模块,用于将所述仪表图像信息输入至训练好的图像分割神经网络模型,得到仪表图像分割结果;

其中,所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图,最后一层浅层特征图经过上采样后得到深层特征图;所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数,加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

作为进一步地方案,还包括:

仪表读数识别模块,用于基于所述仪表图像分割结果,对仪表的读数进行识别。

作为进一步地方案,所述图像分割神经网络模型的损失函数具体为:

Loss=loss+a*aux

其中,loss为深层损失函数,aux

在另一些实施方式中,采用如下技术方案:

一种终端设备,其包括处理器和存储器,处理器用于实现各指令;存储器用于存储多条指令,所述指令适于由处理器加载并执行上述的基于辅助损失的仪表图像分割优化方法。

在另一些实施方式中,采用如下技术方案:

一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行上述的基于辅助损失的仪表图像分割优化方法。

与现有技术相比,本发明的有益效果是:

(1)本发明在图像分割模型的基础架构上,利用辅助损失的方式,将仪表图像的浅层边缘纹理特征信息与深度信息很好的进行了融合。在没有任何计算成本提升的同时,明显提升了仪表图像分割的精度以及泛化能力。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的图像分割模型示意图。

具体实施方式

应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中,公开了一种基于辅助损失的仪表图像分割优化方法,具体包括如下过程:

获取待识别仪表图像信息;

将所述仪表图像信息输入至训练好的图像分割神经网络模型,得到仪表图像分割结果;

其中,所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图,最后一层浅层特征图经过上采样后得到深层特征图;所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数,加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

语义分割模块的性能决定了最终仪表读数识别误差的大小。

本实施例中,对于图像分割模型的训练过程具体如下:

假设样本数据集为T={X

假设输入图片为

采用U-Net模型进行图像分割,其中U-Net的特征提取骨干网络替换成了 ResNet-50,如图1所示,其中d

假设特征提取编码用F(x)表示,则该图片特征提取可用如下公式表示:

f

在训练分割模型前,ResNet-50模型事先在ImageNet数据集上进行了预训练得到初始权重。

结合图1,通过第一层下采样(下采样d1层)得到第一浅层特征图f1为NxC1x128x128;通过第二层下采样(下采样d2层)得到第二浅层特征图f2为 NxC2x64x64,通过第三层下采样(下采样d3层)得到第三浅层特征图f3为 NxC3x32x32,通过第四层下采样(下采样d4层)得到第四浅层特征图f4为 NxC4x16x16,以及经过上采样后得到的最终的深层特征图f

对于深度特征图f

第一浅层特征图f1通过分类器变换得到第一浅层特征图(Nx3x128x128) 的预测掩模信息,然后经过上采样后得到对应深层特征图(Nx3x256x256)的预测掩模信息;通过预测掩模和标签掩模计算得到第一浅层损失函数aux_loss1;按照同样的方式计算第二浅层损失函数aux_loss2、第三浅层损失函数aux_loss3 和第四浅层损失函数aux_loss4。

最后利用公式:

Loss=loss+a*aux

其中,a、b、c、d分别为各浅层损失函数的权重因子,一般a,b,c,d的取值范围在[0,1]。

计算最终的损失函数,对网络进行优化。

通过上述辅助损失函数以及深度网络,结合样本数据即可训练得到精度更高、泛化能力更强的仪表刻度以及指针图像分割模型。

图像分割模型训练完成后,将待识别的仪表图像信息输入至训练好的图像分割神经网络模型,得到仪表图像分割结果。

作为进一步地方案,利用得到的仪表图像分割结果,对仪表读数进行识别。

实施例二

在一个或多个实施方式中,公开了一种基于辅助损失的仪表图像分割优化系统,包括:

图像获取模块,用于获取待识别仪表图像信息;

图像分割模块,用于将所述仪表图像信息输入至训练好的图像分割神经网络模型,得到仪表图像分割结果;

其中,所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图,最后一层浅层特征图经过上采样后得到深层特征图;所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数,加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

仪表读数识别模块,用于基于所述仪表图像分割结果,对仪表的读数进行识别。

本实施例中,图像分割神经网络模型的损失函数具体为:

Loss=loss+a*aux

其中,loss为深层损失函数,aux

需要说明的是,上述各模块的具体实现方式已经在实施例一中进行了详细的说明,此处不再详述。

实施例三

在一个或多个实施方式中,公开了一种终端设备,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例一中的基于辅助损失的仪表图像分割优化方法。为了简洁,在此不再赘述。

应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。

在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例四

在一个或多个实施方式中,公开了一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于辅助损失的仪表图像分割优化方法。

上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

相关技术
  • 一种液晶仪表显示元素渐变效果的辅助方法、系统及装置
  • 一种基于双标签损失的胃癌病理切片图像分割方法及系统
  • 一种基于信息损失区域检测机制的舌图像分割方法
技术分类

06120115884443