一种基于深度学习的仪表读数方法、系统、设备和介质

技术领域

本发明涉及仪表识别领域，尤其涉及一种基于深度学习的仪表读数方法、系统、设备和介质。

背景技术

相对落后的地方以及住宅区仍使用传统老式机械式、电子式的水表、电表、燃气表等多种数字仪表，仍需要工作人员到现场进行人工读数和记录。人工抄表存在主观读数、视觉疲劳等因素而使读数结果易错，且人工抄表工作对人力资源的利用率很低，因此需要有效手段提高工作效率，实现读表抄表自动化。

目前的自动化读数抄表基于传统图像处理方法，例如通过颜色特征、边缘检测或模板匹配等方法检测读数区域，该方法只能应用于预先设定的场景，且容易受到过曝光、暗光、反射等环境因素影响而无法应用于自然场景下拍摄的图像，抄表读数的准确率较低。

发明内容

有鉴于此，本发明的目的是提供一种基于深度学习的仪表读数方法、系统、设备和介质，可以提高抄表读数的准确率。

为了解决上述问题，第一方面，本发明提供了一种基于深度学习的仪表读数方法，包括：

获取待读数图像；

将所述待读数图像输入到训练好的第一预估模型，得到所述待读数图像的读数区域及读数区域对应的角点坐标；

根据所述角点坐标对所述读数区域进行扭曲校正，得到校正后的读数区域；

将校正后的读数区域输入到训练好的第二预估模型，得到读数结果。

可选地，所述根据所述角点坐标对所述读数区域进行扭曲校正，得到校正后的读数区域，具体包括：

确定投影矩阵；

根据所述角点坐标，将所述读数区域通过所述投影矩阵转化为校正后的读数区域。

可选地，所述第一预估模型的训练过程包括：

获取仪表读数样本图像，根据所述仪表读数样本图像获取实际读数样本区域；

将所述仪表读数样本图像输入第一预训练模型，得到预测读数样本区域；

根据所述实际读数样本区域和所述预测读数样本区域计算第一总损失值，根据所述第一总损失值计算第一梯度；

根据所述第一梯度更新所述第一预训练模型的模型参数直至模型收敛，得到所述第一预估模型。

可选地，将所述仪表读数样本图像输入第一预训练模型，得到预测读数样本区域，具体包括：

将所述仪表读数样本图像作为训练样本图像；

将所述训练样本图像映射到密集网格上，检测所述训练样本图像上的目标对象；所述密集网格包括若干个输出网格单元，每个输出网格单元包括若干个预设锚框；

输出网格单元将所述目标对象分配给匹配的预设锚框进行训练，得到预测样本对象；所述预测样本对象包括第一预测包围盒与第一偏移量；

通过所述第一预测包围盒与所述第一偏移量计算所述预测读数样本区域。

可选地，所述通过所述第一预测包围盒与所述第一偏移量计算所述预测读数样本区域，具体包括：

将所述第一预测包围盒通过第一处理，转化为第二预测包围盒，将所述第一偏移量通过第二处理，转化为第二偏移量；

根据所述下采样倍率、所述预测样本对象所在输出网格单元将所述第二预测包围盒映射到所述仪表读数样本图像，得到所述第二预测包围盒的相对位置；

根据所述第二偏移量、所述第二预测包围盒、输出网格单元的坐标和下采样倍率计算预测角点坐标；

根据所述第二预测包围盒的相对位置和所述预测角点坐标，得到预测读数样本区域。

可选地，所述根据所述实际读数样本区域和所述预测读数样本区域计算第一总损失值，根据所述第一总损失值计算第一梯度，具体包括：

获取所述预测读数样本区域的第一置信度、第一预测分类、第二预测包围盒和预测角点坐标；

获取所述实际读数样本区域的第二置信度、第一实际分类、第一实际包围盒和实际角点坐标；

根据所述第一置信度、第一预测分类、第二预测包围盒、预测角点坐标、第二置信度、第一实际分类、第一实际包围盒和实际角点坐标计算第一总损失值，根据所述第一总损失值计算第一梯度。

可选地，所述第二预估模型的训练过程包括：

将读数区域样本图像输入第二预训练模型，得到所述读数区域样本图像的预测字符区域，获取所述预测字符区域的第三置信度、第二预测分类和第三预测包围盒；

获取读数区域样本图像实际字符区域的第四置信度、第二实际分类和第二实际包围盒；

根据第三置信度、第二预测分类、第三预测包围盒、第四置信度、第二实际分类和第二实际包围盒计算第二总损失值，根据所述第二总损失值计算第二梯度；

根据所述第二梯度更新所述第二预训练模型的模型参数直至模型收敛，得到所述第二预估模型。

为了解决上述问题，第二方面，本发明提供了一种基于深度学习的仪表读数系统，包括获取模块、角点检测模块、校正模块和读数模块，其中，

所述获取模块，用于获取待读数图像；

所述角点检测模块，用于将所述待读数图像输入到训练好的第一预估模型，得到所述待读数图像的读数区域及读数区域对应的角点坐标；

所述校正模块，用于根据所述角点坐标对所述读数区域进行扭曲校正，得到校正后的读数区域；

所述读数模块，用于将校正后的读数区域输入到训练好的第二预估模型，得到读数结果。

为了解决上述问题，第三方面，本发明提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

为了解决上述问题，第四方面，本发明提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的方法。

实施本发明包括以下有益效果：本发明通过获取待读数图像，将待读数图像输入到训练好的第一预估模型，得到待读数图像的读数区域及读数区域对应的角点坐标，降低了自动读数对拍环境因素的要求，使其能够检测读数区域关键角点的位置，提高了读数区域识别的准确性；通过根据角点坐标对读数区域进行扭曲校正，得到校正后的读数区域，将校正后的读数区域输入到训练好的第二预估模型，得到读数结果，减少了读数识别的难度，从而增加读数识别的准确率。

附图说明

图1是本发明提供的一种基于深度学习的仪表读数方法的步骤示意图；

图2是本发明提供的一种基于深度学习的仪表读数方法的流程图；

图3是本发明提供的第二预估模型获得读数结果的示意图；

图4是本发明提供的第一预估模型训练的流程图；

图5是本发明提供的第一预训练模型的结构示意图；

图6是本发明提供的通过第一预估模型检测预测读数样本区域示意图；

图7是本发明提供的一种输出网格单元根据不同的锚框预测样本对象的示意图；

图8是本发明提供的一种根据预测样本对象得到预测读数样本区域的示意图；

图9是本发明提供的一种读数区域扭曲矫正的示意图；

图10是本发明提供的一种基于深度学习的仪表读数系统的结构图；

图11是本发明提供的一种电子设备示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

为了解决上述问题，在一些实施例中，如图1和图2所示，图1是一种基于深度学习的仪表读数方法的步骤示意图，图2一种基于深度学习的仪表读数方法的流程图，本发明提供一种基于深度学习的仪表读数方法，包括：

S1000、获取待读数图像。

待读数图像具体为采集自然场景下的仪表读数图像，仪表读数图像可以由现场拍照得到。

S2000、将所述待读数图像输入到训练好的第一预估模型，得到所述待读数图像的读数区域及读数区域对应的角点坐标。

其中，第一预估模型为角点检测模型，第一预估模型的输入是待读数图像，输出为读数区域以及读数区域的角点坐标，用于图2中的读数区域角点检测，读数区域的角点坐标可以是但不限于是多边形读数区域的顶点坐标。

S3000、根据所述角点坐标对所述读数区域进行扭曲校正，得到校正后的读数区域。

步骤S2000的第一预估模型输出读数区域和读数区域的角点坐标之后，判断是否能够检测到读数区域，若能够检测到读数区域，则获取读数区域的角点坐标，根据角点和角点坐标对读数区域进行投影，将四边形读数区域转化为使其四条边平行于直角坐标系两坐标轴的平行读数区域，得到校正后的读数区域的字符包围盒以及读数区域包围盒皆平行于直角坐标系两坐标轴。

S4000、将校正后的读数区域输入到训练好的第二预估模型，得到读数结果。

具体地，透视变换扭曲矫正去除了读数区域以外的冗余背景，获取了水平的读数区域图像，且读数区域内的字符不存在大倾斜角，因此可以将读数识别转化为读数区域内的字符检测问题，故可以直接采用第二预估模型检测和识别单个字符及其包围盒，获取读数字符检测结果，通过对字符检测结果调整得到完整的读数结果。

其中，第二预估模型为读数识别模型，用于图2中读数识别，如图3所示，图3是第二预估模型获得读数结果的示意图，第二预估模型输入为步骤S3000中校正后的读数区域，输出为包括字符的读数结果，比如-8.60

为了解决上述问题，在一些实施例中，如图4所示，图4是第一预估模型训练的流程图，步骤S2000涉及第一预估模型的训练方法如下：

S2100、获取仪表读数样本图像，根据所述仪表读数样本图像获取实际读数样本区域。

具体地，将提前获取的若干仪表读数图像，将经过离线增强技术得到的大量仪表读数图像作为训练模型的训练样本集，其中每一张仪表读数图像都是仪表读数样本图像。

上述离线增强技术包括但不限于马赛克等数据增强和自适应缩放。

根据仪表读数样本图像获取实际读数样本区域包括但不限于在图像原图中测量仪表实际读数区域的置信度、包围盒、实际分类和角点坐标。

S2200、将所述仪表读数样本图像输入第一预训练模型，得到预测读数样本区域。

其中，如图5所示，图5是第一预训练模型的结构示意图，图中，Focus为切片下采样层，CBS为卷积层，C3为改进前的特征提取模块，C3CBAM为改进后的具有注意力机制的特征提取模块，CBAM为注意力机制模块，contact为拼接层，Upsample为上采样层，bottleneck为瓶颈层组件，第一预训练模型包括但不限于主干网络Backbone、特征融合层Neck和检测头Head；主干网络Backbone包括若干卷积层，并将注意力机制模块嵌入其主干网络中。

本发明涉及的第一预训练模型基于YOLOv5深度学习模型进行改进，将CBAM注意力机制模块嵌入其主干网络(backbone)的C3改进前的特征提取模块中，组成C3CBAM改进后的具有注意力机制的特征提取模块。C3模块与C3CBAM模块的区别在于，C3CBAM模块将C3模块中的n个bottleneck组件改进为n个CBAM-bottleneck组件，一个CBAM-bottleneck组件主要包括两个CBS层、一个通道注意力模块和一个空间注意力模块，通过引入注意力机制使模型关注于对当前任务更关键的信息，减少对其他信息的关注度，从而提升读数区域角点检测精度。

仪表读数样本图像为三通道RGB图片I，图片的高为h、宽为w，预测读数样本区域为第一训练模型预测的读数区域。

具体地，主干网络提取仪表读数样本的图像特征，将图像特征输入特征融合层，进行特征融合，最后通过三个检测头检测读数样本区域得到预测读数样本区域。

S2300、根据所述实际读数样本区域和所述预测读数样本区域计算第一总损失值，根据所述第一总损失值计算第一梯度。

将仪表读数样本图像训练集中的仪表读数样本图像输入第一预训练模型，得到加权求和的第一总损失值，再根据所述第一总损失值反向计算第一梯度。

S2400、根据所述第一梯度更新所述第一预训练模型的模型参数直至模型收敛，得到所述第一预估模型。

具体地，使用SGD或Adam等优化器更新第一预训练模型的模型参数直到模型收敛，得到第一预估模型。将每一次训练得到的第一梯度相加，直到模型训练结束，根据第一梯度相加得到总的梯度更新模型参数。

为了解决上述问题，在一些实施例中，如图6所示，图6是通过第一预估模型检测预测读数样本区域示意图，步骤S2200具体包括以下步骤：

S2210、将所述仪表读数样本图像作为训练样本图像。

将经过离线增强技术得到的大量仪表读数图像作为训练模型的训练样本图像集，其中包含大量训练样本图像。

S2220、将所述训练样本图像映射到密集网格上，检测所述训练样本图像上的目标对象；所述密集网格包括若干个输出网格单元，每个输出网格单元包括若干个预设锚框。

如图7所示，图7是不同输出网格单元预测预测样本对象的示意图，其中输出密集网格用

目标对象在密集网格上的位置与在原仪表读数样本图像上的位置对应，如式(1)所示，目标对象为检测头从训练样本图像中初步框定的多个对象。

I为原仪表读数样本图像，s为下采样倍率，i和j分别为密集网格上输出网格单元

在每个输出网格单元包含多个初步设定尺寸的预设锚框A

为每个锚框在输出网格图尺寸下度量的宽、高，通过K-means算法计算训练样本图像集的标注框的宽高获得，N

具体地，如式(3)检测头将训练样本图像映射到密集网格上，三种不同尺寸的图像对应三种密集网格，输出网格单元

其中，s为下采样倍率。

S2230、输出网格单元将所述目标对象分配给匹配的预设锚框进行训练，得到预测样本对象；所述预测样本对象包括第一预测包围盒与第一偏移量。

具体地，输出网格单元

每个锚框

S2240、通过所述第一预测包围盒与所述第一偏移量计算所述预测读数样本区域。

通过对第一预测包围盒和第一偏移量归一化计算预测读数样本区域的角点坐标和归一化的第二预测包围盒。

具体地，其中步骤S2240具体包括以下步骤：

S2241、将所述第一预测包围盒通过第一处理，转化为第二预测包围盒，将所述第一偏移量通过第二处理，转化为第二偏移量。

第一处理和第二处理包括但不限于归一化处理。

具体地，将第一预测包围盒

将第一偏移量

S2242、根据所述下采样倍率、所述预测样本对象所在输出网格单元将所述第二预测包围盒映射到所述仪表读数样本图像，得到所述第二预测包围盒的相对位置。

具体地，如图8所示，图8是根据预测样本对象得到预测读数样本区域的示意图，图中Predicted bbox为第二预测包围盒在输出网格上的位置，GT bbox为第一实际包围盒在输出网格上的位置。

通过下采样倍率s、输出网格单元的坐标(i,j)和预测框

S2243、根据所述第二偏移量、所述第二预测包围盒、输出网格单元的坐标和下采样倍率计算预测角点坐标。

具体地，通过第一偏移量

S2244、根据所述第二预测包围盒的相对位置和所述预测角点坐标，得到预测读数样本区域。

具体地，如图8所示，第二预测包围盒的相对位置、四个角点、四个角点的坐标以及第二预测包围盒中对象的预测分类为预测读数样本区域。

为了解决上述问题，在一些实施例中，步骤S2300具体包括以下步骤：

S2310、获取所述预测读数样本区域的第一置信度、第一预测分类、第二预测包围盒和预测角点坐标。

其中，第一置信度为

第一预测分类为预测读数样本区域中包含的目标对象的分类，目标对象的分类在步骤S2220中获得，第二预测包围盒在上述步骤S2241中获得，预测角点坐标在步骤S2244中获得。

S2320、获取所述实际读数样本区域的第二置信度、第一实际分类、第一实际包围盒和实际角点坐标。

其中，实际读数样本区域的第二置信度、第一实际分类、第一实际包围盒和实际角点坐标测量S2100中的仪表读数样本图像得到，为仪表读数样本图像真实的读数区域。

S2330、根据所述第一置信度、第一预测分类、第二预测包围盒、预测角点坐标、第二置信度、第一实际分类、第一实际包围盒和实际角点坐标计算第一总损失值，根据所述第一总损失值计算第一梯度。

具体地，使用联合优化目标

其中，w

对第一损失值分量进行加权求和计算第一总损失值L

其中，

根据第一总损失值计算第一梯度。

为了解决上述问题，在一些实施例中，步骤S3000具体包括以下步骤：

S3100、确定投影矩阵；

S3200、根据所述角点坐标，将所述读数区域通过所述投影矩阵转化为校正后的读数区域。

具体地，如图9所示，图9是读数区域扭曲矫正示意图，将读数区域通过一个投影矩阵A，非线性地将读数区域归一化，透视变换矩阵变换公式为：

其中，A为透视变换矩阵，[x,y]

根据[X,Y,Z]

为了解决上述问题，在一些实施例中，第二预估模型的训练过程如下：

S4100、将读数区域样本图像输入第二预训练模型，得到所述读数区域样本图像的预测字符区域，获取所述预测字符区域的第三置信度、第二预测分类和第三预测包围盒；

S4200、获取读数区域样本图像实际字符区域的第四置信度、第二实际分类和第二实际包围盒；

S4300、根据第三置信度、第二预测分类、第三预测包围盒、第四置信度、第二实际分类和第二实际包围盒计算第二总损失值，根据所述第二总损失值计算第二梯度；

S4400、根据所述第二梯度更新所述第二预训练模型的模型参数直至模型收敛，得到所述第二预估模型。

具体地训练过程与第一预估模型的训练过程相似，在此不在赘述。不同之处在于，使用联合优化目标

因此，第二总损失值L

其中，

为了解决上述问题，在一些实施例中，如图10所示，图10是一种基于深度学习的仪表读数系统结构图，本发明提供了一种基于深度学习的仪表读数系统，其特征在于，包括获取模块100、角点检测模块200、校正模块300和读数模块400，其中，

所述获取模块100，用于获取待读数图像；

所述角点检测模块200，用于将所述待读数图像输入到训练好的第一预估模型，得到所述待读数图像的读数区域及读数区域对应的角点坐标；

所述校正模块300，用于根据所述角点坐标对所述读数区域进行扭曲校正，得到校正后的读数区域；

所述读数模块400，用于将校正后的读数区域输入到训练好的第二预估模型，得到读数结果。

为了解决上述问题，在一些实施例中，如图11所示，图11是本发明提供的一种电子设备的结构示意图，本发明还提供了一种电子设备，所述电子设备包括处理器10和存储器20，所述存储器20存储有计算机程序，所述处理器10执行所述计算机程序时实现上述方法实施例所述的任何一种方法。

其中，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

此外，本申请实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述方法实施例所述的任何一种方法。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。