一种指针识别方法、装置、电子设备及存储介质

技术领域

本公开涉及深度学习技术领域，尤其涉及一种指针识别方法、装置、电子设备及存储介质。

背景技术

伴随着工业化的快速发展，各种精密仪表的使用也日益增多，如何准确的确定精密仪表的测量值也成为人们急需要解决的问题。

在相关技术中，对精密仪表的测量值进行确定的方式主要包括：非自动读数方式和自动读数方式。

其中，非自动读数方式中，通常对精密仪表的指针进行图像采集，人工标定精密仪表框，并且标定精密仪表的指针旋转中心才能够相对准确的读取仪表的读数，但是该方法需要人工参与，费时费力。

自动读数方式主要是通过对指针边缘进行分割进而获得指针的读数，但是该方法针对于指针边缘以及异常场景的分割效果并不理想，指针读数准确率不高。

发明内容

本发明实施例提供了一种指针识别方法、装置、电子设备及存储介质，用以解决现有技术中指针读数自动化不高、指针读数准确率不高的问题。

第一方面，本发明提供了一种指针识别方法，所述方法包括：

获取图像中包含仪表盘区域的子图像；

通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域；

根据所述子图像中指针所在的区域，确定指针指示的数值。

进一步地，所述获取图像中包含仪表盘区域的子图像包括：

基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

进一步地，所述基于预先训练的仪表盘识别模型，获取输入图像中包含仪表盘区域的信息包括：

基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获取第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出所述图像中包含仪表盘区域的信息。

进一步地，所述通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

进一步地，所述根据所述目标第一子特征图，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

进一步地，训练所述仪表盘识别模型的过程包括：

获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；

将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；

根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

进一步地，训练所述指针识别模型的过程包括：

获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；

将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；

根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

第二方面，本发明还提供了一种指针识别装置，所述装置包括：

提取模块，用于获取图像中包含仪表盘区域的子图像；

所述提取模块，还用于通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域；

确定模块，用于根据所述子图像中指针所在的区域，确定指针指示的数值。

进一步地，所述提取模块，具体用于基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

进一步地，所述提取模块，具体用于基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获取第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出所述图像中包含仪表盘区域的信息。

进一步地，所述提取模块，具体用于基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

进一步地，所述提取模块，具体用于基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

进一步地，所述装置还包括：

训练模块，用于获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

进一步地，所述训练模块，还用于获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

第三方面，本发明还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述指针识别方法的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述指针识别方法的步骤。

在本发明实施例中，获取图像中包含仪表盘区域的子图像，通过预先训练的指针识别模型，获取该子图像的特征图，并对该特征图进行转置卷积处理，获取该子图像中指针所在的区域，根据该子图像中指针所在的区域，确定指针指示的数值。由于本发明实施例中，获取到图像中包含仪表盘的子图像后，基于指针识别模型对该子图像的特征图进行转置卷积处理，从而能够准确地恢复指针的边缘信息，准确的获取该子图像中指针所在的区域，进而根据获得的指针所在该子图像的区域确定该指针的读数，提高指针读数准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种指针识别过程示意图；

图2a为本发明实施例提供的待识别的图像；

图2b为本发明实施例提供的输入到仪表盘识别模型后获得的检测结果图像；

图2c为本发明实施例提供的输出结果检测图像裁剪后的包含该仪表盘区域的子图像；

图2d为本发明实施例提供的分割后的指针结果图；

图3为本发明实施例提供的仪表盘识别模型对仪表盘区域进行识别的过程示意图；

图4为现有的Hrnet网络的结构图；

图5为本发明实施例提供的指针识别模型对指针进行识别的过程示意图；

图6为本发明实施例提供的改进的Hrnet网络结构图；

图7为本发明实施例提供的异常情况下分割效果图；

图8为本发明实施例提供的一种指针识别装置结构示意图；

图9为本发明实施例还提供了一种电子设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员所获取的所有其他实施例，都属于本发明保护的范围。

为了实现能够准确地恢复指针的边缘信息、提高指针读数准确率，本发明实施例提供了一种指针识别方法、装置、电子设备及存储介质。

实施例1：

图1为本发明实施例提供的一种指针识别过程示意图，该过程包括以下步骤：

S101：获取图像中包含仪表盘区域的子图像。

本发明实施例提供的指针识别方法应用于电子设备，该电子设备可以是图像采集设备，也可以是服务器、PC等能够进行图像处理的设备。

为了实现对图像中指针的识别，可以基于图像采集设备获取待识别的图像，再基于该待识别的图像，获取图像中包含仪表盘区域的子图像。具体的，在确定包含仪表盘区域的子图像时，可以基于ROI进行图像的处理，获取其中包含的仪表盘区域的子图像，或者接收到的输入的图像即可包含仪表盘区域的子图像。

为了尽可能的采集到指针的信息，在需要进行监控的区域预先安装有图像采集设备，该图像采集设备用于采集其采集区域的图像。

待识别的图像可能会受到图像采集环境等一系列的影响，导致该待识别的图像存在噪声、对比度不强，为了更准确的对指针进行识别，对待识别的图像进行预处理，消除待识别的图像中存在的噪声，增强待识别的图像的对比度。常见的图片预处理方法有几何规划法、灰度级插值法、灰度规划法等。其中，图片预处理方法为现有技术，在此不作赘述。

本发明实施例中，图像采集设备获取到待识别的图像，将待识别的图像进行预处理，再根据该预处理后的图像，获取图像中包含仪表盘区域的子图像。

S102：通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域。

为了提高确定图像中指针所在区域的效率，在本发明实施例中，预先训练有指针识别模型。当电子设备获取到包含仪表盘区域的子图像后，通过该预先训练完成的指针识别模型对该包含仪表盘区域的子图像进行处理，从而获取该子图像的特征图，并对该特征图进行转置卷积处理后，从而基于转置卷积处理后的特征图，获取该子图像中指针所在的区域。

其中，转置卷积处理的方式可以有效的实现图像的粗粒化，准确地恢复指针的边缘信息，以便更加准确的获取该子图像中指针所在的区域。因此，在本发明实施例中，为了提高获取的指针所在的区域的信息的准确性，将子图像加入到该预先训练完成的指针识别模型后，获取该子图像的特征图，并将该特征图进行转置卷积处理，最终获取该子图像中指针所在的区域。

S103：根据所述子图像中指针所在的区域，确定指针指示的数值。

根据获得的子图像中指针所在的区域，可以确定该指针在该子图像中的位置信息，从而在该子图像中突出显示指针所在的位置，后续可以根据指针所在的位置信息，确定指针的指向，并根据指针的指向，确定该指针指示的数值。

具体的，可以根据指针的头部在该子图像中的坐标值，以及指针的尾部在该子图像中的坐标值，确定该指针的具体指向，根据指针的指向、指针旋转中心的原点，以及预设的参考方向，确定该指针的指向方向与该参考方向的夹角，从而确定该指针指示的数值。

具体的，当确定了子图像指针所在的区域后，确定指针指示的数值的过程属于现有技术，在本发明实施例中对该过程不进行赘述。

由于本发明实施例中，获取到图像中包含仪表盘的子图像后，基于指针识别模型对该子图像的特征图进行转置卷积处理，从而能够准确地恢复指针的边缘信息，准确的获取该子图像中指针所在的区域，进而根据获得的指针所在该子图像的区域确定该指针的读数，提高指针读数准确率。

实施例2：

为了提高指针识别的准确率，在上述实施例的基础上，在本发明实施例中，所述获取图像中包含仪表盘区域的子图像包括：

基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

为了提高获取图像中包含仪表盘区域的子图像的效率，在本发明实施例中，预先训练有仪表盘识别模型。当电子设备获取到图像采集设备采集的待识别的图像后，通过该预先训练完成的仪表盘识别模型对该待识别的图像进行处理，从而获得输入的图像中包含仪表盘区域的信息。

根据图像中包含仪表盘区域的信息，可以确定该仪表盘在待识别的图像中的具体位置，并将该仪表盘区域分割出来，获得待识别的图像中包含仪表盘区域的子图像。

在本发明实施例中，该仪表盘识别模型可以是YOLO网络。

图2a为本发明实施例提供的待识别的图像，图2b为本发明实施例提供的输入到仪表盘识别模型后获得的检测结果图像，图2c为本发明实施例提供的输出结果检测图像裁剪后的包含该仪表盘区域的子图像，下面针对图2a、2b、2c进行说明。

在图像采集设备采集到待识别的图像2a后，将待识别的图像2a输进预先训练完成的仪表盘识别模型中，即YOLO网络中，获得检测结果图像2b，并且能够确定该仪表盘在待识别的图像中的具体位置，根据该具体位置将包含该仪表盘区域的子图像分割出来，获得包含该仪表盘区域的子图像2c。

为了提高子图像的确定效率，在上述各实施例的基础上，在本发明实施例中，所述基于预先训练的仪表盘识别模型，获取输入图像中包含仪表盘区域的信息包括：

基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获得第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出输入图像中包含仪表盘区域的信息。

由于仪表盘在待识别的图像中所占的面积较小，且在一个场景下一个待识别的图像一般只有一个仪表盘，将待识别的图像输入到仪表盘识别模型中后，会输出多个不同图像尺度的特征图，为了提高仪表盘区域识别的效率，在本发明实施例中针对YOLO网络进行改进，将较小图像尺度的特征图进行舍弃，只输出图像尺度最大的特征图。因为模型只需要根据尺度最大的特征图进行处理，因此可以有效的提高模型的处理效率，从而提高指针识别的效率。

图3为本发明实施例提供的仪表盘识别模型对仪表盘区域进行识别的过程示意图，下面结合图3对输出图像尺度最大的特征图的过程进行详细说明。

第一步，对输入的图像进行第一卷积处理，获取第一特征图，具体的，将3*416*416的图像输入到YOLO网络后，由卷积块对该图像进行卷积处理，获得32*416*416的特征图，将该32*416*416的特征图在残差块中进行卷积处理后，获得64*208*208的特征图，将该64*208*208的特征图放在两块残差块中，获得128*104*104的特征图，将该128*104*104的特征图放在8个残差块中进行卷积获得256*52*52的特征图，将该256*52*52的特征图作为第一特征图。

第二步，对该第一特征图，也就是该256*52*52的特征图在8个残差块中进行卷积处理，得到512*26*26的特征图，并将该512*26*26的特征图确定第二特征图。

第三步，对该第二特征图进行第二卷积处理，得到第三特征图，具体的，将512*26*26的特征图，也就是第二特征图在4块残差块中进行卷积处理，获得1024*13*13的特征图，由卷积块对该1024*13*13的特征图进行卷积处理，获得1024*13*13的特征图，将该1024*13*13的特征图确定为第三特征图。

第四步，对该第三特征图进行第一上采样，将该第一上采样后的特征图与该第二特征图进行级联，得到第一目标特征图，具体的，将该第三特征图，也就是1024*13*13的特征图进行第一上采样和卷积处理，将该第一上采样后的特征图与该第二特征图进行级联，获取到768*26*26的特征图，并将该768*26*26的特征图确定为第一目标特征图。

第五步，对该第一目标特征图进行卷积处理，得到第四特征图，对该第四特征图进行第二上采样，将第二上采样得到的特征图与第一特征图进行级联，得到第二目标特征图。具体的，将该第一目标特征图，由卷积块对该768*26*26的第一目标特征图进行卷积处理，获得512*26*26的特征图，将该512*26*26的特征图进行卷及处理并第二上采样后，将该第二上采样得到的特征图与第一特征图进行级联，获得128*104*104的特征图，将该128*104*104的特征图确定为第二目标特征图。

第六步，对该第二目标特征图进行卷积处理，输出输入图像中包含仪表盘区域的信息。由卷积块对该第二目标特征图进行卷积处理，获得256*52*52的特征图，然后输出255*52*52的特征图，最终将输入图像中包含仪表盘区域的信息进行输出。

实施例3：

为了提高获得子图像中指针所在的区域的准确率，在上述各实施例的基础上，在本发明实施例中，所述通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

为了提高获得子图像中指针所在的区域的准确率，在上述实施例的基础上，在本发明实施例中，所述根据所述目标第一子特征图，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

由于Hrnet网络相对于一般特征提取网络在分割上有明显优势，其始终保持高分辨率表示，在卷积过程中逐步引入低分辨率卷积，并将不同分辨率的卷积进行并行连接。同时，通过不同分辨率之间进行信息交换，提升了高分辨率与低分辨率的特征表达能力，让多分辨率特征之间更好的相互促进，也能够保证在特征提取阶段，信息损失更少。

本发明实施例的该指针识别模型采用的是Hrnet网络，图4为现有的Hrnet网络的结构图，针对现有技术的Hrnet网络的结构进行描述。

将目标第一特征图输入到Hrnet网络中后，将该目标第一特征图进行卷积处理，获得第三子特征图；对该第三子特征图进行上采样，并将上采样处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将该目标第二特征图进行卷积处理，获得第四子特征图；对该第四子特征图进行上采样处理，并将上采样处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据该目标第三子特征图，获取该子图像中指针所在的区域。

可以看出，在具体的指针识别过程中，将子图像加入到Hrnet网络中后，获取该子图像的特征图，并将该特征图进行插值上采样处理，获取该子图像中指针所在的区域，但是该通过插值上采样的方式，将特征图放大到尺度大特征图，将放大后的特征图和尺度大的特征图以求和的方式进行特征融合，会导致识别出来的指针区域信息不准确。

图5为本发明实施例提供的指针识别模型对指针进行识别的过程示意图，图6为本发明实施例提供的改进的Hrnet网络结构图，下面结合图5和图6对通过改进后的Hrnet网络进行指针识别的过程进行详细说明。

将3*256*256的子图像输入到Hrnet网络后，由卷积块对该3*256*256的子图像进行卷积处理，获得64*64*64的特征图，将该64*64*64的特征图在阶段1进行卷积处理获得256*64*64的特征图，再将256*64*64的特征图在阶段2进行卷积获得256*64*64的特征图，将该256*64*64的特征图确定为子图像的第一子特征图，并将该第一子特征图进行为步长为2的卷积处理后，获得256*32*32的特征图，并将该256*32*32的特征图确定为子图像的第二子特征图，对该第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，获得256*64*64的特征图，并将该256*64*64的特征图确定为目标第一子特征图。

将该目标第一特征图进行步长为2的卷积处理，获得256*32*32的特征图，并将该256*32*32的特征图确定为第三子特征图，对该第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图在阶段3进行融合，得到256*64*64的特征图，将该256*64*64的特征图确定为目标第二子特征图。

将该目标第二特征图进行步长为2的卷积处理，获得256*32*32的特征图，并将该256*32*32的特征图确定为第四子特征图，对该第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图在阶段4进行融合，得到256*64*64的特征图，将该256*64*64的特征图确定为目标第三子特征图，并根据该目标第三子特征图，确定256*256的分割结果图，再根据该分割结果图，获取该子图像中指针所在的区域。

在原Hrnet网络中，其对应的损失函数采用交叉熵，即对每个类别分别计算预测值与实际值的交叉熵再求和。但是在指针识别过程中，由于指针部分的像素只占待识别的图像的很小的一部分，因此采用交叉熵作为损失函数并不合理，可能会导致指针识别不准确，甚至影响指针指示的数值的准确度。

因此除了将原Hrnet网络中的插值上采样的方式该为转置卷积外，并用focalloss来替代交叉熵作为损失函数。

其中，focal loss的具体表达如下：

FL＝-α(1-p

其中，α，γ为调制系数，p

该损失函数的改进能够降低背景类预测正确产生的损失值，有效的解决背景类占比大对损失函数造成的影响，从而提升分割效果，提高了指针读数的准确性。

图2d为本发明实施例提供的分割后的指针结果图，下面针对图2c、2d进行说明。

将获取到的包含该仪表盘区域的子图像2c输进预先训练完成的指针识别模型中，即改进后的Hrnet网络中，获得指针分割结果图2d可以确定子图像中指针所在的区域，确定指针指示的数值。

图7为本发明实施例提供的异常情况下分割效果图。

在对指针进行识别和将指针在待识别的图像中进行分割时，有可能会出现采集的待识别的图像模糊、图像旋转、图像截断、光照太强导致图像曝光、光照太弱导致图像过暗、图像存在阴影等情况，将这些存在异常的待识别的图像进行指针识别后，获取到最终输出的特征图。可以看出，本发明针对存在异常的待识别的图像进行识别后，也可以达到良好的指针分割和指针识别效果。

实施例4：

为了提高获得图像中仪表盘所在的区域的准确率，在上述各实施例的基础上，在本发明实施例中，训练所述仪表盘识别模型的过程包括：

获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；

将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；

根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

为了基于仪表盘识别模型对获取的图像中的仪表盘进行识别，在本发明实施例中，在将待识别图像输入到仪表盘识别模型之前，预先对该仪表盘模型进行训练，在进行训练的过程中，针对第一训练集中的样本图像，获取第一训练集中的任一第一样本图像，该第一样本图像为对图像的仪表盘进行矩形标注后的图像，且该第一样本图像中预先标注有仪表盘区域的第一位置信息，将第一样本图像输入到原始仪表盘识别模型中进行训练，也就是将标注完的图像加入到原始仪表盘识别模型中进行训练，该原始仪表识别模型可以为YOLO网络，为了将输入到仪表盘识别模型中进行训练的图像与输入到指针识别模型中进行训练的图像进行区分，将输入到仪表盘识别模型中进行训练的图像称为第一样本图像，将输入到指针识别模型中进行训练的图像称为第二样本图像，为了将进行训练的图像和进行识别的图像进行区分，将训练过程中的特征图称为样本特征图、将目标特征图称为目标样本特征图。

具体的，将样本图像输入到YOLO网络中，先对该第一样本图像进行第一卷积处理，获取第一样本特征图，对所述第一样本特征图进行卷积处理，得到第二样本特征图，并对所述第二样本特征图进行第二卷积处理，得到第三样本特征图；对所述第三样本特征图进行上采样，将所述上采样后的样本特征图与所述第二样本特征图进行级联，得到第一目标样本特征图，对所述第一目标样本特征图进行卷积处理，得到第四样本特征图，对所述第四样本特征图进行上采样，将上采样得到的样本特征图与第一样本特征图进行级联，得到第二目标样本特征图，对所述第二目标样本特征图进行卷积处理，输出输入图像中包含仪表盘区域的第二位置信息，并根据该第一位置信息和第二位置信息，对该仪表识别模型进行训练，也就是根据第一位置信息和第二位置信息，确定该输出图像中识别出的仪表盘所在区域和训练前进行矩形标注的仪表盘区域的相似度，若在进行大量训练后，满足预设的收敛条件，则说明该仪表盘识别模型训练完成。

实施例5：

为了提高获得子图像中指针所在的区域的准确率，在上述各实施例的基础上，在本发明实施例中，训练所述指针识别模型的过程包括：

获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；

将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；

根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

为了基于指针识别模型对获取的子图像中的指针进行识别，在本发明实施例中，在将子图像输入到指针识别模型之前，预先对该指针识别模型进行训练，在进行训练的过程中，获取第二训练集中的第二样本图像，该第二样本图像为对将子图像的指针进行多边形标注的图像，且该第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息，将第二样本图像输入到原始指针识别模型中进行训练，也就是将标注完的子图像加入到原始指针识别模型中进行训练，该原始指针识别模型可以为改进后Hrnet网络，为了将进行训练的图像和进行识别的图像进行区分，将训练过程中的特征图称为样本特征图，将目标特征图称为目标样本特征图。

具体的，将子样本图像输入到改进后Hrnet网络中，对输入的第二样本图像进行卷积处理，获得子样本图像的第一子样本特征图，对第一子样本特征图进行卷积处理，获得该子样本图像的第二子样本特征图，对该第二子样本特征图进行转置卷积处理，并将转置卷积处理后的子样本特征图与第一子样本特征图进行融合，得到目标第一子样本特征图，根据该目标第一子样本特征图，获取该子样本图像中指针所在的区域将该目标第一样本特征图进行卷积处理，获得第三子样本特征图，对该第三子样本特征图进行转置卷积处理，并将转置卷积处理后的子样本特征图与目标第一样本特征图进行融合，得到目标第二子样本特征图，将该目标第二样本特征图进行卷积处理，获得第四子样本特征图，对该第四子样本特征图进行转置卷积处理，并将转置卷积处理后的子样本特征图与目标第二样本特征图进行融合，得到目标第三子样本特征图，根据该目标第三子样本特征图，获取该子样本图像中指针所在的区域的第四位置信息，再根据该第三位置信息和第四位置信息，对该指针识别模型进行训练，也就是根据第三位置信息和第四位置信息，确定该输出子样本图像中识别出的指针所在区域和训练前进行多边形标注的指针所在区域的相似度，若在进行大量训练后，满足预设的收敛条件，则说明该指针识别模型训练完成。

实施例6：

图8为本发明实施例提供的一种指针识别装置结构示意图，该装置包括：

提取模块801，用于获取图像中包含仪表盘区域的子图像；

所述提取模块801，还用于通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域；

确定模块802，用于根据所述子图像中指针所在的区域，确定指针指示的数值。

在一种可能的实施方式中，所述提取模块801，具体用于基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

在一种可能的实施方式中，所述提取模块801，具体用于基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获取第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出所述图像中包含仪表盘区域的信息。

在一种可能的实施方式中，所述提取模块801，具体用于基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

在一种可能的实施方式中，所述提取模块801，具体用于基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

在一种可能的实施方式中，所述装置还包括：

训练模块803，用于获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

在一种可能的实施方式中，所述训练模块803，还用于获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

实施例7：

在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图9所示，包括：处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。

所述存储器903中存储有计算机程序，当所述程序被所述处理器901执行时，使得所述处理器901执行如下步骤：

获取图像中包含仪表盘区域的子图像；

通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域；

根据所述子图像中指针所在的区域，确定指针指示的数值。

进一步地，所述处理器901，还用于基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

进一步地，所述处理器901，还用于基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获取第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出所述图像中包含仪表盘区域的信息。

进一步地，所述处理器901，还用于基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

进一步地，所述处理器901，还用于基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

进一步地，所述处理器901，还用于获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

进一步地，所述处理器901，还用于获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口902用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例8：

在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：

所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取图像中包含仪表盘区域的子图像；

通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域；

根据所述子图像中指针所在的区域，确定指针指示的数值。

进一步地，所述获取图像中包含仪表盘区域的子图像包括：

基于预先训练的仪表盘识别模型，获取输入的图像中包含仪表盘区域的信息；

根据所述仪表盘区域的信息，确定所述图像中对应的子图像。

进一步地，所述基于预先训练的仪表盘识别模型，获取输入图像中包含仪表盘区域的信息包括：

基于预先训练的仪表盘识别模型，对输入的图像进行第一卷积处理，获取第一特征图，对所述第一特征图进行卷积处理，获取第二特征图，并对所述第二特征图进行第二卷积处理，得到第三特征图；对所述第三特征图进行第一上采样，将所述第一上采样后的特征图与所述第二特征图进行级联，得到第一目标特征图，对所述第一目标特征图进行卷积处理，得到第四特征图，对所述第四特征图进行第二上采样，将所述第二上采样得到的特征图与所述第一特征图进行级联，得到第二目标特征图，对所述第二目标特征图进行卷积处理，输出所述图像中包含仪表盘区域的信息。

进一步地，所述通过预先训练的指针识别模型，获取所述子图像的特征图，并对所述特征图进行转置卷积处理，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，对输入的所述子图像进行卷积处理，获得所述子图像的第一子特征图，对所述第一子特征图进行卷积处理，获得所述子图像的第二子特征图；对所述第二子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与第一子特征图进行融合，得到目标第一子特征图；根据所述目标第一子特征图，获取所述子图像中指针所在的区域。

进一步地，所述根据所述目标第一子特征图，获取所述子图像中指针所在的区域包括：

基于预先训练的指针识别模型，将所述目标第一特征图进行卷积处理，获得第三子特征图；对所述第三子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第一特征图进行融合，得到目标第二子特征图；将所述目标第二特征图进行卷积处理，获得第四子特征图；对所述第四子特征图进行转置卷积处理，并将转置卷积处理后的子特征图与目标第二特征图进行融合，得到目标第三子特征图；根据所述目标第三子特征图，获取所述子图像中指针所在的区域。

进一步地，训练所述仪表盘识别模型的过程包括：

获取第一训练集中的任一第一样本图像，其中，所述第一样本图像中预先标注有仪表盘区域的第一位置信息；将所述第一样本图像输入到原始仪表盘识别模型中，输出所述第一样本图像中仪表盘区域的第二位置信息；根据所述第一位置信息和第二位置信息，对所述仪表识别模型进行训练。

进一步地，训练所述指针识别模型的过程包括：

获取第二训练集中的任一第二样本图像，其中，所述第二样本图像中预先标注有仪表盘指针所在区域的第三位置信息；将所述第二样本图像输入到原始指针识别模型中，输出所述第二样本图像中指针所在区域的第四位置信息；根据所述第三位置信息和第四位置信息，对所述指针识别模型进行训练。

由于本发明实施例中，获取到图像中包含仪表盘的子图像后，基于指针识别模型对该子图像的特征图进行转置卷积处理，从而能够准确地恢复指针的边缘信息，准确的获取该子图像中指针所在的区域，进而根据获得的指针所在该子图像的区域确定该指针的读数，提高指针读数准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。