配重识别方法、装置、电子设备、介质及程序产品

技术领域

本发明涉及图像处理技术领域，尤其涉及一种配重识别方法、装置、电子设备、介质及程序产品。

背景技术

起重机是现代工业生产必不可少的设备，广泛应用于工厂、港口、建筑工地、矿山等建设领域。其中，汽车起重机和履带式起重机机动性高，配重调整灵活，在各种建筑工地应用更加广泛。这两种起重机的配重不固定，可以根据需求灵活调整。这需要操作人员实时了解配重的具体数量。

因此如何帮助操作人员实时了解配重的具体数量，已经成为业界亟待解决的问题。

发明内容

本发明提供一种配重识别方法、装置、电子设备、介质及程序产品，用以解决现有技术中不能很好的帮助操作人员及时了解配重数量的缺陷。

本发明提供一种配重识别方法，包括：

获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；

将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

根据本发明提供的一种配重识别方法，在所述获取第一图像之后，还包括：

对所述第一图像的HSV像素空间进行像素阈值分析，确定所述第一图像中的异常像素；

基于所述异常像素，确定所述第一图像中的异常图像区域。

根据本发明提供的一种配重识别方法，所述将所述第一图像输入预设配重块识别模型，得到配重块重量信息，包括：

将所述第一图像输入所述预设配重块识别模块，输出N个配重块区域对应的N个第一配重块识别信息；

通过最小二乘法对所述N个配重块区域进行分析，确定目标区域；

在所述异常图像区域与所述目标区域无重叠的情况下，根据所述N个第一配重块识别信息得到所述配重块重量信息，N为正整数。

根据本发明提供的一种配重识别方法，在所述输出N个配重块区域对应的N个第一配重块识别信息之后，还包括：

在所述异常图像区域与所述目标区域之间存在重叠区域的情况下，对所述重叠区域的像素进行像素平衡处理，得到处理后的第二图像；

将所述第二图像输入预设配重块识别模型，输出N个配重块区域对应的N个第二配重块识别信息；

根据所述N个第二配重块识别信息得到所述配重块重量信息。

根据本发明提供的一种配重识别方法，在所述将所述第一图像输入预设配重块识别模型，得到配重块重量信息之前，还包括：

获取多个样本图像和每个所述样本图像对应的配重块重量标签和配重块区域标签，其中，每个所述样本图像对应一个或多个配重块重量标签；

将每个所述样本图像和对应的配重块重量标签与配重块区域标签作为一个训练样本，获取多个训练样本；

根据所述多个训练样本对预设神经网络进行训练，在满足预设训练条件的情况下，停止训练，得到预设配重块识别模型。

根据本发明提供的一种配重识别方法，在所述得到配重块重量信息之后，还包括：

获取配重块设定信息；

在所述配重块设定信息与所述配重块重量信息不一致的情况下，生成配重预警信息。

本发明还提供一种配重识别装置，包括：

获取模块，用于获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；

识别模块，用于将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

可选地，所述配重识别装置，具体用于：

对所述第一图像的HSV像素空间进行像素阈值分析，确定所述第一图像中的异常像素；

基于所述异常像素，确定所述第一图像中的异常图像区域。

可选地，所述配重识别装置，具体用于：

将所述第一图像输入所述预设配重块识别模块，输出N个配重块区域对应的N个第一配重块识别信息；

通过最小二乘法对所述N个配重块区域进行分析，确定目标区域；

在所述异常图像区域与所述目标区域无重叠的情况下，根据所述N个第一配重块识别信息得到所述配重块重量信息，N为正整数。

可选地，所述配重识别装置，具体用于：

在所述异常图像区域与所述目标区域之间存在重叠区域的情况下，对所述重叠区域的像素进行像素平衡处理，得到处理后的第二图像；

将所述第二图像输入预设配重块识别模型，输出N个配重块区域对应的N个第二配重块识别信息；

根据所述N个第二配重块识别信息得到所述配重块重量信息。

可选地，所述配重识别装置，具体用于：

获取多个样本图像和每个所述样本图像对应的配重块重量标签和配重块区域标签，其中，每个所述样本图像对应一个或多个配重块重量标签；

将每个所述样本图像和对应的配重块重量标签与配重块区域标签作为一个训练样本，获取多个训练样本；

根据所述多个训练样本对预设神经网络进行训练，在满足预设训练条件的情况下，停止训练，得到预设配重块识别模型。

可选地，所述配重识别装置，具体用于：

获取配重块设定信息；

在所述配重块设定信息与所述配重块重量信息不一致的情况下，生成配重预警信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述配重识别方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述配重识别方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述配重识别方法。

本发明提供的配重识别方法、装置、电子设备、介质及程序产品，通过对配重块区域的第一图像进行识别，能够得到第一图像中配重块的配重块识别信息，进而得到配重块重量信息，有效帮助操作人员了解配重的具体数量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的配重识别方法流程图；

图2为本申请实施例中所描述起重机结构示意图；

图3为本申请实施例提供的配重识别结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请实施例提供的配重识别方法流程图，如图1所示，包括：

步骤110，获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；

具体地，本申请实施例中所描述的第一图像具体可以是通过安装在起动机上的摄像头获取的，图2为本申请实施例中所描述起重机结构示意图，该摄像头可以固定在起重机身不影响驾驶员操作的地方，确保画面中包含整个配重块安装区域，该摄像头的设置需要注意防水。摄像头配备夜视功能，夜间无需额外增加其它拍摄设备。

更具体地，本申请实施例中所描述的配重块均标注有配重块的重量信息，其具体可以是通过数字印记的形式或者是其它的标识方式。

本申请实施例中所描述的第一图像即是包含了整个配重块安装区域的图像，该第一图像中包括一个或多个配重块的子图像。

步骤120，将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

具体地，本申请实施例中所描述的预设配重块识别模型可以是yolov5网络，其是经过携带有配重块重量标识的样本图像训练得到，该预设配重块识别模型能够有效识别图像中的整体配重块区域和单个配重块的位置以及配重块重量信息。

在第一图像输入预设配重块识别模型之后，可以得到配重块区域对应的配重块识别信息，从而根据配重块识别信息，最终确定配重块重量信息。

可选地，本申请实施例中在得到配重块重量信息之后，还会通过数据传输把配重块重量信息传输给中控屏进行显示。如果需要报警，则在屏幕输出报警信息或通过音频输出接口提示。

在一些实施例中，可以对配重的变化进行记录，如xxxx年xx月xx日xx：xx：xx时间所需配重AA顿，实际配重块变更为BB吨。

在一些实施例中，还可以将配重块重量信息同步到服务器中，便于后续数据的查询和管理。

在申请实施例中，通过对配重块区域的第一图像进行识别，能够得到第一图像中配重块的配重块识别信息，进而得到配重块重量信息，有效帮助操作人员了解配重的具体数量。

可选地，在所述获取第一图像之后，还包括：

对所述第一图像的HSV像素空间进行像素阈值分析，确定所述第一图像中的异常像素；

基于所述异常像素，确定所述第一图像中的异常图像区域。

具体地，在本申请实施例中，在得到第一图像后，为了避免图像中存在过度曝光的异常像素而导致的光斑，影响配重块的识别准确性，本申请实施例中会进一步对第一图像的HSV像素空间进行像素阈值分析，进一步确定第一图像中的异常像素。

而由于图像中过度曝光的像素往往都是在一定范围内一起出现，因此本申请实施例中将处于一定范围内的像素所构成的区域认为异常图像区域。

本申请实施例中所描述的异常图像区域很可能是光斑等区域。

在本申请实施例中，通过对第一图像的HSV像素空间进行像素阈值，能够有效确定第一图像中的异常图像区域，便于后续避免异常图像区域对于配重块的识别。

可选的，所述将所述第一图像输入预设配重块识别模型，得到配重块重量信息，包括：

将所述第一图像输入所述预设配重块识别模块，输出N个配重块区域对应的N个第一配重块识别信息；

通过最小二乘法对所述N个配重块区域进行分析，确定目标区域；

在所述异常图像区域与所述目标区域无重叠的情况下，根据所述N个第一配重块识别信息得到所述配重块重量信息，N为正整数。

具体地，本申请实施例中的第一图像输入预设配重块识别模块之后，能够得到整体配重块区域和单个配重块的位置以及配重的第一配重块识别信息。

本申请实施例中所描述的配重块区域具体是指该配重块在第一图像中的位置。

更具体的，本申请实施例中会通过多个配重块区域(大于两个配重块)来确定目标区域，例如，通过获取两以上配重块区域的坐标上界(x1,y1)、(x2,y2)和两个以上配重块区域的坐标下界(x3,y3)、(x4,y4)，采用最小二乘法拟合两条线性函数y＝a1x+b1，y＝a2x+b2，通过两条上下边界和整体的配重块区域的左右边界，划分出不应该受光斑影响的区，即目标区域。

而由于受到光斑影响的区域可能无法有效被识别，而本申请实施例中需要准确识别的区域仅仅为目标区域。因此在所述异常图像区域与所述目标区域无重叠的情况下，则认为所有的配重块识别模块都被有效识别的，可以根据得到的N个第一配重块识别信息的总和确定配重块重量信息。

在本申请实施例中，通过对各个配重块的配重块区域进行识别，从而确定目标区域，从而有效确定需要进行精准识别的区域，而在异常图像区域与所述目标区域无重叠的情况下，则说明目标区域并未被影响，此时识别得到的第一配重块识别信息时准确的，此时可以直接根据N个第一配重块死别信息，得到配重块重量信息。

可选地，在所述输出N个配重块区域对应的N个第一配重块识别信息之后，还包括：

在所述异常图像区域与所述目标区域之间存在重叠区域的情况下，对所述重叠区域的像素进行像素平衡处理，得到处理后的第二图像；

将所述第二图像输入预设配重块识别模型，输出N个配重块区域对应的N个第二配重块识别信息；

根据所述N个第二配重块识别信息得到所述配重块重量信息。

具体地，在本申请实施例中，若异常图像区域与所述目标区域之间存在重叠区域，则说明目标区域很可能会被光斑导致的异常像素影响，从而导致目标区域的检测结果不准确。

因此在本申请实施例中需要对重叠区域的像素进行动态图像像素平衡处理，从而避免重叠区域像素点过曝的问题，得到处理后的第二图像。

在得到第二图像后，会进一步将其输入预设配重识别模块，再次得到N个配重块区域对应的N个第二配重块识别信息，由于第二图像已经避免了异常像素对其识别的影响，因此此时低到的第二配重识别信息是较为准确的信息。

将N个第二配重识别信息进行求和，可以进一步得到最终的配重块重量信息。

在本申请实施例中，在所述异常图像区域与所述目标区域之间存在重叠区域的情况下，才对图片进一步处理，有效避免了其它区域存在光斑的情况下，做的无意义处理，有效减少了计算量，提高了处理效率。

可选地，，在所述将所述第一图像输入预设配重块识别模型，得到配重块重量信息之前，还包括：

获取多个样本图像和每个所述样本图像对应的配重块重量标签和配重块区域标签，其中，每个所述样本图像对应一个或多个配重块重量标签；

将每个所述样本图像和对应的配重块重量标签与配重块区域标签作为一个训练样本，获取多个训练样本；

根据所述多个训练样本对预设神经网络进行训练，在满足预设训练条件的情况下，停止训练，得到预设配重块识别模型。

具体地，本申请实施例中所描述的预设神经网络模型具体可以是yolo v5网络。

本申请实施例中所描述的预设训练条件具体可以是预设的训练次数，例如训练500次，或者预设的训练时间，例如训练30分钟。

本申请实施例中所描述的配重块重量标签是用于标记样本图像中配重块的重量信息，配重块区域标签是用于标记配重块在样本图像中的位置。

本申请实施例中所描述的预设配重块识别模块，可以有效识别出携带有配重块的图像的配重块区域和配重块重量信息。

在本申请实施例中，通过对于预设配重块识别模块的训练，可以有通过该模型有效识别图像中的配重块重量信息。

可选地，在所述得到配重块重量信息之后，还包括：

获取配重块设定信息；

在所述配重块设定信息与所述配重块重量信息不一致的情况下，生成配重预警信息。

具体地，本申请实施例中所描述的配重块设定信息具体可以是用户所选工况的配重信息，其代表了用户想要设定的真是配重。

在配重块设定信息与所述配重块重量信息不一致的情况下，则说明实际配重与用户希望设定的配重并不一直，因此可能存在工程风险，需要进一步提示用户。

本申请实施例中所描述的配重预警信息具体可以是声音预警信息，或者是显示预警信息，还可以是作用于警示灯的预警信息。

在本申请实施例中，通过将配重块设定信息与所述配重块重量信息进行比较，从而有效保证用户在安全的配置下进行工作，能有效保证施工的安全性。

下面对本发明提供的配重识别装置进行描述，下文描述的配重识别装置与上文描述的配重识别方法可相互对应参照。

图3为本申请实施例提供的配重识别结构示意图，如图3所示，包括：获取模块310和识别模块320；

其中，获取模块310用于获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；

其中，识别模块320用于将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

可选地，所述配重识别装置，具体用于：

对所述第一图像的HSV像素空间进行像素阈值分析，确定所述第一图像中的异常像素；

基于所述异常像素，确定所述第一图像中的异常图像区域。

可选地，所述配重识别装置，具体用于：

将所述第一图像输入所述预设配重块识别模块，输出N个配重块区域对应的N个第一配重块识别信息；

通过最小二乘法对所述N个配重块区域进行分析，确定目标区域；

在所述异常图像区域与所述目标区域无重叠的情况下，根据所述N个第一配重块识别信息得到所述配重块重量信息，N为正整数。

可选地，所述配重识别装置，具体用于：

在所述异常图像区域与所述目标区域之间存在重叠区域的情况下，对所述重叠区域的像素进行像素平衡处理，得到处理后的第二图像；

将所述第二图像输入预设配重块识别模型，输出N个配重块区域对应的N个第二配重块识别信息；

根据所述N个第二配重块识别信息得到所述配重块重量信息。

可选地，所述配重识别装置，具体用于：

获取多个样本图像和每个所述样本图像对应的配重块重量标签和配重块区域标签，其中，每个所述样本图像对应一个或多个配重块重量标签；

将每个所述样本图像和对应的配重块重量标签与配重块区域标签作为一个训练样本，获取多个训练样本；

根据所述多个训练样本对预设神经网络进行训练，在满足预设训练条件的情况下，停止训练，得到预设配重块识别模型。

可选地，所述配重识别装置，具体用于：

获取配重块设定信息；

在所述配重块设定信息与所述配重块重量信息不一致的情况下，生成配重预警信息。

本申请实施例通过对配重块区域的第一图像进行识别，能够得到第一图像中配重块的配重块识别信息，进而得到配重块重量信息，有效帮助操作人员了解配重的具体数量。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行配重识别方法，该方法包括：获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的配重识别方法，该方法包括：获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的配重识别方法，该方法包括：获取第一图像，其中，所述第一图像中包括至少一个配重块子图像；将所述第一图像输入预设配重块识别模型，得到配重块重量信息，其中，所述预设配重块识别模型是基于携带有配重块重量标识的样本图像训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。