一种传送带异物检测方法及装置

技术领域

本发明涉及异物检测技术领域，具体涉及一种传送带异物检测方法及装置。

背景技术

目前，我国对能源和原材料的需求日益旺盛，随之对煤矿的开采量也逐年增加。煤矿行业面临着前所未有的挑战，比如煤矿行业的工作环境不安全、从业风险大以及员工不足等现实问题，并且传送带撕裂也是煤矿开采中经常遇到的异常问题，传送带长时间工作，磨损较大，有时因为工作人员的疏忽和意外情况，可能会导致传送带上经常会有一些异物如木头、石块和生产工具等，所以要对传送带上的异物进行检测，提前预防传送带撕裂情况。

在现有技术中，其异物检测方法仍然多采用传统的人工检测、接触检测。人工检测易受工作人员身体素质、工作经验和工作状态等不确定因素的影响，使得人员和管理的成本逐步上升，异物检测的效率不断下降。

发明内容

本发明旨在至少在一定程度上解决现有技术中的技术问题之一。为此，本发明的目的在于提供了一种传送带异物检测方法及装置，具有降低人工劳动强度，提高异物检测效率的优点。

技术方案：一种传送带异物检测方法及装置，包括：

采集传送带运输过程中的实时图像，所述实时图像包括按照预设时间间隔交替拍摄的多个第一长曝光图像和多个第一短曝光图像；

对多个所述第一长曝光图像进行模糊积分，得到多个第二长曝光图像；

对多个所述第一短曝光图像根据亮度和加性噪声进行建模，并将建模后的多个所述第一短曝光图像进行直方图均衡化处理，得到多个第二短曝光图像；

将多个所述第二长曝光图像和多个所述第二短曝光图像采用双级互补对齐算法进行对齐处理，获得多个长曝光对齐图像和多个短曝光对齐图像；

对多个所述长曝光对齐图像和多个所述短曝光对齐图像进行图像平滑处理，得到目标图像；

将所述目标图像输入至异物检测模型中进行异物检测。

进一步的，所述对多个所述第一长曝光图像进行模糊积分，包括：

对曝光时间τ期间的多个所述第一长曝光图像进行模糊积分，得到多个第二长曝光图像，其中，

所述模糊积分表示为：

其中，L是从0到τ一段时间内的长曝光图像，τ是曝光时间，I

进一步的，所述对多个所述第一长曝光图像进行模糊积分之后，还包括：

对多个所述第一短曝光图像根据亮度和加性噪声进行建模，其中，

所述建模公式表示为：

其中，S是短曝光图像，其中

进一步的，所述将建模后的多个所述第一短曝光图像进行直方图均衡化处理，得到多个第二短曝光图像，包括：

采用直方图补偿算法进行均衡化处理，获得多个第二短曝光图像，其中，

直方图补偿算法表示为：

其中M是直方图匹配函数，S

进一步的，所述将多个所述第二长曝光图像和多个所述第二短曝光图像采用双级互补对齐算法进行对齐处理，包括：

构建基于图像处理中运动估计和运动补偿的多个短曝光对齐框架和长曝光对齐框架；

将相邻的两个第二短曝光图像或相邻的两个第二长曝光图像以及二者之间的一个第二长曝光图像或第二短曝光图像输入至相应的长曝光对齐框架或短曝光对齐框架中进行第一对齐处理，生成第一级互补对齐网络的输出结果，其中，第一级互补对齐网络的输出结果包括多个一级长曝光处理图像和一级短曝光处理图像；

将相邻的两个一级长曝光处理图像或相邻的两个一级短曝光处理图像以及二者之间的一个一级短曝光处理图像或一级长曝光处理图像输入至相应的短曝光对齐框架或长曝光对齐框架中进行第二对齐处理，生成第二级互补对齐网络的输出结果；

对第二级互补对齐网络的输出结果进行对齐处理的迭代，直至生成一个长曝光对齐图像和一个短曝光对齐图像。

进一步的，包括：

构建基于图像处理中运动估计和运动补偿的多个短曝光对齐框架F

其中，将相邻的两个第二短曝光图像或相邻的两个第二长曝光图像以及二者之间的一个第二长曝光图像或第二短曝光图像作为第一级互补对齐网络：

将第一级互补对齐网络输入至相应的长曝光对齐框架或短曝光对齐框架中进行第一对齐处理，生成第一级互补对齐网络的输出结果，并将其作为第二级互补对齐网络：

对所述第二级互补对齐网络输入至相应的长曝光对齐框架或短曝光对齐框架中进行第二次对齐处理，生成第二级互补对齐网络的输出结果，表示为：

进一步的，对所述多个第二长曝光图像和所述多个第二短曝光图像进行第一对齐处理时，或对多个一级长曝光处理图像和多个一级短曝光处理图像进行第二对齐处理时，相应的多个短曝光对齐框架和长曝光对齐框架之间共享权值。

进一步的，所述对多个所述长曝光对齐图像和多个所述短曝光对齐图像进行图像平滑处理，包括：

将多个所述长曝光对齐图像和多个所述短曝光对齐图像输入至流增强网络中，并由流增强网络对其拆分成多个图像帧，所述流增强网络采用尺度循环网络SRN对图像进行拆分；

将多个所述图像帧输入至流增强对齐框架中进行对齐处理，得到相应的目标图像。

进一步的，所述将所述目标图像输入到异物检测模型中，来实现异物的检测，包括：

构建多个多注意力层，将所述多个多注意力层添加到所述异物检测模型中，所述多注意力层包括通道注意力、空间注意力以及自我注意力；

根据所述多个多注意力层，提取所述目标图像的关键特征；

将所述关键特征与数据库中的数据对比，来实现异物的检测。

一种传送带异物检测装置，其特征在于，所述装置包括：

采集模块，用于采集传送带运输过程中的实时图像，所述实时图像包括按照预设时间间隔交替拍摄的多个第一长曝光图像和多个第一短曝光图像；

积分模块，用于对多个所述第一长曝光图像进行模糊积分，得到多个第二长曝光图像；

建模模块，用于对多个所述第一短曝光图像根据亮度和加性噪声进行建模，并将建模后的多个所述第一短曝光图像进行直方图均衡化处理，得到多个第二短曝光图像；

对齐处理模块，用于将多个所述第二长曝光图像和多个所述第二短曝光图像采用双级互补对齐算法进行对齐处理，获得多个长曝光对齐图像和多个短曝光对齐图像；

平滑处理模块，用于对多个所述长曝光对齐图像和多个所述短曝光对齐图像进行图像平滑处理，得到目标图像；

检测模块，用于将所述目标图像输入至异物检测模型中进行异物检测。

有益效果：本发明中通过采集传送带运输过程中按照预设时间间隔交替拍摄的第一长曝光图像和第一短曝光图像，并将其进行曝光补偿预处理、对齐处理以及图像平滑处理等步骤获得低模糊、低噪声的目标图像，将得到的目标图像输入至异物检测模型中进行异物检测，采用全天候自动化的智能检测，有效的降低了人工劳动的强度，提高了异物检测的效率。

附图说明

图1为本发明提供的一种传送带异物检测方法的流程示意图；

图2为本发明提供的一种传送带异物检测方法中互补对齐网络的流程示意图；

图3为本发明提供的一种传送带异物检测方法中帧平滑网络的流程示意图；

图4为本发明提供的一种传送带异物检测方法中目标检测网络的结构示意图；

图5为本发明提供的一种传送带异物检测方法中SPP层的结构示意图；

图6为本发明提供的一种传送带异物检测方法中C3层的结构示意图；

图7为本发明提供的一种传送带异物检测方法中CBL层的结构示意图；

图8为本发明提供的一种传送带异物检测方法中多注意力层的结构示意图；

图9为本发明提供的一种传送带异物检测装置的结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了解决现有技术问题，本发明提供了一种传送带异物检测方法及装置，下面对本发明实施例所提供的传送带异物检测方法及装置进行介绍。

图1示出了本发明实施例提供的一种传送带异物检测方法的流程示意图。如图1所示，该传送带异物检测方法具体可以包括如下步骤：

S1、采集传送带运输过程中的实时图像，实时图像包括按照预设时间间隔交替拍摄的多个第一长曝光图像和多个第一短曝光图像；

S2、对多个第一长曝光图像进行模糊积分，得到多个第二长曝光图像；

S3、对多个第一短曝光图像根据亮度和加性噪声进行建模，并将建模后的多个第一短曝光图像进行直方图均衡化处理，得到多个第二短曝光图像；

S4、将多个第二长曝光图像和多个第二短曝光图像采用双级互补对齐算法进行对齐处理，获得多个长曝光对齐图像和多个短曝光对齐图像；

S5、对多个长曝光对齐图像和多个短曝光对齐图像进行图像平滑处理，得到目标图像；

S6、将目标图像输入至异物检测模型中进行异物检测。

由此，本发明中通过采集传送带运输过程中按照预设时间间隔交替拍摄的第一长曝光图像和第一短曝光图像，并将其进行曝光补偿预处理、对齐处理以及图像平滑处理等步骤获得低模糊、低噪声的目标图像，将得到的目标图像输入至异物检测模型中进行异物检测，采用全天候自动化的智能检测，有效的降低了人工劳动的强度，提高了异物检测的效率。

下面介绍上述各个步骤的具体实现方式。

在一些实施例中，在S1中，摄像机采集在传送带运输过程中按照预设时间间隔交替拍摄的多个第一长曝光图像L和多个第一短曝光图像S。

作为一个示例，例如为了获得低模糊、低噪声、高帧率的图像，提出了一种基于混合曝光进行视频增强的方法。输入交替曝光的低帧率图像{S

在一些实施例中，在S2中，摄像机在快门打开时拍摄到的图像称之为曝光，对多个第一长曝光图像进行模糊积分。

作为一个示例，例如可以假设单位曝光时间τ内的第i个无模糊潜像是I

其中，L是从0到τ一段时间内的长曝光图像，τ是曝光时间，I

在一些实施例中，在S3中，摄像机在快门打开时拍摄到多个第一短曝光图像，在低光照条件下的第一短曝光图像可以使用亮度调整和加性噪声进行建模，其中，建模公式表示为：

其中，S是短曝光图像，其中

作为一个示例，由于长曝光图像比短曝光图像在曝光时间τ内采集到了更多的光子，因此长曝光图像比短曝光图像更明亮，为了补偿两者之间的亮度差异，采用直方图匹配的补偿机制，将建模后的多个第一短曝光图像采用直方图补偿算法进行直方图均衡化处理，其中，直方图补偿算法表示为：

其中M是直方图匹配函数，S

在一些实施例中，在S4中，如图2所示，图2为本发明提供的一种传送带异物检测方法中互补对齐网络的流程示意图，对得到的多个第二长曝光图像和多个第二短曝光图像采用双级互补对齐算法进行对齐处理。

为了获取到低模糊、低噪声的图像，使第二长曝光图像和第二短曝光图像更加清晰，上述S4具体可以包括：

S4-1：构建基于图像处理中运动估计和运动补偿的多个短曝光对齐框架和长曝光对齐框架。

作为一个示例，如图2所示，构建F

S4-2：将相邻的两个第二短曝光图像或相邻的两个第二长曝光图像以及二者之间的一个第二长曝光图像或第二短曝光图像输入至相应的长曝光对齐框架或短曝光对齐框架中进行第一对齐处理，生成第一级互补对齐网络的输出结果，其中，第一级互补对齐网络的输出结果包括多个一级长曝光处理图像和一级短曝光处理图像。

作为一个示例，例如将相邻的两个第二短曝光图像

S4-3：将相邻的两个一级长曝光处理图像或相邻的两个一级短曝光处理图像以及二者之间的一个一级短曝光处理图像或一级长曝光处理图像输入至相应的短曝光对齐框架或长曝光对齐框架中进行第二对齐处理，生成第二级互补对齐网络的输出结果。

作为一个示例，将第一级互补对齐网络输出的结果作为第二级互补对齐网络的输入，例如将一级长曝光处理图像

S4-4：对第二级互补对齐网络的输出结果进行对齐处理的迭代，直至生成一个长曝光对齐图像和一个短曝光对齐图像。

作为一个示例，例如将第二级互补对齐网络的输出结果

在一些实施例中，在S5中，如图3所示，图3为本发明提供的一种传送带异物检测方法中帧平滑网络的流程示意图，对生成的多个长曝光对齐图像

为了增强长曝光对齐图像和短曝光对齐图像的平滑度，上述S5具体可以包括：

S5-1：将多个所述长曝光对齐图像和多个所述短曝光对齐图像输入至流增强网络中，并由流增强网络对其拆分成多个图像帧，所述流增强网络采用尺度循环网络SRN对图像进行拆分。

作为一个示例，在上述步骤中采用互补对齐算法将6帧图像处理成为2帧图像，生成了噪声减少的短曝光对齐图像

S5-2：将多个所述图像帧输入至流增强对齐框架中进行对齐处理，得到相应的目标图像。

作为一个示例，将拆分得到的多个扭曲的图像帧V输入至流增强对齐框架F

在一些实施例中，在S6中，如图4所示，图4为本发明提供的一种传送带异物检测方法中目标检测网络的结构示意图，将目标图像输入到基于改进的YOLOV5异物检测算法的目标检测网络中，对目标图像中的异物进行检测。

为了更好地一稿异物识别的准确率，上述S6具体可以包括：

S6-1：构建多个多注意力层，将多个多注意力层添加到所述异物检测模型中，多注意力层包括通道注意力、空间注意力以及自我注意力；

S6-2：根据多个多注意力层，提取目标图像的关键特征；

S6-3：将关键特征与数据库中的数据对比，来实现异物的检测。

作为一个示例，如图4所示，改进后的YOLOV5结构保留了原有的Backbone特征提取层，并在Neck部分的每一个CBL层前构建了多注意力层，其中，如图8所示，多注意力层包括通道注意力、空间注意力以及自身注意力。通道注意力是关注图像什么样的特征是有意义的。空间注意力是关注图像哪里的特征是有意义的。自我注意力使网络更善于捕捉特征的内部相关性，提取出更重要的图像特征；如图5所示，SPP层包括输入、CBL、最大池化层以及特征融合层；如图6所示，C3层包括输入、CBL和特征融合层；如图7所示，CBL包括输入、卷积层、批归一化层以及LeakyReLU激活函数。通过构建的多注意力层，有效提高了YOLOV5异物检测算法的识别准确率。

由此，本发明中通过采集传送带运输过程中按照预设时间间隔交替拍摄的第一长曝光图像和第一短曝光图像，并将其进行曝光补偿预处理、对齐处理以及图像平滑处理等步骤获得低模糊、低噪声的目标图像，将得到的目标图像输入至异物检测模型中进行异物检测，采用全天候自动化的智能检测，并基于改进的YOLOV5的异物检测算法，通过在YOLOV5结构的Neck部分构建过个多注意力层，有效的提高了异物检测的效率，增加了异物识别准确率。

基于相同的发明构思，本发明还提供了一种传送带异物检测装置。具体结合图9进行详细说明。

图9为本发明提供的一种传送带异物检测装置的结构示意图。

如图9所示，该传送带异物检测装置900可以包括：

采集模块901，用于采集传送带运输过程中的实时图像，所述实时图像包括按照预设时间间隔交替拍摄的多个第一长曝光图像和多个第一短曝光图像；

积分模块902，用于对多个第一长曝光图像进行模糊积分，得到多个第二长曝光图像；

建模模块903，用于对多个第一短曝光图像根据亮度和加性噪声进行建模，并将建模后的多个第一短曝光图像进行直方图均衡化处理，得到多个第二短曝光图像；

对齐处理模块904，用于将多个第二长曝光图像和多个第二短曝光图像采用双级互补对齐算法进行对齐处理，获得多个长曝光对齐图像和多个短曝光对齐图像；

平滑处理模块905，用于对多个长曝光对齐图像和多个短曝光对齐图像进行图像平滑处理，得到目标图像；

检测模块906，用于将目标图像输入至异物检测模型中进行异物检测。

由此，本发明中通过采集传送带运输过程中按照预设时间间隔交替拍摄的第一长曝光图像和第一短曝光图像，并将其进行曝光补偿预处理、对齐处理以及图像平滑处理等步骤获得低模糊、低噪声的目标图像，将得到的目标图像输入至异物检测模型中进行异物检测，采用全天候自动化的智能检测，有效的降低了人工劳动的强度，提高了异物检测的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。