基于多模态成像分析的煤矸石分选系统

技术领域

本发明涉及煤矸石分选技术领域，尤其涉及一种基于多模态成像分析的煤矸石分选系统。

背景技术

随着社会经济的发展，洁净煤技术越来受到大家的关注，因此，解决煤矸分选难题就显得至关重要。目前，煤矸分选主要依靠重介选煤和人工选矸两种技术，但在实际生产中，重介选煤存在占地面积大、水资源浪费多等问题，人工选矸存在劳动强度大、工作环境差、易发生事故等问题。因此，迫切需要实现煤矸石智能分选来代替传统分选方法。

现有技术下，煤矸分选大多采用单一的探测方法，主要分为射线探测、电磁探测、振动探测和光学探测等。这些单一的探测方法都有着明显的缺点，其中，X射线探测方法面临煤和矸石的质量、厚度对分选阈值的设定产生一定影响的问题；电磁和振动等探测方法难以适应我国复杂地质的特点；光学探测方法面临煤矸表面多包裹不同厚度的灰分和煤尘影响识别精度的问题。

因此，目前的单一的探测方法很难实现高精度的煤矸分选。

发明内容

本发明提供一种基于多模态成像分析的煤矸石分选系统，用以解决现有技术中单一的探测方法，实现高精度的煤矸分选。

本发明提供一种基于多模态成像分析的煤矸石分选系统，包括：煤矸石初筛模块、煤矸石复选模块和运动规划模块；其中，所述煤矸石初筛模块用于对待检测原煤进行煤矸石的初步筛选，得到第一定位信息和目标信息，将所述第一定位信息发送至所述运动规划模块，将所述目标信息发送至所述煤矸石复选模块；其中，所述第一定位信息为所述煤矸石初筛模块确定的矸石和杂质定位信息，所述目标信息为所述煤矸石初筛模块确定的偏离设定阈值的目标的定位信息；所述煤矸石复选模块用于根据所述目标信息获取多模态图像，将所述多模态图像输入至多模态煤矸石检测模型以进行煤矸石的复选，得到第二定位信息，将所述第二定位信息发送至所述运动规划模块；其中，所述第二定位信息为所述煤矸石复选模块确定的矸石和杂质定位信息；所述运动规划模块用于根据所述第一定位信息和所述第二定位信息进行多机械臂协同运动规划，以控制多机械臂通过协同运动分拣出矸石和杂质。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述煤矸石初筛模块包括X射线成像模块和X射线图像分析模块；其中，所述X射线成像模块用于向所述待检测原煤发射X射线并生成所述待检测原煤的X射线图像；所述X射线图像分析模块用于基于预先确定的煤-矸-杂质判别阈值对所述待检测原煤的X射线图像进行煤-矸-杂质判别，得到所述第一定位信息和所述目标信息。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述X射线成像模块与所述待检测原煤的相对位置，以及所述X射线成像模块的X射线发射强度均根据所述待检测原煤的特征参数调整。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述煤矸石复选模块包括多模态成像模块和多模态图像分析模块；其中，所述多模态成像模块包括可见光成像模块、红外成像模块和深度成像模块中的至少两种，用于根据所述目标信息生成所述偏离设定阈值的目标对应的多模态图像；所述多模态图像分析模块用于将所述多模态图像输入至多模态煤矸石检测模型，得到多模态检测结果，对所述多模态检测结果进行融合，得到第二定位信息。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述多模态煤矸石检测模型是根据多模态图像样本以及所述多模态图像样本对应的实际检测结果进行训练得到的。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述系统还包括传输系统，用于通过皮带传输所述待检测原煤；所述多模态成像模块包含的成像模块的数量和角度根据所述皮带的宽度、皮带的传输速度和待检测原煤的特征参数确定。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，在所述多模态成像模块包括红外成像模块的情况下，所述系统还包括布置于所述皮带两侧的加热模块，用于对所述目标信息对应的原煤进行加热。

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述根据所述第一定位信息和所述第二定位信息进行多机械臂协同运动规划，以控制多机械臂通过协同运动分拣出矸石和杂质，包括：

根据本发明提供的一种基于多模态成像分析的煤矸石分选系统，所述第一定位信息和所述第二定位信息，构建多机械臂协同运动规划优化模型；利用深度强化学习算法对所述多机械臂协同运动规划优化模型进行求解，得到多机械臂协同运动规划结果；根据所述多机械臂协同运动规划结果向多机械臂中的各个机械臂发送控制指令，所述控制指令用于指示各个机械臂对矸石和杂质进行分拣的动作。

本发明提供的基于多模态成像分析的煤矸石分选系统，通过设置煤矸石初筛模块、煤矸石复选模块和运动规划模块，对原煤进行了两次筛选，能够在线精准分选出煤矸石，提高了煤矸石分选精度，同时能够及时的控制多机械臂分拣出矸石和杂质，并且可根据不同的工况进行成像设备的合理布局，更好的实现智能检测设备替代人工选矸。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于多模态成像分析的煤矸石分选系统的结构示意图之一；

图2是本发明提供的基于多模态成像分析的煤矸石分选系统的结构示意图之二；

附图标记：

101:煤矸石初筛模块；102：煤矸石复选模块；103：运动规划模块；

1：X射线成像模块；2：X射线图像分析模块；3：可见光模块；

4:红外成像模块；5：深度成像模块；6：多模态图像分析模块；

7：运动规划模块；8：多机械臂。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，说明书中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

下面结合图1-图2描述本发明的基于多模态成像分析的煤矸石分选系统。

图1是本发明提供的基于多模态成像分析的煤矸石分选系统的结构示意图之一，如图1所示，包括：煤矸石初筛模块101、煤矸石复选模块102和运动规划模块103；其中，

所述煤矸石初筛模块101用于对待检测原煤进行煤矸石的初步筛选，得到第一定位信息和目标信息，将所述第一定位信息发送至所述运动规划模块103，将所述目标信息发送至所述煤矸石复选模块102；其中，所述第一定位信息为所述煤矸石初筛模块101确定的矸石和杂质定位信息，所述目标信息为所述煤矸石初筛模块101确定的偏离设定阈值的目标的定位信息；

所述煤矸石复选模块102用于根据所述目标信息获取多模态图像，将所述多模态图像输入至多模态煤矸石检测模型以进行煤矸石的复选，得到第二定位信息，将所述第二定位信息发送至所述运动规划模块103；其中，所述第二定位信息为所述煤矸石复选模块102确定的矸石和杂质定位信息；

所述运动规划模块103用于根据所述第一定位信息和所述第二定位信息进行多机械臂协同运动规划，以控制多机械臂通过协同运动分拣出矸石和杂质。

需要说明的是，设定阈值是事先预设的用于判别煤-矸-杂质的三个最优阈值，当检测目标经过煤矸石初筛模块后，得到的检测值不处于这三个阈值范围内时即表示检测目标偏离设定阈值，煤矸石初筛模块检测失败，需要利用煤矸石复选模块对目标进行再次筛选。该设定阈值可以根据需要自定义。

需要说明的是，多模态图像是指针对同一个目标，利用不同成像原理的设备采集的图像。

可以理解，多模态图像包括利用至少两种不同成像原理的设备采集的图像。

例如，多模态图像包括可见光图像、红外图像、深度图像中的至少两种图像。

可以理解，多机械臂至少包括两个机械臂，在分拣矸石和杂质时需要对其进行协同运动规划，避免分拣时机械臂之间发生碰撞。

具体地，整个煤矸石分选系统由三大部分组成：一是煤矸石初筛模块101，二是煤矸石复选模块102，三是运动规划模块103。首先利用煤矸石初筛模块101对待检测的原煤进行初步筛选，筛选出一批煤-矸石-杂质，将其中矸石和杂质的定位信息发送至运动规划模块103，使得运动规划模块103控制多机械臂通过协同运动分拣出矸石和杂质，同时将初步筛选时偏离设定阈值的原煤的定位信息发送至煤矸石复选模块，使得煤矸石复选模块102对这些偏离设定阈值的原煤进行再次筛选；接着利用煤矸石复选模块102对经过初步筛选但是未被检测成功的原煤进行再次筛选，筛选出又一批煤-矸石-杂质，将其中的矸石和杂质的定位信息发送至运动规划模块103使得运动规划模块103控制多机械臂通过协同运动分拣出矸石和杂质；运动规划模块103主要用于接收来自煤矸石初筛模块和煤矸石复选模块筛选出的矸石和杂质的定位信息，及时对矸石和杂质进行分拣。

在上述实施例中，通过设置煤矸石初筛模块101、煤矸石复选模块102和运动规划模块103，对原煤进行了两次筛选，能够在线精准分选出煤矸石，提高了煤矸石分选精度，同时能够及时的控制多机械臂分拣出矸石和杂质，并且可根据不同的工况进行成像设备的合理布局，更好的实现智能检测设备替代人工选矸。

可选地，所述煤矸石初筛模块101包括X射线成像模块和X射线图像分析模块；其中，

所述X射线成像模块用于向所述待检测原煤发射X射线并生成所述待检测原煤的X射线图像；

所述X射线图像分析模块用于基于预先确定的煤-矸-杂质判别阈值对所述待检测原煤的X射线图像进行煤-矸-杂质判别，得到所述第一定位信息和所述目标信息。

需要说明的是，X射线探测是根据煤或矸石对射线不同的吸收状况来实现辨别，有较强的抗干扰能力。

需要说明的是，在使用煤矸石初筛模块101筛选煤矸石之前，需要采集大量的煤-矸-杂质数据建立X射线数据库，并确定判别煤、矸石、杂质的三个最优阈值。

可以理解，当X射线图像分析模块得到的检测值处于煤、矸、杂质任意一个阈值范围内时即判定该待检测原煤的类别为阈值所对应的类别；当检测值不处于这三个阈值范围内时，说明该检测值对应偏离设定阈值的目标。

具体地，当待检测原煤经过煤矸石初筛模块101时，首先X射线成像模块向待检测原煤发送X射线生成待检测原煤的X射线图像，然后X射线图像分析模块对于已生成的待检测原煤的X射线图像进行图像数据处理，判别出矸石、煤和偏离设定阈值的目标，接着将判别出的矸石和杂质的定位信息发送到运动规划模块103，分拣出矸石和杂质，将判别出的偏离设定阈值的目标的定位信息发送到煤矸石复选模块102进行再次筛选。

在上述实施例中，利用X射线成像模块和X射线图像分析模块对检测原煤进行初步筛选，能够在很大程度上判别出煤-矸石-杂质，后续只要对煤矸石初筛模块101检测失败的原煤再次筛选即可，同时能够及时的生成矸石和杂质的定位信息，并将定位信息发送给运动规划模块103，以便快速分拣出矸石和杂质。

可选地，所述X射线成像模块与所述待检测原煤的相对位置，以及所述X射线成像模块的X射线发射强度均根据所述待检测原煤的特征参数调整。

可以理解的是，X射线探测时煤和矸石的质量、厚度、体积、材质对于图像的采集有一定的影响，因此需要根据待检测原煤的特征参数调整对射线成像模块的位置和X射线发射强度。

本实施例中，特征参数包括但不限于体积参数、材质参数、质量参数和厚度参数。

在上述实施例中，通过根据待检测原煤的特征参数调整X射线成像模块的位置和X射线强度，进一步提高了煤矸石初筛模块的筛选的精度，使得在煤矸石初筛模块就能大程度地判别煤-矸石-杂质。

可选地，所述煤矸石复选模块102包括多模态成像模块和多模态图像分析模块；其中,

所述多模态成像模块包括可见光成像模块、红外成像模块和深度成像模块中的至少两种，用于根据所述目标信息生成所述偏离设定阈值的目标对应的多模态图像；

所述多模态图像分析模块用于将所述多模态图像输入至多模态煤矸石检测模型，得到多模态检测结果，对所述多模态检测结果进行融合，得到第二定位信息。

在一个实施例中，可以利用权重矩阵对多模态处理信息进行融合。

具体地，在煤矸石复选模块102中，首先利用多模态成像模块对经过煤矸石初筛模块101后得到的偏离设定阈值的目标生成多模态图像，接着将已生成的多模态图像输入至多模态图像分析模块的多模态煤矸石检测模型，得到多模态检测结果，并对所述多模态检测结果进行融合后，能够精确判别出煤-矸-杂质，然后将判别出的矸石和杂质的定位信息发送到运动规划模块103，分拣出矸石和杂质。

在上述实施例中，多模态成像模块和多模态图像分析模块相互配合，能够对于煤矸石初筛模块检测失败的原煤进行再次筛选，提高了煤矸石的分选精度，同时能够及时的生成矸石和杂质的定位信息，并将定位信息发送给运动规划模块，以便快速分拣出由煤矸石复选模块判别出的矸石和杂质。

可选地，所述多模态煤矸石检测模型是根据多模态图像样本以及所述多模态图像样本对应的实际检测结果进行训练得到的。

其中，实际检测结果是指多模态图像样本中的矸石和杂质的实际定位信息。

在一个实施例中，多模态煤矸石检测模型可以使用ShuffleNet和SGAN融合网络。

在另一个实施例中，多模态煤矸石检测模型可以使用Knowledge Distillation和ShuffleNet融合网络。

多模态煤矸石检测模型可以对多模态图像进行检测分类，输出多模态信息，通过对多模态信息进行融合，获得煤矸石复选结果。

本发明实施例不对多模态煤矸石检测模型的结构以及训练方法进行具体限制。

在上述实施例中，通过利用多模态煤矸石检测模型，对多模态图像进行检测分类，能够快速、高效地判别出煤-矸-杂质，提高煤矸石分选系统的筛选速度。

可选地，所述系统还包括传输系统，用于通过皮带传输所述待检测原煤；

所述多模态成像模块包含的成像模块的数量和角度根据所述皮带的宽度、皮带的传输速度和待检测原煤的特征参数确定。

可以理解的是，待检测原煤的质量、厚度、体积、材质等参数，以及皮带传输的速度和宽度对于多模态图像的采集都有一定的影响，进而影响筛选结果的准确度。

在上述实施例中，依据皮带宽度、皮带传输速度、煤矸石质量等参数对成像模块进行合理布局调整，提高了筛选结果的准确度，更好的实现智能检测设备替代人工选矸。

可选地，在所述多模态成像模块包括红外成像模块的情况下，所述系统还包括布置于所述皮带两侧的加热模块，用于对所述目标信息对应的原煤进行加热。

需要理解的是，当使用红外成像模块，例如红外相机，采集图像时，需要使用相应的加热装置对待检测原煤进行快速升温。

在一个实施例中，加热方式可以是辐射加热。

可选地，所述根据所述第一定位信息和所述第二定位信息进行多机械臂协同运动规划，以控制多机械臂通过协同运动分拣出矸石和杂质，包括：

根据所述第一定位信息和所述第二定位信息，构建多机械臂协同运动规划优化模型；

利用深度强化学习算法对所述多机械臂协同运动规划优化模型进行求解，得到多机械臂协同运动规划结果；

根据所述多机械臂协同运动规划结果向多机械臂中的各个机械臂发送控制指令，所述控制指令用于指示各个机械臂对矸石和杂质进行分拣的动作。

在上述实施例中，运动规划模块通过接收煤矸石初筛模块和煤矸石复选模块的定位信息，建立机械臂动态目标抓取问题的最优数学模型，并引入深度强化学习算法，可以提高多机械臂对于多变环境的应变性、自主路径规划与智能决策的快速性及多机械臂协同任务的高效性。

图2是本发明提供的基于多模态成像分析的煤矸石分选系统的结构示意图之二，如图2所示，包括：

X射线成像模块1、X射线图像分析模块2、可见光模块3、红外成像模块4、深度成像模块5、多模态图像分析模块6、运动规划模块7、多机械臂8；

具体地，首先利用X射线成像模块1对待检测原煤发射射线并生成X射线图像，接着利用X射线图像分析模块2对已生成的X射线图像进行图像数据处理，判别出待检测原煤是煤、矸石、杂质还是偏离设定阈值的目标，并将矸石和杂质的定位信息作为第一定位信息发送至运动规划模块7，将偏离设定阈值的目标信息发送至煤矸石复选模块；接着煤矸石复选模块中的可见光模块3、红外成像模块4和深度成像模块5对偏离设定阈值的目标采集图像，并分别将采集后的图像发送至多模态图像分析模块6，多模态图像分析模块6将多模态图像输入至多模态煤矸石检测模型，得到多模态检测结果，对所述多模态检测结果进行融合，进一步判别出煤、矸石和杂质，并将矸石和杂质的定位信息作为第二定位信息发送至运动规划模块7；然后运动规划模块7根据所述第一定位信息和所述第二定位信息向多机械臂8中的各个机械臂发送控制指令，进而分拣与定位信息相应的矸石和杂质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。