显示模组的异物检测方法、装置、设备及存储介质

技术领域

本发明涉及模组检测技术领域，尤其涉及一种显示模组的异物检测方法、装置、设备及存储介质。

背景技术

液晶显示器面板在实际生产过程中，不可避免的会引入纸屑、头发丝、泡沫纸等异物，异物粘附在液晶模组(LCD Module)上，导致后续LCD显示缺陷校正系统将异物判定为显示缺陷进行补偿，会导致校正效果不佳，降低产品的品质。因此液晶显示器的厂家会在显示缺陷校正工序之前，进行异物的检测工序，对于异物较大，或是异物较多的液晶模组予以告警，对于异物数量较少、异物大小较小的液晶模组进行图像插值，用于排除异物对后续工序的干扰。

为了解决上述的问题，目前采用的方法是通过斑点检测这种串行方式来排除异物的影响，其实现方式是提取前景，对前景进行校正、标记等方式来实现。而近年来，随着工业相机像素分辨率越来越高，若继续使用上述的串行的图像处理方法处理，其对异物的检测效率和准确度就显得极低了。

发明内容

本发明的主要目的在于提供了一种显示模组的异物检测方法、装置、设备及存储介质，以解决现有的显示模组异物检测方案对异物的检测效率和精准度低的技术问题。

本发明第一方面提供了一种显示模组的异物检测方法，所述异物检测方法包括：

计算拍摄所述显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对所述图像进行二值化处理，得到二值化图像，其中，所述自适应门限为基于所述图像的灰度平均值设置得到灰度门限值；

利用并查集进行的并行连通域标记算法，根据所述二值化图像中的像素的初始标记值确定各像素的根标记值，基于所述根标记值确定异物位置；

基于所述异物位置，通过哈希表统计所述图像的异物数量与面积，计算所述图像中的异物的实际数量和每个异物的面积，生成所述显示模组中异物的检测结果，并根据所述检测结果和当前的生产需求，通过图像插值的方式对所述图像中的异物进行处理。

可选的，所述计算拍摄所述显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对所述图像进行二值化处理，得到二值化图像，包括：

对拍摄所述显示模组得到的图像进行区域划分，并基于区域划分的结果计算出每块区域的灰度均值；

根据区域的灰度均值设置对应的自适应门限；

计算各区域中的像素的灰度，并将每个像素的灰度与所述像素所在区域的自适应门限进行对比，得到比对结果；

将所述比对结果中像素的灰度小于所述自适应门限的像素做为前景，其余像素做为背景，并将所述前景中的前景像素的初始标记值设置为所述前景像素的索引值，得到二值化图像。

可选的，所述利用并查集进行的并行连通域标记算法，根据所述二值化图像中的像素的初始标记值确定各像素的根标记值，基于所述根标记值确定异物位置，包括：

配置至少两个并行线程，识别所述二值化图像中的每个前景像素是否有其他前景像素连通，并基于识别的结果对所述二值化图像中的标记值进行初始化处理，得到初始化标记图组，其中所述初始化标记图组包括初始化二值化图和至少一个前景像素连通树状图；

对所述初始化二值化图的每个前景像素进行寻根，得到各前景像素的根节点；

将具有相同根节点的所有前景像素的标记值修改为所述根节点的标记值，得到查询二值化图；

以寻根得到的根节点为起始节点，将各所述前景像素连通树状图转换为深度为1的根树状图，并基于所述根树状图设置所述查询二值化图中前景像素的根标记值，得到合并二值化图；

根据所述合并二值化图中各前景像素的根标记值确定异物位置。

可选的，在所述根据所述合并二值化图中各前景像素的根标记值确定异物位置之前，还包括：

对所述合并二值化图进行二次寻根，得到寻根结果；

若所述寻根结果为存在相同根节点，则对所述合并二值化图中的具有相同根节点的前景像素合并，并基于合并后的合并二值化图对各根树状图进行合并；

若所述寻根结果为不存在相同根节点，则根据所述合并二值化图中各前景像素的根标记值确定异物位置。

可选的，所述识别所述二值化图像中的每个前景像素是否有其他前景像素连通，并基于识别的结果对所述二值化图像中的标记值进行初始化处理，得到初始化标记图组，包括：

识别所述二值化图像中的每个前景像素是否有其他前景像素连通；

若有其前景他像素连通，则保持当前前景像素的标记值，并将与当前前景像素连通的前景像素的标记值修改为当前前景像素的标记值，得到初始化二值化图；

基于所述初始化二值化图中各前景像素的标记值，构建出至少一个前景像素连通树状图。

可选的，所述基于所述根树状图设置所述查询二值化图中前景像素的根标记值，得到合并二值化图，包括：

判断各所述根树状图中的起始节点之间是否属于相邻前景像素；

若是，则将所述起始节点的标记值较大的根树状图合并至所述起始节点的标记值较小的根树状图中，并基于合并后的根树状图中各前景像素的标记值设置所述查询二值化图中前景像素的根标记值，得到合并二值化图。

可选的，所述基于所述异物位置，通过哈希表统计所述图像的异物数量与面积，计算所述图像中的异物的实际数量和每个异物的面积，生成所述显示模组中异物的检测结果，并根据所述检测结果和当前的生产需求，通过图像插值的方式对所述图像中的异物进行处理，包括：

根据所述异物位置对应的根标记值，计算与其同一个标记值数量与面积，并构建异物哈希表；

基于像素的异物位置确定连通区域，并统计连通区域的数量，得到异物的实际数量；

计算每个连通区域中像素的个数，并基于所述个数计算出对应的异物的面积；

基于所述实际数量和异物的面积生成所述显示模组中异物的检测结果；基于所述检测结果和当前的生产需求，通过图像插值的方式进行规避，或者进行告警。

本发明第二方面提供了一种显示模组的异物检测装置，所述异物检测装置包括：

二值化处理模块，用于计算拍摄所述显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对所述图像进行二值化处理，得到二值化图像，其中，所述自适应门限为基于所述图像的灰度平均值设置得到灰度门限值；

标记模块，用于利用并查集进行的并行连通域标记算法，根据所述二值化图像中的像素的初始标记值确定各像素的根标记值，基于所述根标记值确定异物位置；

检测模块，用于基于所述异物位置，通过哈希表统计所述图像的异物数量与面积，计算所述图像中的异物的实际数量和每个异物的面积，生成所述显示模组中异物的检测结果，并根据所述检测结果和当前的生产需求，通过图像插值的方式对所述图像中的异物进行处理。

可选的，所述二值化处理模块包括：

划分单元，用于对拍摄所述显示模组得到的图像进行区域划分，并基于区域划分的结果计算出每块区域的灰度均值；

设置单元，用于根据区域的灰度均值设置对应的自适应门限；

对比单元，用于计算各区域中的像素的灰度，并将每个像素的灰度与所述像素所在区域的自适应门限进行对比，得到比对结果；

二值化单元，用于将所述比对结果中像素的灰度小于所述自适应门限的像素做为前景，其余像素做为背景，并将所述前景中的前景像素的初始标记值设置为所述前景像素的索引值，得到二值化图像。

可选的，所述标记模块包括：

初始化单元，用于配置至少两个并行线程，识别所述二值化图像中的每个前景像素是否有其他前景像素连通，并基于识别的结果对所述二值化图像中的标记值进行初始化处理，得到初始化标记图组，其中所述初始化标记图组包括初始化二值化图和至少一个前景像素连通树状图；

第一查询单元，用于对所述初始化二值化图的每个前景像素进行寻根，得到各前景像素的根节点；以及将具有相同根节点的所有前景像素的标记值修改为所述根节点的标记值，得到查询二值化图；

合并单元，用于以寻根得到的根节点为起始节点，将各所述前景像素连通树状图转换为深度为1的根树状图，并基于所述根树状图设置所述查询二值化图中前景像素的根标记值，得到合并二值化图；

标记单元，用于根据所述合并二值化图中各前景像素的根标记值确定异物位置。

可选的，所述标记模块还包括：第二查询单元，其具体用于：

对所述合并二值化图进行二次寻根，得到寻根结果；

若所述寻根结果为存在相同根节点，则对所述合并二值化图中的具有相同根节点的前景像素合并，并基于合并后的合并二值化图对各根树状图进行合并；

若所述寻根结果为不存在相同根节点，则根据所述合并二值化图中各前景像素的根标记值确定异物位置。

可选的，所述初始化单元具体用于：

识别所述二值化图像中的每个前景像素是否有其他前景像素连通；

若有其前景他像素连通，则保持当前前景像素的标记值，并将与当前前景像素连通的前景像素的标记值修改为当前前景像素的标记值，得到初始化二值化图；

基于所述初始化二值化图中各前景像素的标记值，构建出至少一个前景像素连通树状图。

可选的，所述合并单元具体用于：

判断各所述根树状图中的起始节点之间是否属于相邻前景像素；

若是，则将所述起始节点的标记值较大的根树状图合并至所述起始节点的标记值较小的根树状图中，并基于合并后的根树状图中各前景像素的标记值设置所述查询二值化图中前景像素的根标记值，得到合并二值化图。

可选的，所述检测模块包括：

表构建单元，用于根据所述异物位置对应的根标记值，计算与其同一个标记值数量与面积，并构建异物哈希表；

数量计算单元，用于基于像素的异物位置确定连通区域，并统计连通区域的数量，得到异物的实际数量；

面积计算单元，用于计算每个连通区域中像素的个数，并基于所述个数计算出对应的异物的面积；

检测单元，用于基于所述实际数量和异物的面积生成所述显示模组中异物的检测结果；以及基于所述检测结果和当前的生产需求，通过图像插值的方式进行规避，或者进行告警。

本发明第三方面提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面提供的显示模组的异物检测方法中的各个步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的显示模组的异物检测方法中的各个步骤。

有益效果：

本发明的技术方案中，通过将拍摄到的显示模组的图像进行二值化处理后，对每个像素标记上标记值，得到二值化图像，然后基于并查集进行的并行连通域标记算法，识别二值化图像中的每个像素的根标记值，基于根标记值对图像进行异物的识别检测，得到检测结果，并基于该检测结果结合生产需求，对异物进行图像插值规避，或者进行告警。该方法有关于使用了基于并查集进行的并行连通域标记算法，充分利用了GPU的并行计算能力，将异物检测的三个主要流程均采用并行的方法，大大缩短了异物检测子系统的运行时间，可以满足实际生产的需求,适合实时性与稳定性要求较高的工业生产环境。

附图说明

图1为本发明提供的显示模组的异物检测方法的框架图；

图2为本发明提供的显示模组的异物检测方法的第一个实施例示意图；

图3为本发明提供的显示模组的异物检测方法的第二个实施例示意图；

图4为本发明提供的像素查找邻域标记图；

图5为本发明提供的并行连通区域标记流程图；

图6为本发明提供的初始化前二值化图像的示意图；

图7为本发明提供的初始化后的初始化二值化图与像素连通树状图的关系图；

图8为本发明提供的查询二值化图与根树状图的关系图；

图9为本发明提供的合并二值化图与根树状图的关系图；

图10为本发明提供的显示模组的异物检测装置的一个实施例示意图；

图11为本发明提供的显示模组的异物检测装置的另一个实施例示意图；

图12为本发明提供的电子设备的一个实施例示意图。

具体实施方式

本发明针对LCD的异物检测问题，提出一种并行的异物检测方法，首先通过区域灰度差值并行分割出异物；在进行并行连通域标记得到异物位置，最后借助哈希表并行统计异物的个数，大大降低了LCD生产中异物检测与异物统计所需时间。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1和2所示，本发明实施例中显示模组的异物检测方法的第一个实施例，该方法的输入是一幅拍摄LCD均匀显示的图像，输出是该LCD上粘附的异物数量与异物的大小信息，共包括三个主要流程：异物分割、连通区域标记、区域统计，如图1所示。该异物检测方法包括以下步骤：

201、计算拍摄显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对图像进行二值化处理，得到二值化图像；

该步骤所述自适应门限为基于所述图像的灰度平均值设置得到灰度门限值，具体通过将图像中拍摄到的异物从亮度不均匀的液晶模组背景中进行分割。LCD在没有经过亮度校正前，面板本身的亮度为不均匀的，且面板被异物遮挡后，相机拍摄的被异物遮挡的区域灰度相对较低，在异物边界的梯度相对较大，由于未经亮度的LCD本身的亮度是不均匀的，但是LCD局部的亮度变化又相对平缓；依据异物亮度与局部块的灰度差值具有较好的分割效果。

在实际应用中，在对二值化处理后的图像中的每个像素设置标记值时，具体是像素的索引值为基础进行设置，同时还区分前景像素和背景像素，其中前景像素指的是异物，背景像素指的是模组的背景，而后续步骤中处理的像素主要是异物的像素。

在本实施例中，该二值化处理具体是通过调整图像的显示灰度差值，基于调整后的灰度差值将图像中异物前景和模组背景进行区分，然后对调整灰度后的图像按照像素进行分割，得到二值化图像，最后对每个像素从左到右进行排序，得到每个像素的索引值，将索引值做为像素的标记值，得到二值化图像。

具体的，对拍摄所述显示模组得到的图像进行区域划分，并基于区域划分的结果计算出每块区域的灰度均值；根据区域的灰度均值设置对应的自适应门限；计算各区域中的像素的灰度，并将每个像素的灰度与所述像素所在区域的自适应门限进行对比，得到比对结果；将所述比对结果中像素的灰度小于所述自适应门限的像素做为前景，其余像素做为背景，并将所述前景中的前景像素的初始标记值设置为所述前景像素的索引值，得到二值化图像。

在实际应用中，首先拍摄所述显示模组图像，然后对其进行区域划分得出每块区域的灰度均值，并根据区域灰度均值设置自适应门限；

以像素为划分单位，每个像素的灰度与该像素所在区域的门限值对比，灰度小于该门限值的像素做为前景，其余像素做为背景；

提取各所述像素的索引值，并以各所述像素的索引值对对应的像素设置初始标记值，得到二值化图像。

202、利用并查集进行的并行连通域标记算法，根据二值化图像中的像素的初始标记值确定各像素的根标记值，基于根标记值确定异物位置；

该步骤中，利用并行连通域标记算法标记的像素是异物的像素，这里称之为前景像素；并查集这种数据结构的特点是可以快速的进行查询与合并，其集合的根节点的特征是根节点的索引值等于其标记值；通过该算法对二值化图像中的每个像素进行并行查询与合并的处理。

在本实施例中，利用并行连通域标记算法对二值化图像中的像素设置标记值时，具体包括四个接段，分别是初始化、查找、合并和再查找，其实现流程如图5所示。进一步的，在进行初始化之前还包括从二值化图像中识别出异物的像素，即是前景像素。

初始化阶段主要是通过查找每个前景像素进行邻域查找，基于查找到的邻域设置根标记值，具体的以二值化图像中左上角的像素作为首个标记值，也即是以二值化图像中索引值最小的像素作为初始化的首个标记值，并查询该像素(即是前景像素)是否有邻域，这里的邻域指的是与该前景像素连通的其他前景像素；若该前景像素邻域没有其他连通前景像素，则使用该前景像素的索引作为其标记值，背景像素之间标记为-1(C语言的索引值从0开始)；然后根据查询到的邻域对每个像素建立了一个集合,该集合元素有像素本身和其像素索引值最小的像素，具体的在对每个像素查询邻域时，按照图4中的标记图进行查询。

查询阶段主要是在初始化后的二值化图像的基础上对每个像素进行寻根，基于寻根的结果将对应的像素上的标记值修改为寻根得到的根节点的标记值。

合并阶段主要是将查询阶段完成后得到的二值化图像中标记值不同的但其有属于相邻的(即邻域)像素进行寻根，然后将较大的根节点集合并入较小根节点的集合。

再查询阶段主要是对合并阶段完成后得到的二值化图像再次进行寻根，此时相同连通域下的像素都使用同一个根节点的标记信息，标记任务结束。

在实际应用中，该步骤实现还可以为：识别所述二值化图像中各所述像素之间的邻接关系，并基于所述邻接关系构建等价对序列；

对所述等价对序列中的每个等价对进行迭代寻根，得到多个像素树状图；

判断多个所述像素树状图中的根节点是否相邻；

若是，则将对应的像素树状图进行合并，并基于合并后的像素树状图设置所述二值化图像中的各像素的根标记值；

对调整后的二值化图像进行二次寻根，得到寻根结果；

若所述寻根结果为存在相同根节点，则对调整后的树状图进行合并；

若所述寻根结果为不存在相同根节点，则基于所述根标记值确定异物位置。

203、基于异物位置，通过哈希表统计图像的异物数量与面积，计算图像中的异物的实际数量和每个异物的面积，生成显示模组中异物的检测结果，并根据检测结果和当前的生产需求，通过图像插值的方式对图像中的异物进行处理。

具体的，该步骤实际上是对上述标记完成后的异物进行统计，具体包括计算每个异物对应的连通域的面积，以及识别各连通域之间是否还存在连通关系，若存在，则需要对连通域进行合并形成一个完整的异物的连通域，并计算合并后的连通域的总面积；最后计算合并后的连通域的个数，得到异物的实际数量，基于总面积和实际数量生成显示模组的异物检测结果，该异物检测结果具体可以以检测报告的形式输出，实际生产的检测结果用于判断对该有异物图像通过图像插值进行规避，还是进行异物告警。

本发明实施例中，通过利用基于并查集进行的并行连通域标记算法，根据拍摄显示模组得到的二值化图像中的每个像素的标志置设置根标记值，基于根标记值确定异物位置，进而生成显示模组的检测结果，而并行连通域标记算法实现了并行异物分割、并行连通区域标记、并行异物数量与大小统计，大大降低了生产中异物检测所需时间。同时也大大缩短了异物检测子系统的运行时间，可以满足实际生产的需求,适合实时性与稳定性要求较高的工业生产环境。

请参阅图3，本发明实施例中显示模组的异物检测方法的第二个实施例，该实施例以一幅经过分割后4*4的图像为例，通过像素标记值的变化与从树的角度查看该集合组合的变化，该方法包括以下步骤：

301、计算拍摄显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对图像进行二值化处理，得到二值化图像；

该步骤中，生成二值化图像具体可以通过以下方式实现：

对拍摄所述显示模组得到的图像，对其进行区域划分得出每块区域的灰度均值，并根据区域灰度均值设置自适应门限；

以像素为划分单位，对每个像素的灰度与该像素所在区域的门限值对比，灰度小于该门限值的像素做为前景，其余像素做为背景，得到二值化图像；

进一步，生成二值化图像之前，还包括提取所述前景中各前景像素的索引值，并以各前景像素的索引值对对应的前景像素设置初始标记值，最后得到二值化图像。

在实际应用中，二值化处理是对图像中前景与背景的灰度差值进行区分，由于未经亮度校正的模组的亮度是不均匀的，尤其是存在异物时，异物与模组的背景会存在较大的亮度差异，而需要将图像中拍摄到的异物从亮度不均匀的液晶模组背景中分割出来，则依据异物灰度与局部块灰度均值的灰度差值具有较好的分割效果，具体的通过局部块灰度均值的一定比例作为阈值门限，以实现将异物和背景进行分离，然后对调整后的图像进行异物识别处理，优选的可以先对图像进行像素分割，并提取出异物的像素，并对提取到的像素设置标记值。

在设置标记值时，具体是按照像素的排序过程中得到的索引值来设置，如图6所示，这时每个像素的标记值均不相同，其标记值时从左到右索引值依次增大。图中4*4的二值化图中分别标记着1-16的标记值，其中白色背景的圆圈代表前景，即是异物的像素，黑色背景的圆圈代表背景，即是模组背景的像素，每个像素的标记值与其数组索引值是相等。

302、配置至少两个并行线程，识别二值化图像中的每个前景像素是否有其他前景像素连通，并基于识别的结果对二值化图像中的标记值进行初始化处理，得到初始化二值化图和至少一个前景像素连通树状图；

该步骤中，配置至少两个并行线程，具体的线程数量与像素数量相等，每个线程均执行一个像素的识别以及初始化处理，而初始化处理具体可以通过以下方式实现：

识别所述二值化图像中的每个像素是否有其他像素连通；

若有其他像素连通，则保持当前像素的标记值，并将与当前像素连通的像素的标记值修改为当前像素的标记值，得到初始化二值化图；

基于所述初始化二值化图中各像素的标记值，构建出至少一个像素连通树状图。

在识别二值化图像中的每个像素是否有其他像素连通时，具体是通过识别每个像素的相邻像素的灰度值是否相同，若相同，则认为两个像素之间连通，反之者不连通，通过该方式来识别，判断出各像素本身是否与相邻的像素连通，若连通，则确定两个像素为相同异物，基于该像素的标记值设置其他像素的标记值，例如识别像素1是否有其他像素连通，若是，则比较像素1与其他像素的标记值，选择小的一个作为像素1和其他像素的标记值，当然在识别连通时是按照索引值从小到大来识别的，所以在确定存在其他像素连通后，直接将当前像素的索引值作为其他像素的标记值进行修改。

直到二值化图像中的左右像素识别完成后，输出二值化图，得到初始化二值化图，同时基于识别连通的结果中，构建存在连通的像素的集合，并将集合转换为像素连通树状图。

在实际应用中，在对初始化二值化图进行查询过程中，其像素标记值按照图4的搜索规则，取其索引值最小的值作为其标记值，经过查询后，其像素标记值和像素连通树状图的关系如图7中的(a)和(b)所示。

303、对初始化二值化图的每个前景像素进行寻根，得到各前景像素的根节点；

该步骤中，在寻根过程中具体是基于像素之间的连通来寻根，例如像素2与像素5连通，像素5与像素10连通，像素10与像素13连通，并且像素5上的标记值为2，那么像素5的根节点是像素2，同理，像素10和13的根节点均为像素2，从而得到像素5、10、13的根节点。

304、将具有相同根节点的所有前景像素的标记值修改为根节点的标记值，得到查询二值化图；

基于上述步骤寻根得到的根节点与各像素的关系，对存在连通的所有像素的标记值修改为根节点中标记值最小，输出查询二值化图。

305、以寻根得到的根节点为起始节点，将各前景像素连通树状图转换为深度为1的根树状图；

在本实施例中，对步骤302中得到的初始化二值化图和至少一个像素连通树状图进行查询处理，通过该查询处理对初始化二值化图和至少一个像素连通树状图做合并，将具有连通关系的异物的像素采用相同的标记值进行标记，得到查询二值化图。

进一步的，在确定各像素的根节点后，将原像素连通树状图的连接关系进行调整，生成深度为1的根树状图，例如像素5、10、13的根节点均为像素2，则将图7中的2-5-10-13的像素连通树状图修改为2-5、2-10和2-13，具体如图8中的(a)和(b)所示。

306、基于所述根树状图设置查询二值化图中前景像素的根标记值，得到合并二值化图；

该步骤，具体的，判断各所述根树状图中的起始节点之间是否属于相邻像素；

若是，则将所述起始节点的标记值较大的根树状图合并至所述起始节点的标记值较小的根树状图中，并基于合并后的根树状图中各像素的标记值设置所述查询二值化图中像素的根标记值，得到合并二值化图。

在实际应用中，生成合并二值化图，其主要是将初始化是引入的部分被视为根节点的非根节点，主要方法是修改非根节点的标记值，使其标记值为真正的根节点的标记值。如基于图8中的根树状图，即是2-5、2-10和2-13对查询二值化图中的像素的标记值进行修改，由于2-10和2-13的关系，从而将像素10和像素13上的标记值修改为像素2的标记值，从而输出合并二值化图，如图9中的(a)和(b)所示。

307、根据合并二值化图中各前景像素的根标记值确定异物位置；

本实施例中，为了优化异物的标记值的一致性，在确定异物位置之前，还包括：

对所述合并二值化图进行二次寻根，得到寻根结果；

若所述寻根结果为存在相同根节点，则对所述合并二值化图中的具有相同根节点的前景像素合并，并基于合并后的合并二值化图对各根树状图进行合并；

若所述寻根结果为不存在相同根节点，则根据所述合并二值化图中各前景像素的根标记值确定异物位置。

308、基于异物位置，通过哈希表统计图像的异物数量与面积，计算图像中的异物的实际数量和每个异物的面积，生成显示模组中异物的检测结果；

309、根据检测结果和当前的生产需求，通过图像插值的方式对图像中的异物进行处理。

该步骤中，具体是通过基于像素的异物位置确定连通区域，并统计连通区域的数量，得到异物的实际数量；

计算每个连通区域中像素的个数，并基于所述个数计算出对应的异物的面积；

基于所述实际数量和异物的面积生成所述显示模组中异物的检测结果；

基于所述检测结果和当前的生产需求，通过图像插值的方式进行规避，或者进行告警。

在实际应用中，生成检测结果主要是将已经区分后的异物前景(也就是给出不同标记值的连通区域)，并行进行统计其大小与个数。

经过连通区域标记之后，属于同一连通区域已经被打上相同的标签，且均为该连通区域的最小的像素索引值，异物数量对于整块LCD屏幕而言，是相对较少的(一般不会超过50个异物)，且如果数量过多直接发出警告即可，无需进一步检测。本发明采用哈希表这种数据结构对异物数量与大小进行存储，键值是连通区域的标记值，对应存储的值是该标记值对应的像素个数大小，在工业检测的环境下，相机位置与受检液晶模组的位置是相对固定的，所以每个像素对应的实际面积是固定的，因此可以由此计算出异物实际面积。

由于哈希表是一种非线程安全的数据结构，也就是说，当出现哈希冲突时，就会出现线程冲突的情况；例如，当两个不同标记值，同时被映射到同一个地址并占用该地址，此时就出现哈希冲突中的线程冲突。解决该问题需要无冲突的访问，并占用空的该地址；比如英伟达公司的统一计算架构(CUDA)提供的原子操作就能很好解决该问题。

通过上述方法的实施，通过将拍摄到的显示模组的图像进行二值化处理后，对每个像素标记上标记值，得到二值化图像，然后基于并查集进行的并行连通域标记算法，识别二值化图像中的每个像素的根标记值，基于根标记值对图像进行异物的识别检测，得到检测结果，该并行连通域标记算法实现了并行异物分割、并行连通区域标记、并行异物数量与大小统计，大大降低了生产中异物检测所需时间。

上面对本发明实施例中显示模组的异物检测方法进行了描述，下面对本发明实施例中显示模组的异物检测装置进行描述，请参阅图10，本发明实施例中显示模组的异物检测装置一个实施例包括：

二值化处理模块410，用于计算拍摄所述显示模组得到的图像上各像素的灰度，并基于各像素的灰度与预设的自适应门限对所述图像进行二值化处理，得到二值化图像，其中，所述自适应门限为基于所述图像的灰度平均值设置得到灰度门限值；

标记模块420，用于利用并查集进行的并行连通域标记算法，根据所述二值化图像中的像素的初始标记值确定各像素的根标记值，基于所述根标记值确定异物位置；

检测模块430，用于基于所述异物位置，通过哈希表统计所述图像的异物数量与面积，计算所述图像中的异物的实际数量和每个异物的面积，生成所述显示模组中异物的检测结果，并根据所述检测结果和当前的生产需求，通过图像插值的方式对所述图像中的异物进行处理。

本实施例提供的装置，通过利用基于并查集进行的并行连通域标记算法，根据拍摄显示模组得到的二值化图像中的每个像素的标志置设置根标记值，基于根标记值确定异物位置，生成显示模组的检测结果，而并行连通域标记算法实现了并行异物分割、并行连通区域标记、并行异物数量与大小统计，大大降低了生产中异物检测所需时间。

进一步地，请参阅图11，图11为显示模组的异物检测装置各个模块的细化示意图.

在本实施例另一实施例中，所述二值化处理模块410包括：

划分单元411，用于对拍摄所述显示模组得到的图像进行区域划分，并基于区域划分的结果计算出每块区域的灰度均值；

设置单元412，用于根据区域的灰度均值设置对应的自适应门限；

对比单元413，用于计算各区域中的像素的灰度，并将每个像素的灰度与所述像素所在区域的自适应门限进行对比，得到比对结果；

二值化单元414，用于将所述比对结果中像素的灰度小于所述自适应门限的像素做为前景，其余像素做为背景，并将所述前景中的前景像素的初始标记值设置为所述前景像素的索引值，得到二值化图像。

在本实施例另一实施例中，所述标记模块420包括：

初始化单元421，用于配置至少两个并行线程，识别所述二值化图像中的每个前景像素是否有其他前景像素连通，并基于识别的结果对所述二值化图像中的标记值进行初始化处理，得到初始化标记图组，其中所述初始化标记图组包括初始化二值化图和至少一个前景像素连通树状图；

第一查询单元422，用于对所述初始化二值化图的每个前景像素进行寻根，得到各前景像素的根节点；以及将具有相同根节点的所有前景像素的标记值修改为所述根节点的标记值，得到查询二值化图；

合并单元423，用于以寻根得到的根节点为起始节点，将各所述前景像素连通树状图转换为深度为1的根树状图，并基于所述根树状图设置所述查询二值化图中前景像素的根标记值，得到合并二值化图；

标记单元424，用于根据所述合并二值化图中各前景像素的根标记值确定异物位置。

在本实施例另一实施例中，所述标记模块420还包括：第二查询单元425，其具体用于：

对所述合并二值化图进行二次寻根，得到寻根结果；

若所述寻根结果为存在相同根节点，则对所述合并二值化图中的具有相同根节点的前景像素合并，并基于合并后的合并二值化图对各根树状图进行合并；

若所述寻根结果为不存在相同根节点，则根据所述合并二值化图中各前景像素的根标记值确定异物位置。

在本实施例另一实施例中，所述初始化单元421具体用于：

识别所述二值化图像中的每个前景像素是否有其他前景像素连通；

若有其前景他像素连通，则保持当前前景像素的标记值，并将与当前前景像素连通的前景像素的标记值修改为当前前景像素的标记值，得到初始化二值化图；

基于所述初始化二值化图中各前景像素的标记值，构建出至少一个前景像素连通树状图。

在本实施例另一实施例中，所述合并单元423具体用于：

判断各所述根树状图中的起始节点之间是否属于相邻前景像素；

若是，则将所述起始节点的标记值较大的根树状图合并至所述起始节点的标记值较小的根树状图中，并基于合并后的根树状图中各前景像素的标记值设置所述查询二值化图中前景像素的根标记值，得到合并二值化图。

在本实施例另一实施例中，所述检测模块430包括：

表构建单元431，用于根据所述异物位置对应的根标记值，计算与其同一个标记值数量与面积，并构建异物哈希表；

数量计算单元432，用于基于像素的异物位置确定连通区域，并统计连通区域的数量，得到异物的实际数量；

面积计算单元433，用于计算每个连通区域中像素的个数，并基于所述个数计算出对应的异物的面积；

检测单元434，用于基于所述实际数量和异物的面积生成所述显示模组中异物的检测结果；以及基于所述检测结果和当前的生产需求，通过图像插值的方式进行规避，或者进行告警。

通过上述装置的实施，通过将拍摄到的显示模组的图像进行二值化处理后，对每个像素标记上标记值，得到二值化图像，然后基于并查集进行的并行连通域标记算法，识别二值化图像中的每个像素的根标记值，基于根标记值对图像进行异物的识别检测，得到检测结果。

上面图10和图11从模块化功能实体的角度对本发明实施例中的显示模组的异物检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。

图12是本发明实施例提供了一种电子设备的结构示意图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在电子设备800上执行存储介质830中的一系列指令操作。在实际应用中，该应用程序833可以被分割成二值化处理模块410、标记模块420和检测模块430(虚拟装置中的模块)的功能。

电子设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如：WindowsServe，MacOSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的电子设备结构还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的显示模组的异物检测方法中的各个步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令或计算机程序，当所述指令或计算机程序被运行时，使得计算机执行上述实施例提供的显示模组的异物检测方法的各个步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。