一种基于无监督学习的缺陷检测系统和方法

技术领域

本发明涉及缺陷检测领域，具体地，涉及一种基于无监督学习的缺陷检测系统和方法。

背景技术

根据类别未知，即没有被标记的训练样本解决模式识别中的各种问题，称之为无监督学习。

开片是瓷器釉面的一种自然开裂现象，形成原因有二种：一是成型时坯泥沿一定方向延伸，影响了分子的排列，二是坯、釉膨胀系数不同，焙烧后冷却时釉层收缩率大。原是瓷器烧制中的缺点，但人们有意利用开裂的规律制造开片釉，作为瓷器的一种特殊装饰。开片纹的种类有冰裂纹、蟹爪纹、牛毛纹、流水纹、百圾碎和鱼子纹等。

瓷器的开片形成有两种。一种是人为造出的开片，这类瓷器多属于浆胎，在制作坯胎前人为的加入化学药剂，致使瓷器形成开片，这种人为的瓷器开片形如龟裂一般深至胎骨，也就是说这种开片在坯胎的里面形成。而自然的瓷器开片，是由于器物在时间长久后，在瓷器的釉层表面渐渐的开裂，开片状如鱼子纹、牛毛纹等状。自然的开片纹痕不会深入到胎骨，仅在釉的表面形成开裂。

但瓷器在制作和运输过程中会出现裂痕和划痕等暗伤，而本身带有开片纹的瓷器因开片纹和裂痕、划痕相似，难以分辨，通常检测手段为人工视觉检测或手指触摸检测，其效率低且容易漏测误测。

发明内容

为了解决因开片纹和裂痕、划痕相似导致检测效率低且易漏测误测的问题，本发明提供了一种基于无监督学习的缺陷检测系统，所述系统包括：

采集单元：用于获取待检测图像、音频数据和图像数据；

提取单元：用于获取正样本，所述正样本包括若干无缺陷产品图像，将所述正样本进行特征提取获得若干正高维特征向量；

特征单元：用于将所有所述正高维特征向量进行编码获得若干正低维离散码，将所有所述正低维离散码进行存储获得特征数据库，将所述特征数据库中的所有所述正低维离散码进行聚类获得若干中心点，将每个所述正低维离散码映射到距离最近的所述中心点获得映射结果，基于所有所述映射结果获得正特征矩阵，基于所有所述正低维离散码获得所述正样本的协方差矩阵的逆矩阵和所述协方差矩阵的均值；

第一检测单元：用于基于所述正特征矩阵、所述逆矩阵和所述均值计算所述待检测图像与所有所述无缺陷产品图像在每个像素位置的马氏距离获得异常得分位图，基于所述异常得分位图判断所述待检测图像是否存在第一缺陷；

第二检测单元：用于获取所述待检测图像中的器足区域，获取所述器足区域的第一封闭区域，判断所述第一封闭区域内是否存在线条，若是则判断所述待检测图像存在第二缺陷；

第三检测单元：用于基于所述图像数据和所述音频数据判断待检测产品是否存在第三缺陷；

总检测单元：基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断所述待检测产品是否存在缺陷。

本系统原理：通过采集单元获取待检测图像、音频数据和图像数据；传统的缺陷检测方法基于图像分类算法，这种方法对负样本的样本数量有极高的要求，不适用于高良率场景，故本系统采用无监督学习的方式，只需获取正样本，提取单元获取正样本，将正样本进行特征提取获得正高维特征向量；考虑像素位置在图像检测中的重要性，先获取图像的排列顺序，特征单元将正高维特征向量先进行编码获得正低维离散码，考虑聚类后，可以更加准确的在每个类中单独进行估计、分析或预测；也可以探究不同类之间的相关性和主要差异，以及马氏距离可以解决不同维度之间的方差与相关性，而计算马氏距离需要正样本的协方差矩阵的逆矩阵和协方差矩阵的均值，则将正低维离散码进行聚类获得特征数据库和正特征矩阵，以及基于正低维离散码获得正样本的协方差矩阵的逆矩阵和所述协方差矩阵的均值；第一检测单元基于正特征矩阵、逆矩阵和均值计算待检测图像与正样本在每个像素位置的马氏距离获得异常得分位图，基于异常得分位图判断待检测图像是否存在第一缺陷；第二检测单元获取待检测图像中的器足区域，获取所述器足区域的第一封闭区域，判断所述第一封闭区域内是否存在线条，若存在则判断待检测图像存在第二缺陷；第三检测单元基于图像数据和音频数据判断待检测图像是否存在第三缺陷；总检测单元基于第一缺陷、第二缺陷和第三缺陷判断待检测产品是否存在缺陷。马氏距离可以量化特征间的相关性，可以更有效的检测偏离特定形状的数据，则第一检测单元通过异常得分位图可以判断待检测产品是否存在黑点、缺口、凹凸点和色彩错误等缺陷，第二检测单元考虑裂痕会从上至下贯穿待检测产品，显现在器足区域，第一封闭区域是指器足区域的边线所围成的区域，则可以通过第一封闭区域内是否有线条，判断待检测产品是否存在裂痕等缺陷，考虑开片纹为坯胎和釉面里层开裂，其待检测产品的表面是光滑的，检测端划过时不会有卡滞现象，也不会发出声响，而裂痕或划痕在表面会形成一定程度的凹凸，检测端划过时会有明显的卡滞现象，也因不平整也会发出异常声响，则第三检测单元基于图像数据和音频数据判断待检测产品是否存在裂痕和划痕等缺陷，再基于上述判断结果综合判断待检测产品是否存在缺陷，检测准确率提高，不需人工检测，效率快，降低漏测误测率。

考虑若待检测产品存在裂痕和划痕等缺陷，则第二检测单元和第三检测单元均应检测出该缺陷，可以提高检测的准确性。

进一步地，基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断待检测产品是否存在缺陷的具体步骤包括：若所述待检测图像存在所述第一缺陷，则判断所述待检测产品存在缺陷；若所述待检测图像不存在所述第一缺陷，且存在所述第二缺陷和所述第三缺陷，则判断所述待检测产品存在缺陷。

考虑器足区域通常为瓷器的底部，且尺寸、形状与非器足区域有明显变化，则可以从图像自下往上获取第一块尺寸与形状发生变化的区域，第二封闭区域是指封闭图形的边线所围成的区域，开片纹形成的均为不规则的封闭的图形，则当封闭图形的第二封闭区域中出现线条，可以据此判断该线条为裂痕或划痕。

进一步地，若所述第一封闭区域内不存在线条，所述第二检测单元还用于：基于所述待检测图像获得第一线条图，基于所述第一线条图获得若干封闭图形，获取每个所述封闭图形的第二封闭区域，判断每个所述第二封闭区域内是否包含线条，若是则判断所述待检测图像存在所述第二缺陷。

考虑裂痕通常为坯胎破裂，裂痕处会漏出原始色，从而形成一定的色差，通过计算色差值，可以据此判断是否为裂痕或划痕。

进一步地，若所有所述第二封闭区域内不包含线条，所述第二检测单元还用于：获取每个所述封闭图形的若干边线，获取每个所述封闭图形中与所述封闭图形对应的所有所述边线的距离在第一预设范围内的检测区域和非检测区域，计算每个所述检测区域和与所述检测区域对应的所述非检测区域的色差值，若所述色差值大于或等于预设色差值，则判断所述待检测图像存在所述第二缺陷。

考虑有的裂痕或划痕尾部呈扫帚状，则会有多条连接线，而开片纹因形成不规则的封闭的图形，每个连接点的连接数在一定范围内，则可以通过连接数的范围判断是否为裂痕或划痕。

进一步地，若所述色差值小于所述预设色差值，所述第二检测单元还用于：基于所述第一线条图获得若干连接点，获取与每个所述连接点相连的线条的连接数，若所述连接数大于或等于预设连接数，则判断所述待检测图像存在所述第二缺陷。

考虑有的裂痕弯弯曲曲，其首尾由细到粗再到细，而开片纹的线条粗细较为均匀，则可以通过线条粗细的变化判断是否为裂痕或划痕。

进一步地，若所述连接数小于所述预设连接数，所述第二检测单元还用于：基于所述第一线条图获得若干第一连接线，获取每条所述第一连接线的宽度，基于所有所述宽度获得若干众数，基于所有所述众数和所有所述宽度获取异常宽度线，获取第二预设范围内与所述异常宽度线相连的所有第二连接线，基于所有所述第二连接线和所述异常宽度线获得若干异常连接线，获取每条所述异常连接线的宽度连续变化数据，所述宽度连续变化数据包括n个元素，D

考虑若待检测产品存在裂痕或划痕，则当检测端等物品在上面划动时，会有一定的卡滞，以及发出响动，则可以据此判断是否存在裂痕或划痕。

进一步地，所述采集单元获取所述音频数据和所述图像数据的具体步骤为：将所述待检测产品放置于自动旋转组件上，将所述待检测产品的表面与第一检测装置的检测组件相接触，所述自动旋转组件开启转动，录制所述检测组件在所述待检测产品的表面匀速划动的画面和声音分别获得所述图像数据和所述音频数据。

进一步地，基于所述图像数据和所述音频数据判断所述待检测图像是否存在第三缺陷的具体步骤为：基于所述图像数据判断所述检测组件是否存在卡滞现象，基于所述音频数据获得音色变化数据，基于所述音色变化数据判断所述待检测产品是否存在异常声响，基于所述卡滞现象和所述异常声响判断所述待检测产品是否存在所述第三缺陷。

考虑在一定角度和强光下，裂痕或划痕的底部有亮光或反亮光现象，则可以据此判断是否存在裂痕或划痕。

进一步地，所述第三检测单元还用于：将所述待检测产品置于照明组件下，所述照明组件调整移动光线，获取所述待检测产品在光线下的照明数据，基于所述照明数据判断所述待检测产品是否存在所述第三缺陷。

进一步地，基于所述照明数据判断所述待检测产品是否存在所述第三缺陷的具体步骤为：基于所述照明数据获得照明图像，获取所述照明图像每个像素的亮度，基于所有所述亮度判断所述待检测产品是否存在亮光现象和或反亮光现象，若是则判断所述待检测产品存在所述第三缺陷。

考虑检测过程中，存在漏判错判图像，则将其对应的低维离散码自动加入特征数据库，重新构建优化正特征矩阵，减少漏判错判的情况，提高准确率。

进一步地，所述系统还包括迭代单元：用于获取错判图像，基于所述错判图像获得与所述错判图像对应的若干错判低维离散码，将所有所述错判低维离散码添加至所述特征数据库。

本发明还提供一种基于无监督学习的缺陷检测方法，所述方法包括：

获取待检测图像、音频数据和图像数据；获取正样本，所述正样本包括若干无缺陷产品图像；

将所述正样本进行特征提取获得若干正高维特征向量；将所有所述正高维特征向量进行编码获得若干正低维离散码，将所有所述正低维离散码进行存储获得特征数据库，将所述特征数据库中的所有所述正低维离散码进行聚类获得若干中心点，将每个所述正低维离散码映射到距离最近的所述中心点获得映射结果，基于所有所述映射结果获得正特征矩阵，基于所有所述正低维离散码获得所述正样本的协方差矩阵的逆矩阵和所述协方差矩阵的均值；

基于所述正特征矩阵、所述逆矩阵和所述均值计算所述待检测图像与所有所述无缺陷产品图像在每个像素位置的马氏距离获得异常得分位图，基于所述异常得分位图判断所述待检测图像是否存在第一缺陷；

获取所述待检测图像中的器足区域，获取所述器足区域的第一封闭区域，判断所述第一封闭区域内是否存在线条，若是则判断所述待检测图像存在第二缺陷；

基于所述图像数据和所述音频数据判断待检测产品是否存在第三缺陷；

基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断所述待检测产品是否存在缺陷。

本方法的原理和效果与本系统相似，对于本方法不进行相应的赘述。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

1.基于正特征矩阵、逆矩阵和均值计算待检测图像与正样本在每个像素位置的马氏距离获得异常得分位图，基于异常得分位图判断待检测图像是否存在第一缺陷，通过图像对比判断待检测产品是否存在缺陷，不需人工检测，效率快，降低漏测误测率。

2.通过器足区域的第一封闭区域内是否存在线条、封闭图形的第二封闭区域内是否存在线条、检测区域和非检测区域的色值对比、连接点相连的线条的连接数和异常连接线的宽度连续变化数据判断待检测产品是否存在缺陷，通过图像进行检测，不需人工检测，效率快，降低漏测误测率。

3.通过图像数据和音频数据判断待检测产品是否存在裂痕和划痕等缺陷，不需人工检测，效率快，降低漏测误测率。

4.基于第一缺陷、第二缺陷和第三缺陷判断待检测产品是否存在缺陷，多个检测结果综合判断，提高检测准确率。

5.基于照明数据判断待检测产品是否存在第三缺陷，通过图像进行检测，不需人工检测，效率快，降低漏测误测率。

6.将所有错判低维离散码添加至所述特征数据库，重新构建优化正特征矩阵，减少漏判错判的情况，提高准确率。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是有开片纹的待检测产品的示意图；

图2是封闭图形的示意图；

图3是本发明中一种基于无监督学习的缺陷检测系统的检测流程示意图；

图4是本发明中一种基于无监督学习的缺陷检测系统中第二检测单元的检测流程示意图；

图5是本发明中一种基于无监督学习的缺陷检测系统中第三检测单元的检测示意图。

其中，1-器足区域，2-第一封闭区域，3-开片纹，4-连接点，5-裂痕或划痕，6-封闭图形，7-第二封闭区域，8-边线，9-检测区域，10-非检测区域，11-自动旋转组件，12-第一检测装置，13-检测组件。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1；

参考图1-图5，参考图4，器足是指待检测产品底部凸起的部分，也是待检测产品的支撑点，则器足区域1是指待检测产品的待检测图像中底部凸起的区域，第一封闭区域2是指器足区域1的边线所围成的区域，即器足区域1不包含边线，图4中黑色线条填充的区域。本实施例一种基于无监督学习的缺陷检测系统，所述系统包括：

采集单元：用于获取待检测图像、音频数据和图像数据；

其中，所述采集单元获取所述音频数据和所述图像数据的具体步骤为：将所述待检测产品放置于自动旋转组件11上，将所述待检测产品的表面与第一检测装置12的检测组件13相接触，所述自动旋转组件11开启转动，录制设备录制所述检测组件13在所述待检测产品的表面匀速划动的画面和声音分别获得所述图像数据和所述音频数据。参考图5，举例说明，将待检测产品放置在自动旋转组件11上，使待检测产品的表面与检测组件13的检测端相接触，摄像机开始录制，启动自动旋转组件11的自动旋转，控制其旋转速度，旋转会带动待检测产品一起旋转，使检测端在待检测产品的表面划动，其检测组件13在第一检测装置的表面上下滑动，控制其滑动速度，从而实现在待检测产品的表面划动检测，当检测端划动到裂痕或划痕时，因表面的不光滑，形成凹痕或凸痕，检测端会卡滞现象，且划过会发出异常声响。在另一种实施方案中，可以实现自动旋转组件11在旋转的同时启动升降，则也会带动待检测产品在旋转的同时实现升降，实现在待检测产品的表面划动检测。

本实施例中，自动旋转组件11可以为电机、电路板和外壳的组合组件，外壳可以为圆台或平台，电机带动外壳实现自动旋转，电路板控制旋转速度；第一检测装置12可以为带夹持装置的固定设备，其中夹持装置为检测组件13，可以夹持针头或铅笔头等，使针头或铅笔头的头部与待检测产品的表面相接触，考虑针头可能会划伤待检测产品，本实施例优选为塑料材料的针头；录制设备可以为相机、显微镜或摄像头等。

提取单元：用于获取正样本，所述正样本包括若干无缺陷产品图像，将所述正样本通过无监督预训练模型进行特征提取获得若干正高维特征向量；本实施例中，无监督预训练模型可以为卷积神经网络，如采用卷积神经网络的中间层特征，通过滑动窗口展开，通过自适应平均池化随机融合几个中间层输出一个正高维特征向量；

特征单元：用于将所有所述正高维特征向量使用向量量化技术进行编码获得若干正低维离散码，将所有所述正低维离散码进行存储获得特征数据库，将所述特征数据库中的所有所述正低维离散码通过聚类算法进行聚类获得若干中心点，将每个所述正低维离散码映射到距离最近的所述中心点获得映射结果，基于所有所述映射结果获得正特征矩阵，基于所有所述正低维离散码获得所述正样本的协方差矩阵的逆矩阵和所述协方差矩阵的均值；本实施例中，向量量化技术可以为向量量化编码或向量量化结码等，聚类算法可以为K-Means算法、均值漂移聚类或凝聚层次聚类，正高维特征向量在进行编码之前还可以包括基于快速库（FLANN）和局部敏感哈希（LSH）等算法，通过构建索引结构、使用近似搜索和剪枝策略，减少计算开销并加速相似度搜索过程。

第一检测单元：用于基于所述正特征矩阵、所述逆矩阵和所述均值计算所述待检测图像与所有所述无缺陷产品图像在每个像素位置的马氏距离获得异常得分位图，基于所述异常得分位图判断所述待检测图像是否存在第一缺陷；

第二检测单元：用于获取所述待检测图像中的器足区域1，获取所述器足区域1的第一封闭区域2，判断所述第一封闭区域2内是否存在线条，若是则判断所述待检测图像存在第二缺陷；

第三检测单元：用于基于所述图像数据和所述音频数据判断待检测产品是否存在第三缺陷；

其中，第三检测单元基于所述图像数据和所述音频数据判断所述待检测图像是否存在第三缺陷的具体步骤为：基于所述图像数据判断所述检测组件13是否存在卡滞现象，基于所述音频数据获得音色变化数据，基于所述音色变化数据判断所述待检测产品是否存在异常声响，基于所述卡滞现象和所述异常声响判断所述待检测产品是否存在所述第三缺陷。

总检测单元：基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断所述待检测产品是否存在缺陷。

其中，总检测单元基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断待检测产品是否存在缺陷的具体步骤包括：若所述待检测图像存在所述第一缺陷，则判断所述待检测产品存在缺陷；若所述待检测图像不存在所述第一缺陷，且存在所述第二缺陷和所述第三缺陷，则判断所述待检测产品存在缺陷。

实施例2；

参考图1-图4，参考图3，第二封闭区域7是指封闭图形6不包含边线8的区域，图3中左边图形中的黑色线条填充区域，在实施例一的基础上，本实施例中，若所述第一封闭区域2内不存在线条，所述第二检测单元还用于：

基于所述待检测图像获得第一线条图，基于所述第一线条图获得若干封闭图形6，获取每个所述封闭图形6的第二封闭区域7，判断每个所述第二封闭区域7内是否包含线条，若是则判断所述待检测图像存在所述第二缺陷；

若所有所述第二封闭区域7内不包含线条，所述第二检测单元还用于：

获取每个所述封闭图形6的若干边线8，获取每个所述封闭图形6中与所述封闭图形6对应的所有所述边线8的距离在第一预设范围内的检测区域9和非检测区域10，计算每个所述检测区域9和与所述检测区域9对应的所述非检测区域10的色差值，若所述色差值大于或等于预设色差值，则判断所述待检测图像存在所述第二缺陷；

若所述色差值小于所述预设色差值，所述第二检测单元还用于：

基于所述第一线条图获得若干连接点4，获取与每个所述连接点4相连的线条的连接数，若所述连接数大于或等于预设连接数，则判断所述待检测图像存在所述第二缺陷。

若所述连接数小于所述预设连接数，所述第二检测单元还用于：

基于所述第一线条图获得若干第一连接线，获取每条所述第一连接线的宽度，基于所有所述宽度获得若干众数，基于所有所述众数和所有所述宽度获取异常宽度线，获取第二预设范围内与所述异常宽度线相连的所有第二连接线，基于所有所述第二连接线和所述异常宽度线获得若干异常连接线，获取每条所述异常连接线的宽度连续变化数据，所述宽度连续变化数据包括n个元素，D

实施例3；

在上述实施例的基础上，本实施例中，所述第三检测单元还用于：

将所述待检测产品置于照明组件下，所述照明组件调整移动光线，获取所述待检测产品在光线下的照明数据，基于所述照明数据判断所述待检测产品是否存在所述第三缺陷。本实施例中，照明组件可以为白炽灯等带强光的灯具。

其中，基于所述照明数据判断所述待检测产品是否存在所述第三缺陷的具体步骤为：基于所述照明数据获得照明图像，获取所述照明图像每个像素的亮度，基于所有所述亮度判断所述待检测产品是否存在亮光现象和或反亮光现象，若是则判断所述待检测产品存在所述第三缺陷。

实施例4；

在上述实施例的基础上，本实施例中，所述系统还包括迭代单元：

用于获取错判图像，基于所述错判图像获得与所述错判图像对应的若干错判低维离散码，将所有所述错判低维离散码添加至所述特征数据库，特征数据库重新构建优化正特征矩阵，减少漏判错判的情况，提高准确率。

实施例5；

参考图1-图5，在上述实施例的基础上，本实施例提供了一种基于无监督学习的缺陷检测方法，所述方法包括：

获取待检测图像、音频数据和图像数据；获取正样本，所述正样本包括若干无缺陷产品图像；

将所述正样本通过无监督预训练模型进行特征提取获得若干正高维特征向量；本实施例中，无监督预训练模型可以为卷积神经网络，如采用卷积神经网络的中间层特征，通过滑动窗口展开，通过自适应平均池化随机融合几个中间层输出一个正高维特征向量；将所有所述正高维特征向量使用向量量化技术进行编码获得若干正低维离散码，将所有所述正低维离散码进行存储获得特征数据库，将所述特征数据库中的所有所述正低维离散码通过聚类算法进行聚类获得若干中心点，将每个所述正低维离散码映射到距离最近的所述中心点获得映射结果，基于所有所述映射结果获得正特征矩阵，基于所有所述正低维离散码获得所述正样本的协方差矩阵的逆矩阵和所述协方差矩阵的均值；

基于所述正特征矩阵、所述逆矩阵和所述均值计算所述待检测图像与所有所述无缺陷产品图像在每个像素位置的马氏距离获得异常得分位图，基于所述异常得分位图判断所述待检测图像是否存在第一缺陷；

获取所述待检测图像中的器足区域1，获取所述器足区域1的第一封闭区域2，判断所述第一封闭区域2内是否存在线条，若是则判断所述待检测图像存在第二缺陷；

基于所述图像数据和所述音频数据判断待检测产品是否存在第三缺陷；

基于所述第一缺陷、所述第二缺陷和所述第三缺陷判断所述待检测产品是否存在缺陷。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。