一种针对固定场景的异常检测用的样本底库生成方法

技术领域

本发明涉及数字图像处理领域，提供了一种针对固定场景的异常检测用的样本底库生成方法。

背景技术

在现有市场化的异常检测中异常样本极度缺失的情况下，有效底库作为正常样本的数据储存中心，能够为异常检测系统提供比对模板，将当前图像与预先储备当前点位的底图集做对比，找出差异区域及特征信息。异常检测系统是建立在正常样本库的基础上，所以针对异常检测系统的首要任务便是生成有效正常样本底库图。

正常样本的底图数据质量与异常检测效果息息相关，但是在传统检测方案里存在的问题：

1)对异常样本的高依赖性，没有出现过的异常很难得到高召回率；

2)正常样本库冗余或低代表性，入库规则没有针对检测场景多种状态做到高定制化；

3)检测时间长，资源利用率低，精度欠缺。

发明内容

本发明的目的在于针对无法穷举的异常缺陷建立多状态下的正常样本底库，对检测场景定制化入库规则，提高底库图片的代表性，能够有效的减低检测时间，提高检测效率，提高资源利用率。

为了实现上述目的本发明采用以下技术手段：

一种针对固定场景的异常检测用的样本底库生成方法，包括以下步骤：

步骤1、创建采集文件，以每个检测场景为检测点，采集多种状态下的图片数据集，以检测场景为单位储存对应的被检测对象的图片数据集；

步骤2、对步骤1得到的图片数据集进行初筛选，采用Finch聚类生成初版底图集以及建立二次筛选底图集；

步骤3、待检测对象ROI配置信息获取，对步骤1得到的图片数据集，进行获取ROI区域绘制，ROI区域对应灵敏度分为“低敏感”、“中低敏感”、“中敏感”、“中高敏感”、“高敏感”；ROI的配置是将低敏感区域的像素值变小，便于后期面积或者宽高比对像素的操作，对低敏感区减少上报过滤。

步骤4、将二次筛选底图集里面的图片依次与初版底图集中最相似的图片求异常区域，当异常区域大于设定的阈值，则将当前二次筛选底图集的图片加入初版底图集。

上述技术方案中，步骤2具体包括以下步骤：

以“检测点”为单位进行快速Finch聚类，通过将点位下每个图片数据转化为数据点，使用随机kd树算法对每一个数据点进行计算获得第一个“最近邻居”。计算出最近邻，得到如邻接矩阵，根据下式对邻接矩阵的样本进行连接：

上式的含义为：图片数据转化为的数据点下面简称样本

a.连接样本i的最近邻；

b.如果样本j的最近邻是i，也进行连接；

c.如果样本i和样本j的最近邻一致，也进行连接；

其中K

其中连接在一起的样本点即为同一个聚类，Finch聚类出M类，取不同的类别的第一张作为初版底图集即M*1张，其余所有图片为二次筛选底图集

上述技术方案中，步骤3具体包括以下步骤：

步骤3.1、获取多检测场景的每个检测场景的采集到的图片数据集；

步骤3.2、在图片数据集中的图片中进行巡检时强关注区域以及弱关注区域的标记；

步骤3.3、根据标记绘制每个检测场景的ROI区域。

上述技术方案中，步骤4具体包括以下步骤：

步骤4.1、将初版底图作为底库，将二次筛选底图里面的图片依次作为测试图片；

步骤4.2、逐一将二次筛选底图集的图片和初版底图中所有图片做差值，得到单张二次筛选底图与所有的单张初版底图集的差值图的集合，遍历差值图的集合对每一张差值图的所有数值进行相加求和得到每张差值图的差异值，取得差异值最小的Top1，Top2，Top1为与单张二次筛选底图最相似的一级图片、Top2为与单张二次筛选底图最相似的二级图片；

步骤4.3、首先使用尺度不变特征Sift得到单张二次筛选底图与“Top1”的特征点，即可分别得到各自的特征点集，使用KNN方法将单张二次筛选底图的特征点和“Top1”中特征点一一配对，计算从单张二次筛选底图特征点集到“Top1”特征点集的单应性矩阵H，单张二次筛选底图和H相乘，则可得到和“Top1”对齐的图片。

步骤4.4、将上一步骤中已与“Top1”对齐后的单张二次筛选底图与“Topl”进行差分，取得最大通道差异图，对二次筛选底图的不同灵敏度区域的像素值去乘以步骤3所述的灵敏度对应的系数，高敏感度区域的像素值变大，低敏感的区域像素值变小，输出ROI匹配之后的最大通道差异图，ROI匹配之后的得到单张二次筛选底图与“Top1”的最大通道差异图，记为Topl最大通道差异图；

步骤4.5、单张二次筛选底图与“Top2”进行处理，得到单张二次筛选底图与“Top2”的最大通道差异图，记为Top2最大通道差异图；

步骤4.5.1、首先使用尺度不变特征Sift得到单张二次筛选底图与“Top2”的特征点，即可分别得到各自的点集，使用KNN方法将单张二次筛选底图点集和“Top1”中特征点一一配对，计算从单张二次筛选底图点集到“Top2”点集的单应性矩阵H，单张二次筛选底图和H相乘，则可得到和“Top2”对齐的图片。

步骤4.5.2、将步骤4.5.1中已与“Top2”对齐后的单张二次筛选底图与“Top2”进行差分，取得最大通道差异图，对二次筛选底图的不同灵敏度区域的像素值去乘以步骤3所述的灵敏度对应的系数，高敏感度区域的像素值变大，低敏感的区域像素值变小，输出ROI匹配之后的最大通道差异图，ROI匹配之后的得到单张二次筛选底图与“Top2”的最大通道差异图；

(引用top1和top2的目的是防止单张二次筛选底图和正常样本底图由于非人为原因造成或阈值设定不当造成的异常区域偶然性，比如光照，取top1及top2异常区域的交集则严格了正常样本进入底图的严谨性，保留更多多状态下的正常样本)

步骤4.6、对Top1最大通道差异图和Top2最大通道差异图分别进行非异常区域进行过滤，得到过滤后的Topl的异常区域和Top2异常区域；

步骤4.7、取Topl的异常区域与Top2异常区域的交集作为最终异常区域，当最终异常区域大于阈值，将测试图片转成底库图片。

上述技术方案中，步骤4.6包括：

异常宽高比分析：当异常区域在阈值的异常宽高比阈值范围内，将异常区域像素值乘以0.1，降低该异常宽高比区域的像素值，再输出异常区域；

异常面积过滤：当异常区域的面积小于异常面积的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

异常密度过滤：将异常区域的像素值求和除以异常区域面积，取得异常区域密度值，当异常区域密度值小于异常密度的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

异常边缘过滤：待检测图像中存在的不仅仅是规则的多边形，也会存在各种曲线，针对这种曲线对不齐的区域，采取如下过滤方案：

取出单张二次筛选底图最大通道差异图及待匹配图像的异常区域；

分别对两张异常区域通过Sobel算子取出边缘梯度图，并将两张图进行差分，求得异常区域的边缘异常图；

对异常区域的边缘异常图进行膨胀处理连通，取得所有差异区域的列表，对所有的差异区域列表求得面积，当列表中最大的差异小于阈值所在的面积时，对该异常区域进行过滤，不认定为异常区域。

因为本发明采用上述技术手段，因此具备以下有益效果：

一、本提案通过多阶段多尺度针对检测场景聚类正常样本底库方法，找到图片所存在的规律，根据检测场景设定不同的阈值条件，则可高效定制该检测场景入库规则，形成多状态下的正常样本底图库，减负冗余的底库图片，加快检测效率及提高资源利用率。

二、传统储存在底库集里较多存储为图片的特征向量，用于对待检测图片提取特征向量与底库集里面的特征向量做比对，检索相似度达到设定阈值极为高相似图片，但是当异常区域较小时很难保证高召回率，而当用于待检测图片与正常样本底库图做异常检测时，正常样本底库图往往冗余并且很难具备多种状态下正常样本的代表性，而本方案中写到的通过四个阶段去自动化制定入库规则，有效的保证的底库图片的科学性及代表性，并且没有出现过的异常也能在底库图片比对中表现出高召回率。

三、入库规则中根据检测场景设定动态的阈值条件，可以为检测场景定制化入库规则，不需要更多的花时间实时训练模型得到结果，可调整性和解释性强。

四、多状态下的正常样本的数据代表性越强数据越少，能够有效的减低检测时间，提高检测效率，提高资源利用率。

附图说明

图1为本发明总体流程图简图。

具体实施方式

以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。

本提案时基于异常检测的计算机视觉技术领域，针对无法穷举的异常缺陷建立多状态下的正常样本底库，对检测场景定制化入库规则，提高底库图片的代表性。本方案自动化生成底库图总体流程如图1所示。

整体步骤如下：

一、创建采集文件

采集检测场景下的多种状态下的图片数据集，以检测场景为单位储存对应的检测对象测试图。

二、生成初版底图集以及建立二次筛选底图集

Finch一种无监督的快速聚类算法，对通过将检测对象下每个测试图转化为数据点，通过数据点的最近邻去进行连接，从而得到数据类别划分。该算法不需要用户去定义任何的超参数，并且速度快，计算消耗很低，生成初版的底图及其余未进入底图的二次筛选库。

1.以点位为单位进行快速Finch聚类，通过将点位下每个测试图转化为数据点，使用随机kd树算法获得第一个最近邻居计算出最近邻，根据下式得到邻接矩阵，其中K

2.经过上式的推导，就可以得到一个完整且稀疏的邻接矩阵，其中连接在一起的样本点即为同一个聚类，取不同的类别M的第一张作为初版底图集即M*1张，其余所有图片为二次筛选底图集。

三、待检测对象配置信息获取

对检测场景做定制化的入库规则，无论是近景或者远景的设备设施还是空旷场景的异常检测，在当前检测场景的需求下并不是所有区域都要进行高敏感度的异常检测，例如设备设施的多状态显示、LED常亮指示灯设备、摄像头视野所在区域的非工作区域等等。

所以针对每个检测场景有对应的五种″多边形区域灵敏度配置(在下文称之为ROI)″，其中包括″低敏感″、″中低敏感″、″中敏感″、″中高敏感″、″高敏感″区域，对每个点位里面不同的ROI设置0～1阶梯对应敏感度指标进行局部的特殊处理，高敏感区域加强关注，低敏感区域减少关注，以降低AI误检数量。

获取ROI区域的步骤如下：

1.获取多检测场景的每个检测场景的集合；

2.和使用多检测场景的工作人员沟通每个检测他们以往进行巡检时强关注区域以及弱关注区域；

3.绘制每个检测场景的ROI区域进行局部绘制；

四、TOP2筛选建立入库规则

底库作为正样样本模板的代表库，应尽可能涵盖正常样本在正常情况下的各种状态如各种天气条件及感光状态下造成的成像差异、设备设施多状态正常显示等等而不是完全相同的一种或只有几种状态下的图片。将二次筛选底图里面测试图片依次与初版底图的最相似的图片求异常区域，当异常区域大于某个设定的阈值，则将二次筛选底图里面的图片加入初版底图。

1.将初版底图作为底库，将二次筛选库里面的图片作为测试图片；

2.二次筛选底图和初版底图所有图片做差值，得到所有的异常像素值并进行求和，取出二次筛选底图与初版底图里面异常像素值和最小的top1，top2。(top1，top2认定为与测试图片最接近一级二级图片，以下称之为待匹配图像)，选取top1及top2的原因在下面第6点进行讲解；

3.二次筛选底图需要与在上一步骤中所求得的待匹配图像进行Sift图像对齐。

4.二次筛选底图与待匹配图像进行差分，取得最大通道差异图，将待检测图像的不同灵敏度区域去乘以一个灵敏度对应的系数，高敏感度区域的像素值变大，低敏感的区域像素值变小，输出ROI匹配之后输出的最大通道差异图；

5.图像环境变换、感光环境的变化、摄像头本身的偏移以及检测对象的多种状态下的正常样本都是异常像素区域产生的原因，也是造成底库正常样本冗余的重要原因，但是我们所需要的是检测对象的多种状态下的正常样本，成像环境变换、感光环境的变化主要会导致异常区域的密度和像素值大小产生变化，以人眼查看异常区域规律对非异常区域进行过滤，减少异常区域的误检，以下所提及的异常区域的各种阈值需根据实际场景异常检测需求进行定制化调整：

(1)异常宽高比分析：虽然前期做过对齐处理，但是不能将二次筛选底图与待匹配图片进行完整的1：1重合，当异常区域在阈值的异常宽高比阈值范围内，将异常区域像素值乘以0.1，输出异常区域；

(2)异常面积过滤：当异常区域的面积小于异常面积的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

(3)异常密度过滤：将异常区域的像素值求和除以异常区域面积，取得异常区域密度值，当异常区域密度值小于异常密度的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

(4)异常边缘过滤：待检测图像中存在的不仅仅是规则的多边形，也会存在各种曲线，针对这种曲线对不齐的区域，采取如下过滤方案：

1)取出二次筛选图像最大通道差异图及待匹配底图的异常区域；

2)分别对两张异常区域通过Sobel算子取出边缘梯度图，并将两张图进行差分，求得异常区域的边缘异常图；

3)对异常区域的边缘异常图进行膨胀处理连通，取得所有差异区域的列表，对所有的差异区域列表求得面积，当列表中最大的差异小于阈值所在的面积时，对该异常区域进行过滤，不认定为异常区域；

6.为了保证所筛选出来的底图更具备代表性，所以采取了多底图交叉验证的方式，最后筛选出来的异常区域为二次筛选底图与top1，top2异常区域的交集，当异常区域大于某个特定阈值，将测试图片转成底库图片。

实施例1

一种针对固定场景的异常检测用的样本底库生成方法，包括以下步骤：

步骤1、创建采集文件，以每个检测场景为检测点，采集多种状态下的图片数据集，以检测场景为单位储存对应的被检测对象的图片数据集；

步骤2、对步骤1得到的图片数据集进行初筛选，采用Finch聚类生成初版底图集以及建立二次筛选底图集；

步骤3、待检测对象ROI配置信息获取，对步骤1得到的图片数据集，进行获取ROI区域绘制，ROI区域对应灵敏度分为“低敏感”、“中低敏感”、“中敏感”、“中高敏感”、“高敏感”；

步骤4、将二次筛选底图集里面的图片依次与初版底图集中最相似的图片求异常区域，当异常区域大于设定的阈值，则将当前二次筛选底图集的图片加入初版底图集。

上述技术方案中，步骤2具体包括以下步骤：

以“检测点”为单位进行快速Finch聚类，通过将点位下每个图片数据转化为数据点，使用随机kd树算法对每一个数据点进行计算获得第一个“最近邻居”。计算出最近邻，得到如邻接矩阵，根据下式对邻接矩阵的样本进行连接：

上式的含义为：图片数据转化为的数据点下面简称样本

a.连接样本i的最近邻；

b.如果样本j的最近邻是i，也进行连接；

c.如果样本i和样本j的最近邻一致，也进行连接；

其中K

其中连接在一起的样本点即为同一个聚类，Finnch聚类出M类，取不同的类别的第一张作为初版底图集即M*1张，其余所有图片为二次筛选底图集

上述技术方案中，步骤3具体包括以下步骤：

步骤3.1、获取多检测场景的每个检测场景的采集到的图片数据集；

步骤3.2、在图片数据集中的图片中进行巡检时强关注区域以及弱关注区域的标记；

步骤3.3、根据标记绘制每个检测场景的ROI区域。

上述技术方案中，步骤4具体包括以下步骤：

步骤4.1、将初版底图作为底库，将二次筛选底图里面的图片依次作为测试图片；

步骤4.2、逐一将二次筛选底图集的图片和初版底图中所有图片做差值，得到单张二次筛选底图与所有的单张初版底图集的差值图的集合，遍历差值图的集合对每一张差值图的所有数值进行相加求和得到每张差值图的差异值，取得差异值最小的Top1，Top2，Top1为与单张二次筛选底图最相似的一级图片、Top2为与单张二次筛选底图最相似的二级图片；

步骤4.3、首先使用尺度不变特征Sift得到单张二次筛选底图与“Top1”的特征点，即可分别得到各自的点集，使用KNN方法将单张二次筛选底图点集和“Top1”中特征点一一配对，计算从单张二次筛选底图点集到“Top1”点集的单应性矩阵H，单张二次筛选底图和H相乘，则可得到和“Top1”对齐的图片。

步骤4.4、将上一步骤中已与“Top1”对齐后的单张二次筛选底图与“Top1”进行差分，取得最大通道差异图，对二次筛选底图的不同灵敏度区域的像素值去乘以步骤3所述的灵敏度对应的系数，高敏感度区域的像素值变大，低敏感的区域像素值变小，输出ROI匹配之后的最大通道差异图，ROI匹配之后的得到单张二次筛选底图与“Topl”的最大通道差异图，记为Top1最大通道差异图；

步骤4.5、单张二次筛选底图与“Top2”进行处理，得到单张二次筛选底图与“Top2”的最大通道差异图，记为Top2最大通道差异图；

步骤4.5.1、首先使用尺度不变特征Sift得到单张二次筛选底图与“Top2”的特征点，即可分别得到各自的点集，使用KNN方法将单张二次筛选底图点集和“Topl”中特征点一一配对，计算从单张二次筛选底图点集到“Top2”点集的单应性矩阵H，单张二次筛选底图和H相乘，则可得到和“Top2”对齐的图片。

步骤4.5.2、将步骤4.5.1中已与“Top2”对齐后的单张二次筛选底图与“Top2”进行差分，取得最大通道差异图，对二次筛选底图的不同灵敏度区域的像素值去乘以步骤3所述的灵敏度对应的系数，高敏感度区域的像素值变大，低敏感的区域像素值变小，输出ROI匹配之后的最大通道差异图，ROI匹配之后的得到单张二次筛选底图与“Top2”的最大通道差异图；

(引用topl和top2的目的是防止单张二次筛选底图和正常样本底图由于非人为原因造成或阈值设定不当造成的异常区域偶然性，比如光照变换及设备设施的日常变化等等，取topl及top2异常区域的交集则严格了正常样本进入底图的严谨性，保留更多多状态下的正常样本)

步骤4.6、对Top1最大通道差异图和Top2最大通道差异图分别进行非异常区域进行过滤，得到过滤后的Top1的异常区域和Top2异常区域；

步骤4.7、取Topl的异常区域与Top2异常区域的交集作为最终异常区域，当最终异常区域大于阈值，将测试图片转成底库图片。

上述技术方案中，步骤4.6包括：

异常宽高比分析：当异常区域在阈值的异常宽高比阈值范围内，将异常区域像素值乘以0.1，降低该异常宽高比区域的像素值，再输出异常区域；

异常面积过滤：当异常区域的面积小于异常面积的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

异常密度过滤：将异常区域的像素值求和除以异常区域面积，取得异常区域密度值，当异常区域密度值小于异常密度的阈值范围内，对该异常区域进行过滤，不认定为异常区域；

异常边缘过滤：待检测图像中存在的不仅仅是规则的多边形，也会存在各种曲线，针对这种曲线对不齐的区域，采取如下过滤方案：

取出单张二次筛选底图最大通道差异图及待匹配图像的异常区域；

分别对两张异常区域通过Sobel算子取出边缘梯度图，并将两张图进行差分，求得异常区域的边缘异常图；

对异常区域的边缘异常图进行膨胀处理连通，取得所有差异区域的列表，对所有的差异区域列表求得面积，当列表中最大的差异小于阈值所在的面积时，对该异常区域进行过滤，不认定为异常区域。