多时相监控图像抗干扰异常检测模型训练方法、装置及检测方法

技术领域

本发明涉及工业场景的智能抗干扰异常检测，特别是一种多时相监控图像抗干扰异常检测模型训练方法、装置及检测方法。

背景技术

在电厂，油库等工业场景的日常运行过程中，由于工作环境复杂，人员设备众多，往往容易出现设备状态异常如电箱门开启，阀门开启，指示灯亮等，以及异物入侵异常，如人员，车辆，动物的闯入，为了维护安全稳定的运行环境，需要及时感知并处理这些异常。目前主要采用人工查看视频或者定期检查的方式，效率低且人力成本高。

近年来随着计算机视觉技术和监控技术的发展，使得实现工业生产智能化监测成为可能。在实际工业场所中，场景众多且场景中大多时候处于静止正常状态，实时监控成本巨大。因此往往采用多时相的监控图像进行检测维护的方法，将某场景某时刻的监控图像作为基准图，另一不同时刻的监控图像作为待测图，经过对比分析两者差异，从而实现异常检测。这样做的好处在于可以应对场景多，异常类型多和异常样本少的问题，将所有异常归为差异一类，有利于提升异常检测模型的精度与泛化性。但同时，在工业场景中大多为户外作业，由于前后监控图像存在一定的时间间隔，基准图与待测图之间存在一定的天气变化，光照变化，季节变化等干扰，会影响差异检测的效果。如何忽略这些伪差异的干扰，提升多时相监控图像异常检测的精度与鲁棒性，是值得研究的方向。

在深度学习模型训练期间，一般提升模型精度与鲁棒性的方法是采集更多样本，或者是进行裁剪，加噪等一些数据增强手段以扩充样本。一方面，由于天气不可控，季节时间跨度大等原因，采集大量存在天气变化，季节变化的样本在实际操作中是困难的；另一方面，使用常规的数据增强方法难以模拟天气变化和季节变化等具有高级语义的困难样本。目前基于深度学习的风格迁移网络非常流行，通过生成对抗网络在开源数据集上学习不同风格域之间的映射关系，可以实现不同风格域之间的场景转换，可以作为天气变化，季节变化等困难样本的生成方法。

如何结合风格迁移网络生成有效的困难干扰样本，以及如何结合困难干扰样本构建网络结构，提取鲁棒抗干扰的差异特征，获取具有高鲁棒性与高精度的异常检测模型，用于多时相监控图像的抗干扰异常检测，是一个巨大的挑战。

发明内容

本发明的目的是提供一种多时相监控图像抗干扰异常检测模型训练方法、装置及检测方法，解决了多时相监控图像的抗干扰异常检测问题。

本发明采用的技术方案如下：

一种多时相监控图像抗干扰异常检测模型训练方法，具体为：

基于多时相监控图像构建图像异常检测数据集，所述图像异常检测数据集中每个样本为(I-n，I-d，I-i)三元组，I-n为基准图，I-d为待测图，I-i为所述待测图对应的干扰图，所述干扰图与待测图的天气和/或季节不同；

构建抗干扰异常检测模型，所述抗干扰异常检测模型包括三重孪生网络、差异特征融合模块和多尺度预测网络，其中：

所述三重孪生网络为三个结构相同且权值共享的特征提取网络，分别用于提取获得基准图、待测图和干扰图的不同尺度的特征N

所述差异特征融合模块用于根据获取的不同尺度的特征，计算每个尺度的检测差异特征H

所述多尺度预测网络用于基于每个尺度的融合差异特征H

将图像异常检测数据集中每个样本作为抗干扰异常检测模型的输入，以最小化损失函数为目标对抗干扰异常检测模型进行训练，获得训练好的抗干扰异常检测模型；所述损失函数包含预测值R

训练好的抗干扰异常检测模型可用于多时相监控图像抗干扰异常检测。

进一步地，所述干扰图是所述待测图基于一训练好的风格迁移模型迁移获得。

进一步地，所述损失函数还包括根据检测差异特征H

其中λ

进一步地，λ

一种多时相监控图像抗干扰异常检测方法，包括：

将待测图与基准图输入至权利要求1-4训练获得的抗干扰异常检测模型，获得不同尺度的预测值R

对预测值R

进一步地，所述抗干扰异常检测模型中，干扰图对应的特征提取网络支路的输入换为待测图，使得干扰差异特征H

一种多时相监控图像抗干扰异常检测模型训练装置，包括：

数据获取模块，用于基于多时相监控图像构建图像异常检测数据集，所述图像异常检测数据集中每个样本为(I-n，I-d，I-i)三元组，I-n为基准图，I-d为待测图，I-i为所述待测图对应的干扰图，所述干扰图与待测图的天气和/或季节不同；

训练模块，用于将图像异常检测数据集中每个样本作为抗干扰异常检测模型的输入，以最小化损失函数为目标对抗干扰异常检测模型进行训练，获得训练好的抗干扰异常检测模型；

构建抗干扰异常检测模型，所述抗干扰异常检测模型包括三重孪生网络、差异特征融合模块和多尺度预测网络，其中：

所述三重孪生网络为三个结构相同且权值共享的特征提取网络，分别用于提取获得基准图、待测图和干扰图的不同尺度的特征N

所述差异特征融合模块用于根据获取的不同尺度的特征，计算每个尺度的检测差异特征H

所述多尺度预测网络用于基于每个尺度的融合差异特征H

所述损失函数包含预测值R

进一步地，还包括：

风格迁移模块，用于所述待测图基于一训练好的风格迁移模型迁移获得干扰图。

有益效果：与现有技术相比，本发明具有如下优点：1、本发明采用基准图+待测图+干扰图作为网络输入，结合空间一致性约束可以有效提取鲁棒性差异特征，从而提升多时相监控图像异常检测模型的精度与抗干扰能力；2、本发明可用于固定监控场景中的自动化异常检测，且异常检测模型适应性与抗干扰能力强。

附图说明

图1是本方法的整体结构示意图；

图2是本方法的风格迁移模块结构示意图；

图3是本方法的抗干扰异常检测模块结构示意图；

图4是本方法的风格迁移模块的训练过程的流程图；

图5是本方法的抗干扰异常检测模块的训练过程的流程图；

图6是本方法的实验结果示意图，其中，a为基准图，b为待测图，c为风格迁移模块生成的干扰图，在图中使用矩形框显示方法预测的异常区域。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本实施例以某工厂的若干个固定监控视频数据为例，构建多时相监控图像数据集I对本发明的抗干扰异常检测模型训练及抗干扰异常检测方法作详细说明。I中每个样本包含基准图与待测图，对应监控在同一场景不同时刻拍摄的图片，两者之间存在一定的天气，季节变化干扰。多时相监控图像抗干扰异常检测任务要求异常检测精度mAP保持在90％以上。

如图1所示，本发明的多时相监控图像抗干扰异常检测模型训练通过构建待测图对应的干扰图，采用基准图+待测图+干扰图作为网络输入，可以有效提取鲁棒性差异特征，从而提升图像异常检测模型的精度与抗干扰能力，其中干扰图是基于监控场景中实际存在的天气，季节变化干扰模拟构建的，即：所述干扰图与待测图的天气和/或季节不同；干扰图可以通过采集、模拟、迁移等方式获得，优选为以风格迁移模型迁移的方式构建获得。

图2和图4所示为一示例性的无需配对数据的风格迁移模型结构及训练过程图，训练方法具体如下：

(1)基于开源数据集Summer2Winter构建风格迁移数据集T，T中包含两个图片集合T-s和T-w，T-s中包含若干张Summer风格任意景物图片，T-w中包含若干张Winter风格任意景物图片。同时，将T中图片尺寸归一化为256×256×3。

(2)搭建风格迁移模型，该步骤通过以下子步骤实现：

(2.1)搭建编码器E

(2.2)搭建解码器G

(2.3)搭建判别器D

(2.4)将编码器E

(3)训练风格迁移模型，该步骤通过以下子步骤实现：

(3.1)利用风格迁移数据集T对风格迁移模型进行训练，设置训练轮数，学习率等超参数。

(3.2)在T-s和T-w图片集合中随机采样，获得本轮训练的二元组样本(p,q)。

(3.3)将二元组样本(p,q)分别输入风格迁移模型中，依次可得到迁移图

(3.3.1)根据重构图p

||*||

(3.3.2)根据迁移图

其中D

(3.3.3)根据循环一致性损失

其中w

(3.4)根据步骤(3.3)得到风格迁移模型的加权损失

(3.5)判断是否达到设定迭代次数，若否，则返回(3.2)步骤进行下一次迭代；若是，保存风格迁移模型中的参数以及训练好的网络权值。

如图3和图5所示，所述抗干扰异常检测模型的结构及训练流程图，步骤如下：

(1)数据预处理，该步骤通过以下子步骤实现：

(1.1)基于实际工业场景中的固定监控视频，利用同一场景不同时刻的图片构建多时相监控图像异常检测数据集I，I中每个样本包含一张基准图I-n和一张待测图I-d。

(1.2)将基准图I-n和待测图I-d基于ORB特征进行图像配准预处理，使得两张图片对齐，可以应对复杂环境导致的监控抖动干扰。

(1.3)对配准后的样本进行标注，采用VOC矩形框格式标注基准图I-n与待测图I-d间发生异常的区域，类别为defeat。

(1.4)将待测图I-d输入训练好的风格迁移模块进行测试，生成干扰图I-i，组成多时相监控图像抗干扰异常检测数据集II，每个样本为(I-n，I-d，I-i)三元组。

(1.5)将数据集II中的图片尺寸归一化为416×416×3。

(2)搭建抗干扰异常检测模型(图3)，该步骤通过以下子步骤实现：

(2.1)搭建三重孪生网络，三重孪生网络为三个结构相同且权值共享的特征提取网络，特征提取网络由多个残差块，卷积层，BN层和ReLU激活函数组成。基准图，待测图和干扰图作为三重孪生网络的输入，分别进行多次下采样，获取不同尺度的特征N

(2.2)进行差异特征融合模块，计算检测差异特征H

(2.3)搭建多尺度预测网络，多尺度预测网络在M个尺度上分别由级联的多层卷积层，BN层和ReLU激活函数组成，将融合差异特征H

(3)训练抗干扰异常检测模型，该步骤通过以下子步骤实现：

(3.1)利用多时相监控图像抗干扰异常检测数据集II训练集数据，对抗干扰异常检测模块进行训练，设置训练轮次，学习率，批尺寸等超参数；

(3.2)在数据集II训练集中随机采样，获得本轮训练的样本m。

(3.3)对基准图I-n，待测图I-d，干扰图I-i使用相同的随机镜像，随机剪切，随机加噪等方法进行数据增强处理。

(3.4)将m输入抗干扰异常检测模块中，可得到检测差异特征H

(3.4.1)根据检测差异特征H

其中λ

(3.4.2)根据预测值R

其中，针对第l个尺度的第i个单元的第j个Anchor，抗干扰异常检测模型预测矩形框的中心横纵坐标、宽度和长度，即输出的预测值R

(3.4.3)根据空间一致性损失

其中w

(3.5)根据步骤(3.4)得到抗干扰异常检测模型的加权损失

(3.5)判断是否达到设定迭代次数，若否，则返回(3.2)步骤进行下一次迭代。若是，保存抗干扰异常检测模型中的参数以及训练好的网络权值即获得训练好的抗干扰异常检测模型。

进一步地，测试了训练好的抗干扰异常检测模型性能，具体如下：

(4.1)加载抗干扰异常检测模型和训练好的网络权值，利用多时相监控图像抗干扰异常检测数据集II中的测试集数据中(I-n，I-d，I-i)三元组作为输入，生成预测结果R

(4.2)对预测结果R

其中多时相监控图像抗干扰异常检测数据集共964个样本，包含异常样本438个，无异常样本526个，每个样本都包含基准图和待测图，两者为同一场景不同时刻拍摄，存在一定的天气，光照和季节等干扰因素。将数据集按照7:2:1的比例随机划分为训练集，验证集和测试集。

表1列出了基于深度学习的多时相监控图像抗干扰异常检测方法以及相关的消融模型在测试集上的检测结果。其中N代表基准图，I代表干扰图，D代表待测图。在训练期间采用四种训练方法对比实验效果：1、使用双重孪生网络、三重孪生网络中相同的特征提取网络,直接从通道维度拼接两张图片作为输入；2、使用双重孪生网络，输入为两张图片的二元组；3、使用三重孪生网络，输入为三张图片的三元组；4、使用三重孪生网络+空间一致性约束四种方法，输入为三张图片的三元组。在测试评估期间，评估指标采用mAP。

表1基于空间一致性约束的抗干扰异常检测方法对比性能(mAP)

图6是本方法的实验结果示意图。根据表1可见，采用特征提取网络或者双重孪生网络的方法，仅利用原始样本训练时，模型对于存在干扰的困难样本的检测能力明显下降；在训练期间加入风格迁移网络生成的干扰样本后，模型对干扰样本以及总体的测试精度有一定提升，这说明了风格迁移模块的有效性。前两种方法仅是在训练样本中直接加入困难干扰样本进行数据集扩充；后两种方式则是将困难干扰样本用于联合训练，当采用三重孪生网络+空间一致性约束方式时，在特征层面进行约束可以提取更具有鲁棒性的差异特征，可以使得多时相监控图像的异常检测精度进一步提升，这说明抗干扰异常检测模块的有效性。

与前述多时相监控图像抗干扰异常检测模型训练方法相对应地，本发明还提供了一种多时相监控图像抗干扰异常检测模型训练装置，包括：

数据获取模块，用于基于多时相监控图像获取图像异常检测数据集，所述图像异常检测数据集中每个样本为(I-n，I-d，I-i)三元组，I-n为基准图，I-d为待测图，I-i为所述待测图对应的干扰图，所述干扰图与待测图的天气和/或季节不同；

训练模块，用于将图像异常检测数据集中每个样本作为抗干扰异常检测模型的输入，以最小化损失函数为目标对抗干扰异常检测模型进行训练，获得训练好的抗干扰异常检测模型；

构建抗干扰异常检测模型，所述抗干扰异常检测模型包括三重孪生网络、差异特征融合模块和多尺度预测网络，其中：

所述三重孪生网络为三个结构相同且权值共享的特征提取网络，分别用于提取获得基准图、待测图和干扰图的不同尺度的特征N

所述差异特征融合模块用于根据获取的不同尺度的特征，计算每个尺度的检测差异特征H

所述多尺度预测网络用于基于每个尺度的融合差异特征H

所述损失函数包含预测值R

进一步地，装置还包括：

风格迁移模块，用于所述待测图基于一训练好的风格迁移模型迁移获得干扰图。

本发明抗干扰异常检测模型训练装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。

装置实施例可以通过软件实现，也以通过硬件或者软硬件结合的方式实现。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

另外，本发明还提供了一种多时相监控图像抗干扰异常检测方法，包括：

将获取的多时相监控图像作为待测图与基准图输入至前述训练获得的抗干扰异常检测模型，获得不同尺度的预测值R

对预测值R

其中，前述训练获得的抗干扰异常检测模型中，干扰图对应的特征提取网络支路的输入换为待测图，使得干扰差异特征H

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。