基于目标检测及孪生网络的目标巡检方法、装置和存储介质

技术领域

本发明涉及深度学习，具体讲是基于目标检测及孪生网络的目标巡检方法、装置和存储介质。

背景技术

在目标巡检中，由于在执行相关视觉任务时，目标物体一般只能提供极少量图片甚至一张图片，对于深度学习算法来说是无法训练的，甚至很多时候没有时间提供训练，只有采取传统图像算法类似模板匹配滤波等，但这样的方案对于非同源图像泛化能力很差，角度光线不同就无法匹配。

发明内容

因此，为了解决上述不足，本发明在此提供一种基于目标检测及孪生网络的目标巡检方法、装置和存储介质，解决了现有技术无法实现少量数据的目标巡检或效果很差的情况。

第一方面，本发明提供了基于目标检测及孪生网络的目标巡检方法，包括如下步骤：

利用近似于工作场景图片来训练目标检测模型；

利用相关场景目标截图来训练具备泛化能力的孪生网络，再设定孪生网络输入图像尺寸和图像个数；

将所述目标检测模型与孪生网络异步部署在所需设备，对摄像头获取的图像帧进行巡检推理；

其中对图像帧进行巡检推理的方法是：

将需要巡检得图像帧进行尺寸适配处理后往由目标检测模型推理推帧，目标检测模型检测到目标并输出框的信息，依据框的信息对图像帧进行截取，截取后的一个或多个目标截图做与孪生网络输入尺寸匹配的尺寸适配处理，再将处理好的目标截图和所述目标图片一起送入孪生网络进行判断。

上述技术方案将目标检测和孪生网络结合，并采用近似于工作场景或利用相关场景目标进行泛化训练，能够解决现有技术无法实现少量数据的目标巡检或效果很差的情况。

可选的，所述训练目标检测模型的方法是：

采集近似于工作场景大量图片制作数据集，标注所有目标类别，再将目标类别的标签设为同一类别。

可选的，训练目标检测模型的方法是：

采集相关场景目标进行截图做分标签细分截图并储存，从而制作第二数据集，再使用将第二数据集中的数据对孪生网络进行训练，以至孪生网络模型对于判断目标物是否为同一物体或目标具备一定的泛化能力。

可选的，尺寸适配处理的方法是：仿射变换等比缩小或放大，尺寸缺少部分进行填充。

可选的，孪生网络输入图像尺寸为16*16像素到128*128像素。

可选的，所述孪生网络输入图像个数为2到20。

可选的，所述所需设备是海思、或华为昇腾、或瑞芯微、或英伟达的边缘设备。

可选的，所述基于目标检测及孪生网络的目标巡检方法，还包括，孪生网络判断出与目标图片为一个目标的截图，将该截图送至传统图像算法模板匹配。

第二方面，本发明提供了基于目标检测及孪生网络的目标巡检装置，包括

目标检测模型模块，用于利用近似于工作场景图片来训练目标检测模型；

孪生网络模块，用于利用相关场景目标截图来训练具备泛化能力的孪生网络，再设定孪生网络输入图像尺寸和图像个数；以及

巡检推理模块，用于将所述目标检测模型与孪生网络异步部署在所需设备，对摄像头获取的图像帧进行巡检推理；

其中对图像帧进行巡检推理的方法是：

将需要巡检得图像帧进行尺寸适配处理后往由目标检测模型推理推帧，目标检测模型检测到目标并输出框的信息，依据框的信息对图像帧进行截取，截取后的一个或多个目标截图做与孪生网络输入尺寸匹配的尺寸适配处理，再将处理好的目标截图和所述目标图片一起送入孪生网络进行判断。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现所述的基于目标检测及孪生网络的目标巡检方法。

本发明具有如下优点：

本发明采用目标检测模型对匹配图像坐标进行限制无需全图逐像素进行匹配，后用具备一定泛化能力的孪生网络对目标物进行匹配，再非同源及少量目标物图像的检索任务下，更节省算力（更快的处理速度）的同时具备更高的精度。

附图说明

图1是本发明所述基于目标检测及孪生网络的目标巡检方法的流程示意图；

图2是本发明所述基于目标检测及孪生网络的目标巡检装置的结构性框图；

图中：100、目标检测模型模块；200、孪生网络模块；300、巡检推理模块。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

如背景技术中所述，在目标巡检中，由于在执行相关视觉任务时，目标物体一般只能提供极少量图片甚至一张图片，对于深度学习算法来说是无法训练的，甚至很多时候没有时间提供训练，只有采取传统图像算法类似模板匹配滤波等，但这样的方案对于非同源图像泛化能力很差，角度光线不同就无法匹配。

基于上述原因，本发明提供了如下实施例。

具体的，本发明提供了基于目标检测及孪生网络的目标巡检方法，包括如下步骤：

S100、训练目标检测模型和孪生网络；

S200、将所述目标检测模型与孪生网络异步部署在所需设备，对摄像头获取的图像帧进行巡检推理；

所述步骤S100包括如下两个步骤（这两个步骤部分先后，可同时进行），

S101、利用近似于工作场景图片来训练目标检测模型；

S102、利用相关场景目标截图来训练具备泛化能力的孪生网络，再设定孪生网络输入图像尺寸和图像个数；

在步骤S200中对图像帧进行巡检推理的方法是：

将需要巡检得图像帧进行尺寸适配处理后往由目标检测模型推理推帧，目标检测模型检测到目标并输出框的信息（如坐标信息），依据框的信息对图像帧进行截取，截取后的一个或多个目标截图做与孪生网络输入尺寸匹配的尺寸适配处理，再将处理好的目标截图和所述目标图片一起送入孪生网络进行判断。

通过上述技术特征解决了现有技术无法实现少量数据的目标巡检或效果很差的情况，采用目标检测模型对匹配图像坐标进行限制无需全图逐像素进行匹配，后用具备一定泛化能力的孪生网络对目标物进行匹配，再非同源及少量目标物图像的检索任务下，更节省算力（更快的处理速度）的同时具备更高的精度。

在一实施例中，所述训练目标检测模型的方法是：

采集近似于工作场景大量图片制作数据集，标注所有目标类别，再将目标类别的标签设为同一类别。

上述技术特征是用大批量泛化数据进行训练，目的为目标检测模型能去除背景检测到该场景的所有目标，不分类别。

示例性的，采集近似于工作场景大量图片制作数据集，标注所有目标类别例如人、车、牛羊、标识等等，之后将所有目标的label（类别）均设为1或同一类别。

在一实施例中，训练目标检测模型的方法是：

采集相关场景目标进行截图做分标签细分截图并储存，从而制作第二数据集，再使用将第二数据集中的数据对孪生网络进行训练，以至孪生网络模型对于判断目标物是否为同一物体或目标具备一定的泛化能力。

示例性的，采集相关场景目标进行截图做分label（类别），可以尽量多分并储存制作数据集，label可以细分，因为很多相似目标都可以分不同的label，例如黄牛和水牛，suv和越野车等；再通过这些数据对孪生网络进行训练，让孪生网络模型对于判断目标物是否为同一物体或目标具备一定的泛化能力，所述孪生网络输入图像尺寸为16*16像素到128*128像素均可。所述孪生网络输入图像个数（或批尺寸）为2到20。

为了适配图片的尺寸，在一实施例中，尺寸适配处理的方法是：仿射变换等比缩小或放大，尺寸缺少部分进行填充。

示例性的，尺寸适配处理的方法包括但不限于，最近邻插值法、双线性插值法、双三次插值法、Lanczos插值法等；尺寸缺少部分进行padding（填充）。

在一实施例中，所述所需设备是包括但不限于海思、或华为昇腾、或瑞芯微、或英伟达的边缘设备，或X86主机设备。

在一实施例中，所述基于目标检测及孪生网络的目标巡检方法，还包括，孪生网络判断出与目标图片为一个目标的截图，将该截图送至传统图像算法模板匹配。传统图像算法模板匹配可以用于目标巡检及跟踪，但需要时同源图像（相同视频的连续帧，背景一样，图像很相似），通过上述步骤S100和S200可以找一个其他非同源的目标物照片或截图来进行匹配，一旦通过深度找到目标物体，就可以切换为传统图像算法进行跟踪。

在一些实施例中，本发明提还供了基于目标检测及孪生网络的目标巡检装置，如图2所示，该装置包括：

目标检测模型模块100利用近似于工作场景图片来训练目标检测模型；

孪生网络模块300利用相关场景目标截图来训练具备泛化能力的孪生网络，再设定孪生网络输入图像尺寸和图像个数；以及

巡检推理模块200将所述目标检测模型与孪生网络异步部署在所需设备，对摄像头获取的图像帧进行巡检推理；

其中对图像帧进行巡检推理的方法是：

将需要巡检得图像帧进行尺寸适配处理后往由目标检测模型推理推帧，目标检测模型检测到目标并输出框的信息，依据框的信息对图像帧进行截取，截取后的一个或多个目标截图做与孪生网络输入尺寸匹配的尺寸适配处理，再将处理好的目标截图和所述目标图片一起送入孪生网络进行判断。

需要说明的是，在上述实施例中，各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可读程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上的基于目标检测及孪生网络的目标巡检方法。

所述基于目标检测及孪生网络的目标巡检装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分，仅仅为一种逻辑功能划分﹐实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。以上实施例仅用以说明本申请的技术方案,而非对其限制；尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。