一种样本自动生成方法、系统、设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种样本自动生成方法、系统、设备和存储介质。

背景技术

现阶段，在基于深度学习的图像处理技术的相关应用研究中，样本的数据量是影响模型识别性能的重要因素，样本的数据量越大，模型识别性能越好。图像处理技术是视觉、分析和数据融合等实用技术的基础，在配电网领域有重要的应用价值，也因此被引入到检测输电线路巡检图片缺陷的相关应用研究中。

然而，利用图像处理技术来检测输电线路巡检图片缺陷的研究正处在起步阶段，收集到的缺陷样本数据量较少，获取新的独立样本图片又比较困难，因此，怎样有效扩充样本数据量成为亟待解决的问题。

发明内容

针对现有技术存在的上述技术问题，本发明提供了一种样本自动生成方法、系统、设备和存储介质，解决了有效扩充输电线路巡检图片缺陷的样本数据量的问题。

本发明第一方面示出一种用于稀疏神经网络的样本自动生成方法，包括：获取样本对象图片，获取样本对象图片的前景图片；

获取目标背景图片，在目标背景图片上随机生成至少一个目标显示区域；

将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配；

将变换图片放置于匹配的目标显示区域，生成目标样本图片。

优选地，在目标背景图片上随机生成目标显示区域的步骤，包括：

在目标背景图片上随机选择至少一个像素点作为至少一个图片中心点；

以每个图片中心点为中心生成矩形框，将至少一个矩形框对应的区域作为至少一个目标显示区域。

优选地，以每个图片中心点为中心生成矩形框的步骤，包括：

随机获取高度值和宽度值，根据高度值和宽度值以图片中心点为中心生成矩形框。

在一些实施例中，以每个图片中心点为中心生成矩形框的步骤之后，包括：

随机确定矩形框的长边或宽边与水平线的夹角。

优选地，将前景图片进行透视变换，获取变换图片的步骤，包括：

获取透视变换矩阵；

获取前景图片中目标像素点的初始坐标值，根据透视变换矩阵计算出初始坐标值对应的目标坐标值。

优选地，获取透视变换矩阵的步骤，包括：

获取前景图片中至少四个初始像素点的初始坐标值，以及至少四个初始像素点对应的变换像素点的变换坐标值；

根据初始坐标值和变换坐标值计算透视变换矩阵。

优选地，获取样本对象图片的前景图片的步骤，包括：

通过图片前景分割算法获取前景图片。

本发明第二方面示出一种用于稀疏神经网络的样本自动生成系统，包括：

前景模块，用于获取样本对象图片，获取样本对象图片的前景图片；

背景模块，用于获取目标背景图片，在目标背景图片上随机生成至少一个目标显示区域；

变换模块，用于将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配；

生成模块，用于将变换图片放置于匹配的目标显示区域，生成目标样本图片。

本发明第三方面示出一种用于稀疏神经网络的样本自动生成设备，包括：存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述样本自动生成方法的步骤。

本发明第四方面示出一种用于稀疏神经网络的样本自动生成介质，包括：存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述样本自动生成方法的步骤。

由以上技术方案可知，采用本发明实施例，具有如下有益效果：获取样本对象图片的前景图片，在目标背景图片上随机生成至少一个目标显示区域，将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的样本自动生成方法的第一实施例的流程示意图；

图2是本发明提供的样本自动生成方法的第二实施例的流程示意图；

图3a是本发明提供的巡维图片的一实施例的示意图；

图3b是本发明提供的前景图片的一实施例的示意图；

图4是本发明提供的目标背景图片的一实施例的示意图；

图5是本发明提供的具有至少一个目标显示区域的目标背景图片的一实施例的示意图；

图6是本发明提供的目标样本图片的至少一个变换图片的示意图；

图7是本发明提供的基于透视变换的样本自动生成系统的一实施例的结构示意图；

图8是本发明提供的计算机设备的一实施例的结构示意图；

图9是本发明提供的存储介质的一实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中的技术方案作进一步详细的说明。

图1是本发明提供的基于透视变换的样本自动生成方法的第一实施例的流程示意图。如图1所示，本发明提供的基于透视变换的样本自动生成方法包括如下步骤：

S101：获取样本对象图片，获取样本对象图片的前景图片。

图3a是本发明提供的巡维图片的一实施例的示意图。图3b是本发明提供的前景图片的第一实施例的示意图。如图3a所示，在一个具体的实施场景中，获取样本对象图片，样本对象图片可以是实际拍摄的包括目标拍摄物的巡维图片。如图3b所示，通过图片前景分割算法(例如，Graph cut算法)获取所样本对象图片的前景图片。

S102：获取目标背景图片，在目标背景图片上随机生成至少一个目标显示区域。

在一个具体的实施场景中，获取目标背景图片，目标背景图片可以纯色图片也可以是实际拍摄的图片。图4是本发明提供的目标背景图片的一实施例的示意图。如图4所示，在本实施场景中，目标背景图片为黑色的纯色图片。

在目标背景图片上随机生成至少一个目标显示区域，至少一个目标显示区域的位置、长宽、角度、面积等等数值均可是随机生成的。图5是本发明提供的具有至少一个目标显示区域的目标背景图片的一实施例的示意图。如图5所示，在如图4所示的目标背景图片上随机生成三个目标显示区域。

S103：将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配。

在一个具体的实施场景中，对前景图片进行透视变换，透视变换又叫投影变换，我们常说的仿射变换是透视变换的一个特例。透视变换的目的就是把现实中为直线的物体，在图片上可能呈现为斜线，通过透视变换转换成直线的变换。

在本实施场景中，可以预先获取目标显示区域的尺寸，根据目标显示区域的尺寸对前景图片进行透视变换，从而变换图片的尺寸与至少一个目标显示区域匹配。例如，可任意根据目标显示区域的外框线的位置对前景图片的外框线进行变换，获取变换矩阵，将前景图片的每一个像素点的位置依据变换矩阵变换，从而获取变换图片。

S104：将变换图片放置于匹配的目标显示区域，生成目标样本图片。

在一个具体的实施场景中，将变换图片放置于目标显示区域，生成目标样本图片。进一步地，获取样本对象图片的标识，例如样本对象图片为绝缘子故障，为目标样本图片添加同样的标识。图6是本发明提供的目标样本图片的至少一个变换图片的示意图。如图6所示，分别为(a)变换图片、(b)变换图片、(c)变换图片、(d)变换图片、(e)变换图片、(f)变换图片、(g)变换图片、(h)变换图片、(i)变换图片、(j)变换图片、(k)变换图片、(l)变换图片、(m)变换图片、(n)变换图片、(o)变换图片、(p)变换图片、(q)变换图片和(r)变换图片。在本实施场景中，目标样本图片中可以包括至少一个变换图片，至少一个变化图片可以具有重叠、部分重叠、分离等等多种位置关系。

通过上述描述可知，在本实施例中获取样本对象图片的前景图片，在目标背景图片上随机生成至少一个目标显示区域，将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

图2是本发明提供的基于透视变换的样本自动生成方法的第二实施例的流程示意图。如图2所示，本发明提供的基于透视变换的样本自动生成方法包括如下步骤：

S201：获取样本对象图片，获取样本对象图片的前景图片。

在一个具体的实施场景中，步骤S201与本发明提供的基于透视变换的样本自动生成方法的第一实施例中的步骤S101基本一致，此处不再进行赘述。

S202：获取目标背景图片，在目标背景图片上随机选择至少一个像素点作为至少一个图片中心点。

在一个具体的实施场景中，获取目标背景图片，在目标背景图片上随机选择至少一个像素点，每个像素点作为图片中心点，也就是以后将变换图片放置在目标背景图片上时，变换图片的中心点的位置。

S203：以每个图片中心点为中心生成矩形框，将至少一个矩形框对应的区域作为至少一个目标显示区域。

在一个具体的实施场景中，随机获取高度值和宽度值，根据高度值和宽度值以图片中心点为中心生成矩形框。进一步地，随机确定矩形框的长边或宽边与水平线的夹角。将至少一个矩形框对应的区域作为至少一个目标显示区域。至少一个矩形框的位置关系包括平行、重叠、部分重叠、远离等等。

S204：获取透视变换矩阵；获取前景图片中目标像素点的初始坐标值，根据透视变换矩阵计算出初始坐标值对应的目标坐标值，从而获取变换图片。

在一个具体的实施场景中，透视变换原理为

由于透视变换是二维空间到三维空间的转换，实际转换后的结果以二维图片的形式展现，因此将X、Y、Z都除以Z，获得X’、Y’、Z’，以表示透视变换后的变换图片上的点。具体地，请参阅下列公式：

进一步地，根据上述公式可以得出：

令a

根据上述公式可知，存在8个未知数(a

假设前景图片中的四个初始像素点的初始坐标分别为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)，变换后的变换图片的这个四个初始像素点的目标坐标为(X’0，Y’0)、(X’1，Y’1)、(X’2，Y’2)、(X’3，Y’3)，则上述公式可以变为：

根据上述公式可以计算出透视变换矩阵warpMatric

将前景图片中的每一像素点作为目标像素点乘以透视变换矩阵warpMatric，根据前景图片中目标像素点的初始坐标值计算出初始坐标值对应的目标坐标值从而获取变换图片。

在本实施场景中，可以选择前景图像的边缘或者顶角的像素点作为目标像素点，在其他实施场景中，还可以选择前景图像中心的像素点作为目标像素点。获取目标像素点在变化图片中的坐标，从而计算出透视变换矩阵warpMatric。

S205：将变换图片放置于匹配的目标显示区域，生成目标样本图片。

在一个具体的实施场景中，步骤S205与本发明提供的基于透视变换的样本自动生成方法的第一实施例中的步骤S104基本一致，此处不再进行赘述。

通过上述描述可知，在本实施例中获取前景图片中至少四个初始像素点的初始坐标值，以及至少四个初始像素点对应的变换像素点的变换坐标值；根据初始坐标值和变换坐标值计算透视变换矩阵，将前景图片中的每一像素点作均乘以透视变换矩阵warpMatric，从而获取变换图片，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

图7是本发明提供的基于透视变换的样本自动生成系统的一实施例的结构示意图。如图7所示，基于透视变换的样本自动生成系统10包括前景模块11、背景模块12、变换模块13和生成模块14。

前景模块11用于获取样本对象图片，获取样本对象图片的前景图片。背景模块12用于获取目标背景图片，在目标背景图片上随机生成至少一个目标显示区域。变换模块13用于将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配。生成模块14用于将变换图片放置于匹配的目标显示区域，生成目标样本图片。

背景模块12还用于在目标背景图片上随机选择至少一个像素点作为至少一个图片中心点；以每个图片中心点为中心生成矩形框，将至少一个矩形框对应的区域作为至少一个目标显示区域。

在一些实施例中，背景模块12还用于随机获取高度值和宽度值，根据高度值和宽度值以图片中心点为中心生成矩形框。

优选地，背景模块12还用于随机确定矩形框的长边或宽边与水平线的夹角。

变换模块13还用于获取透视变换矩阵；获取前景图片中目标像素点的初始坐标值，根据透视变换矩阵计算出初始坐标值对应的目标坐标值。

在一些实施例中，变换模块13还用于获取前景图片中至少四个初始像素点的初始坐标值，以及至少四个初始像素点对应的变换像素点的变换坐标值；根据初始坐标值和变换坐标值计算透视变换矩阵。

在一些实施例中，前景模块11还用于通过图片前景分割算法获取前景图片。

通过上述描述可知，在本实施例中基于透视变换的样本自动生成系统获取样本对象图片的前景图片，在目标背景图片上随机生成至少一个目标显示区域，将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

图8是本发明提供的计算机设备的一实施例的结构示意图。如图8所示，计算机设备20包括处理器21、存储器22。处理器21耦接存储器22。存储器22中存储有计算机程序，处理器21在工作时执行该计算机程序以实现如图1和2所示的方法。详细的方法可参见上述，在此不再赘述。

通过上述描述可知，在本实施例中，计算机设备获取样本对象图片的前景图片，在目标背景图片上随机生成至少一个目标显示区域，将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

图9是本发明提供的存储介质的一实施例的结构示意图。如图9所示，计算机可读存储介质30中存储有至少一个计算机程序31，计算机程序31用于被处理器执行以实现如图1-图2所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，计算机可读存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等

通过上述描述可知，在本实施例中，存储介质中的计算机程序可以用于获取样本对象图片的前景图片，在目标背景图片上随机生成至少一个目标显示区域，将前景图片进行透视变换，获取变换图片，使得变换图片的尺寸与至少一个目标显示区域匹配，将变换图片放置于匹配的目标显示区域，生成目标样本图片，可以根据一个样本对象图片随机生成多个不同视角的目标样本图片，有效扩充了样本数量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上显示和描述了本发明的基本原理和主要特征和以及本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当合，形成本领域技术人员可以理解的其他实施方式。

本发明提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本发明总的构思下的几个示例，并不构成本发明保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本发明方案所扩展出的任何其他实施方式都属于本发明的保护范围。