掌桥专利:专业的专利平台
掌桥专利
首页

目标识别网络的训练方法、装置和系统

文献发布时间:2023-06-19 16:09:34



技术领域

本说明书涉及计算机技术领域,尤其涉及目标识别网络的训练方法、装置和系统。

背景技术

随着公共交通建设的不断发展,对部署在公共交通道路上供电系统的安全性与可靠性的要求日渐提升。以公共交通中的高铁为例,接触网是高铁安全运行的关键组成部分。

应用计算机技术辅助的高铁接触网检测是铁路轨道维护的发展趋势,然而目前的检测方法,需要人工对海量接触网图像进行标注以训练神经网络,存在人工标注成本高的缺陷。

发明内容

本公开提供了一种目标识别网络的训练方案。

根据本公开的一方面,提供一种目标识别网络的训练方法,所述方法包括:获取接触网图像;将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图;根据所述热力图得到至少一个对象的预选框;根据所述接触网图像和所述预选框,训练目标识别网络。

结合本公开提供的任一实施方式,所述将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图,包括:将所述接触网图像输入至预先训练的热力图生成网络;通过所述热力图生成网络中的自注意力机制,得到多张子热力图;通过对所述多张子热力图进行加权融合,得到所述接触网图像的热力图。

结合本公开提供的任一实施方式,所述根据所述热力图得到至少一个对象的预选框,包括:对所述热力图中各像素点的像素值进行二值化处理;基于二值化处理结果,得到至少一个连通区域;根据所述连通区域的矩形框,得到对应对象的预选框。

结合本公开提供的任一实施方式,所述根据所述热力图得到至少一个对象的预选框,包括:根据所述接触网图像的尺寸,调整所述热力图的尺寸,得到调整后热力图;根据所述调整后热力图得到至少一个对象的预选框。

结合本公开提供的任一实施方式,所述根据所述接触网图像和所述预选框,训练目标识别网络,包括:将预选框映射至所述接触网图像,获取映射结果中预选框对应的图像区域;获取所述图像区域的标注特征信息和第一标注类别信息,所述第一标注类别信息指示所述预选框中的对象是前景;利用所述标注特征信息和所述第一标注类别信息对所述预选框进行标注,得到第一样本图像;用所述第一样本图像训练目标识别网络。

结合本公开提供的任一实施方式,所述利用所述第一样本图像训练目标识别网络,包括:将所述第一样本图像输入目标识别网络,得到所述第一样本图像中的第一检测框,以及所述第一检测框对应图像区域的第一预测类别信息,所述第一预测类别信息指示所述第一检测框中对象是前景或背景;获取所述第一检测框对应图像区域的预测特征信息;根据所述第一样本图像中预选框与所述第一检测框之间的位置差异,所述第一标注类别信息与所述第一预测类别信息之间的类别差异,以及所述标注特征信息与所述预测特征信息之间的特征差异,调整所述目标识别网路的网络参数。

结合本公开提供的任一实施方式,所述方法还包括:获取包括目标对象的标注信息的接触网图像作为第二样本图像,其中,所述标注信息包括标注框以及所述标注框对应的第二标注类别信息,所述第二标注类别信息指示所述标注框内目标对象的类别;基于所述第二样本图像对所述目标识别网络进行训练。

结合本公开提供的任一实施方式,所述基于所述第二样本图像对所述目标识别网络进行训练,包括:将所述第二样本图像输入目标识别网络进行识别,得到所述第二样本图像的识别结果,所述识别结果包括第二检测框以及所述第二检测框对应图像区域的第二预测类别信息;根据所述标注框与所述第二检测框之间的差异,以及所述第二标注类别信息与所述第二预测类别信息的差异,调整所述目标识别网络的网络参数。

结合本公开提供的任一实施方式,所述目标对象至少包括下列中的至少一个:绝缘子、驱鸟罩、接触线、吊弦和承力索。

根据本公开的一方面,提供了一种目标识别方法,所述方法包括:获取待识别图像;将所述待识别图像输入目标识别网络,输出目标识别结果,所述目标识别网络基于上述任一所述方法得到。

根据本公开的一方面,提供了一种目标识别网络的训练装置,所述装置包括:第一获取单元,用于获取接触网图像;生成单元,用于将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图;确定单元,用于根据所述热力图得到至少一个对象的预选框;第一训练单元,用于根据所述接触网图像和所述预选框,训练目标识别网络。

结合本公开提供的任一实施方式,所述生成单元具体用于:将所述接触网图像输入至预先训练的热力图生成网络;通过所述热力图生成网络中的自注意力机制,得到多张子热力图;通过对所述多张子热力图进行加权融合,得到所述接触网图像的热力图。

结合本公开提供的任一实施方式,所述确定单元具体用于:对所述热力图中各像素点的像素值进行二值化处理;基于二值化处理结果,得到至少一个连通区域;根据所述连通区域的矩形框,得到对应对象的预选框。

结合本公开提供的任一实施方式,所述确定单元具体用于:根据所述接触网图像的尺寸,调整所述热力图的尺寸,得到调整后热力图;根据所述调整后热力图得到至少一个对象的预选框。

结合本公开提供的任一实施方式,所述第一训练单元具体用于:获取所述映射结果中所述调整后的预选框对应的图像区域;获取所述图像区域的标注特征信息和第一标注类别信息,所述第一标注类别信息指示所述预选框中的对象是前景;利用第一样本图像训练目标识别网络;其中,所述第一样本图像通过所述图像区域、对应的所述标注特征信息和所述第一标注类别信息构建。

结合本公开提供的任一实施方式,所述第一训练单元具体用于:将所述第一样本图像输入目标识别网络,得到所述第一样本图像中的第一检测框,以及所述第一检测框对应图像区域的第一预测类别信息,所述第一预测类别信息指示所述第一检测框中对象是前景或背景;获取所述第一检测框对应图像区域的预测特征信息;根据所述第一样本图像中预选框与所述第一检测框之间的位置差异,所述第一标注类别信息与所述第一预测类别信息之间的类别差异,以及所述标注特征信息与所述预测特征信息之间的特征差异,调整所述目标识别网路的网络参数。

结合本公开提供的任一实施方式,所述装置还包括第二训练单元,用于:获取包括目标对象的标注信息的接触网图像作为第二样本图像,其中,所述标注信息包括标注框以及所述标注框对应的第二标注类别信息,所述第二标注类别信息指示所述标注框内目标对象的类别;基于所述第二样本图像对所述目标识别网络进行训练。

结合本公开提供的任一实施方式,所述第二训练单元具体用于:将所述第二样本图像输入目标识别网络进行识别,得到所述第二样本图像的识别结果,所述识别结果包括第二检测框以及所述第二检测框对应图像区域的第二预测类别信息;根据所述标注框与所述第二检测框之间的差异,以及所述第二标注类别信息与所述第二预测类别信息的差异,调整所述目标识别网络的网络参数。

结合本公开提供的任一实施方式,所述目标对象至少包括下列中的至少一个:绝缘子、驱鸟罩、接触线、吊弦和承力索。

根据本公开的一方面,提供了一种目标识别装置,所述装置包括:第二获取单元,用于获取待识别图像;识别单元,用于将所述待识别图像输入目标识别网络,输出目标识别结果,所述目标识别网络基于上述任一实施方式所述的目标识别网络的训练方法。

根据本公开的一方面,提供了一种电子设备,所述设备包括:处理器;用于存储处理器可执行指令的存储器,以执行本公开任一实施方式所述的目标识别网络的训练方法,以及目标识别方法。

根据本公开的一方面,提供了一种计算机可读存储介质,其上储存有计算机程序指令,所述计算机程序指令被处理器执行时实现本公开任一实施方式所述的目标识别网络的训练方法,以及目标识别方法。

本说明书的实施例提供的技术方案可以包括以下有益效果:

本说明书实施例中,将接触网图像输入至预先训练的热力图生成网络,得到接触网图像的热力图,并根据热力图得到至少一个对象的预选框,利用接触网图像和预选框训练目标识别网络,能够降低人工标注接触网图像的成本。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。

图1是本说明书根据一示例性实施例示出的一种目标识别网络的训练方法的流程图。

图2是本公开至少一个实施例提供的目标识别网络的训练过程框图。

图3为本公开至少一个实施例提供的目标识别网络的训练装置的结构示意图。

图4为本公开至少一个实施例提供的训练目标识别网络的电子设备结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开应用于识别接触网图像中目标对象的场景。接触网是沿运行轨道架设的,向受电弓提供电流的高压输电线网。接触网包括接触悬挂、支持装置、定位装置、支柱与基础。其中接触悬挂包括接触线、吊弦、承力索以及连接零件和绝缘子。

在一些应用场景中,需要识别接触网图像中的目标对象。本公开中的目标对象可以理解为接触网的零部件,例如绝缘子、驱鸟罩、吊弦、承力索和接触线等。示例的,在运营维护任务中需要对驱鸟罩的缺陷进行判断的场景中,要先对驱鸟罩进行定位,在不同线路和不同拍摄场景下准确找出驱鸟罩的位置。目前通过人工对海量接触网图像中的驱鸟罩进行标注,利用标注有驱鸟罩信息的接触网图像训练神经网络,以定位接触网图像中的驱鸟罩。但存在人工标注成本高,跨线路识别时稳定性差,泛化性能低的问题。对于泛化性能低的问题可以理解为,利用人工标注线路的接触网图像,训练得到用于识别指定线路中零部件的神经网络。利用该神经网络识别另一线路的接触网图像时,得到的识别结果不能达到期望效果。

鉴于此,本公开提供了一种目标识别网络的训练方法。该训练方法包括将接触网图像输入至预先训练的热力图生成网络,得到接触网图像的热力图,并根据热力图得到至少一个对象的预选框,根据接触网图像和预选框训练目标识别网络,得到的目标识别网络能够对接触网图像中的对象进行识别和定位。该训练过程中通过热力图得到对象的预选框,故不需要进行人工标注,能够节约人工标注接触网图像的成本。

接下来对本说明书实施例进行详细说明。

如图1所示,图1是本说明书根据一示例性实施例示出的一种目标识别网络的训练方法的流程图,包括以下步骤:

在步骤101中,获取接触网图像。

在本公开实施例中,接触网图像可以为接触网悬挂状态监测装置采集的接触网图像。运行本公开训练方法的设备获取接触网图像的方式,可以为接收接触网悬挂状态监测装置传输的接触网图像;或者还可以为调取存储在本地文件中的接触网图像;或者还可以为接收与其通信连接的其他设备发送的接触网图像。

在一种实施方式中,获取接触网图像之后,还包括:根据分辨率阈值对所述接触网图像进行过滤。

示例的,接触网图像由接触网巡检车顶40处高清成像设备拍摄采集,其中20个相机朝向车头的斜上方,另外20处相机朝向车尾的斜上方。巡检车辆对接触网悬挂的支持装置、悬挂等进行正反面及布局的高清成像。巡检车辆在夜间作业时,车载传感装置每检测到立柱即触发相机拍照,最终的接触网图像来自不同的相机拍摄的不同角度,图像分辨率通常为第一分辨率(例如6576x4384),极个别分辨率较低(例如1920x1300)。本公开考虑到分辨率过低的接触网图像无法获得图像细节,辨识难度大,因此根据分辨率阈值对接触网图像进行过滤,保留满足分辨率阈值的接触网图像,以提高训练效果。

在步骤102中,将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图。

利用海量未标注的接触网图像预先训练热力图生成网络。将接触网图像输入完成训练的热力图生成网络,输出该接触网图像的热力图。

在一种实施方式中可以将DINO网络作为热力图生成网络。

在步骤103中,根据所述热力图得到至少一个对象的预选框。

在接触网图像的热力图中,根据不同区域的热力值确定对象所在的位置,将对象所在位置处的矩形框确定为该对象的预选框。接触网图像中可以包括多个对象,例如同一接触网图像中包括绝缘子和驱鸟罩,根据该接触网图像对应的热力图,可以得到绝缘子的预选框以及驱鸟罩的预选框。

在步骤104中,根据所述接触网图像和所述预选框,训练目标识别网络。

将接触网图像和预选框组成的样本图像输入目标识别网络,得到识别结果。根据预选框确定标注信息,根据识别结果和标注信息之间的差异,调整目标识别网络的网络参数。

本公开通过接触网图像的热力图得到接触网图像的预选框,该过程无需进行人工标注,从而有效缓解接触网图像的数据标注成本。本公开通过海量无需人工标注的接触网图像,从不同线路以及不同拍摄场景下学习接触网图像中各零部件的固有结构信息,为后续网络识别指定零部件做准备。此外,还能学到不同线路下各零部件的差异性,提升网络的泛化性能。

上述实施例从整体上简述了训练目标识别网络的训练思路,下述实施例将分别介绍热力图的生成以及预选框的生成。

在一些实施例中,将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图,包括:将所述接触网图像输入至预先训练的热力图生成网络;通过所述热力图生成网络中的自注意力机制,得到多张子热力图;通过对所述多张子热力图进行加权融合,得到所述接触网图像的热力图。

本公开实施例中,热力图生成网络中包括自注意力机制,自注意力机制通过关注不同的侧重点,生成接触网图像的多张子热力图。为了便于理解,可以将多张子热力图看作侧重接触网图像中不同对象的热力图。

示例的,采用热力图生成网络对无标注的接触网图像进行推理,通过热力图生成网络Transformer中的自注意力机制获得12张子热力图,每张子热力图代表热力图生成网络不同的侧重点。

在一例中,将每张子热力图与对应的权重相乘后相加得到热力图,其中可以根据每张子热力图的侧重点确认对应的权重。在另一例中,通过对多张子热力图进行平均处理得到的热力图。通过任意方式得到的热力图对接触网图像中有对象的位置具有较高热力值,突显出自注意力机制所关注的所有对象。

本公开利用预先训练的热力图生成网络得到接触网图像的热力图,且热力图生成网络的训练同样无需人工标注的接触网图像,能够降低人工标注成本。

在一些实施例中,根据所述热力图得到至少一个对象的预选框的,包括:对所述热力图中各像素点的像素值进行二值化处理;基于二值化处理结果,得到至少一个连通区域;根据所述连通区域的矩形框,得到对应对象的预选框。

在本公开实施例中,对所述热力图中各像素点的像素值进行二值化处理,包括:将热力图中各像素点的像素值与预设像素阈值进行比较,将大于预设像素阈值的像素点的像素值,设置为第一像素值(例如255);将小于预设像素阈值的像素点的像素值,设置为第二像素值(例如0)。其中,第一像素值与第二像素值不同。

在一个示例中,对热力图中各像素点的像素值进行二值化处理,得到二值化处理结果。在二值化处理结果中,将相邻且像素值相同的像素点连通,得到至少一个连通区域,一个连通区域对应一个对象。

本公开实施例可以将连通区域的最大外接矩形框,作为该连通区域对应对象的预选框。

相比于相关技术中通过人工标注的方式得到接触网图像中各对象的预选框而言,通过接触网图像的热力图得到接触网图像的预选框,能够降低人工标注成本。

在一些实施方式中,若通过热力图生成网络生成的热力图的尺寸与接触网图像的尺寸不一致,则在将热力图中的预选框映射至接触网图像之前,根据接触网图像的尺寸调整热力图的尺寸。因此,根据所述热力图得到至少一个对象的预选框,包括:根据所述接触网图像的尺寸,调整所述热力图的尺寸,得到调整后热力图;根据所述调整后热力图得到至少一个对象的预选框。

通过对热力图进行尺度变换,使热力图与接触网图像的尺度保持一致,确保映射至接触网图像上的预选框能够覆盖接触网图像中的对象。

在一些实施例中,根据所述接触网图像和所述预选框,训练目标识别网络包括:将预选框映射至所述接触网图像,获取映射结果中预选框对应的图像区域;获取所述图像区域的标注特征信息和第一标注类别信息;利用第一样本图像训练目标识别网络;其中,所述第一样本图像通过所述图像区域、对应的所述标注特征信息和所述第一标注类别信息构建。

在本公开实施例中,映射结果可以理解为标注有预选框的接触网图像,对该接触网图像进行图像分割,得到预选框对应的图像区域。其中,预选框可以为调整后热力图上的预选框。

本公开中的第一标注类别信息指示所述预选框中的对象是前景。利用预训练的神经网络提取图像区域中的图像特征,作为标注特征信息。预训练的神经网络可以采用resnet50网络。同一接触网图像中可以包括多个预选框,每个预选框均对应有标注特征信息以及第一标注类别信息。

在一些实施例中,利用所述第一样本图像训练目标识别网络,包括:将所述第一样本图像输入目标识别网络,得到所述第一样本图像中的第一检测框,以及所述第一检测框对应图像区域的第一预测类别信息;其中,所述第一预测类别信息指示所述第一检测框中对象是前景或背景。获取所述第一检测框对应图像区域的预测特征信息。根据所述第一样本图像中预选框与所述第一检测框之间的位置差异,所述第一标注类别信息与所述第一预测类别信息之间的类别差异,以及所述标注特征信息与所述预测特征信息之间的特征差异,调整所述目标识别网路的网络参数。

本公开通过预训练的神经网络提取第一检测框对应图像区域的预测特征信息。

在一种实施方式中,如图2所示,图2右边的接触网图像上标注有多个预选框,以及各预选框对应的第一标注类别信息和标注特征信息。将接触网图像输入目标识别网络,得到多个第一检测框,以及各第一检测框对应图像区域的第一预测类别信息,并获取所述第一检测框对应图像区域的预测特征信息。通过目标识别网络得到的第一预测类别信息指示第一检测框中对象是前景或背景。根据预选框与第一检测框之间的位置差异,第一标注类别信息与第一预测类别信息之间的类别差异,以及标注特征信息与预测特征信息之间的特征差异,调整目标识别网路的网络参数。

本公开通过接触网图像以及热力图得到的预选框训练的目标识别网络,能够对接触网图像中的各对象进行识别(从图像中识别出背景与对象)和定位;并且,为了能够识别指定的目标对象,可以利用少量带有目标对象标注信息的接触网图像继续训练目标识别网络,得到能够识别指定目标对象的目标识别网络,提高分类的准确性。

在上述任意实施例的基础上,本公开还包括获取包括目标对象的标注信息的接触网图像作为第二样本图像,其中,所述标注信息包括标注框以及所述标注框的第二标注类别信息,所述第二标注类别信息指示所述标注框内目标对象的类别;基于所述第二样本图像对所述目标识别网络进行训练。

其中,目标对象至少包括下列中的至少一个:绝缘子、驱鸟罩、接触线、吊弦和承力索。目标对象根据应用场景确定,例如在绝缘子检修场景中,目标对象为绝缘子。需说明,目标对象为待检测目标中的一个或多个。

在本公开实施例中,所述基于所述第二样本图像对所述目标识别网络进行训练,包括:将所述第二样本图像输入目标识别网络进行识别,得到所述第二样本图像的识别结果,所述识别结果包括第二检测框以及所述第二检测框对应图像区域的第二预测类别信息;根据所述标注框与所述第二检测框之间的差异,以及所述第二标注类别信息与所述第二预测类别信息的差异,调整所述目标识别网络的网络参数。

在本公开中,先利用无人工标注的接触网图像训练得到目标识别网络,再采用少量带有人工标注的目标对象标注信息的接触网图像训练目标识别网络,最终得到的目标识别网络能够识别指定的目标对象。即,本公开中训练目标识别网络包括两个阶段,在第一阶段利用无标签的接触网图像进行训练,主要训练目标识别网络对前景和背景的识别和定位,因此,只能提升目标识别网络对前景与背景分类的准确性,而无法提升对目标对象的具体类别分类的准确性;在第二阶段利用带有指定目标对象类别标签的接触网图像进行训练,用有类别标签的接触网图像调整目标识别网络的网络参数,提高目标识别网络对目标对象所属类别进行分类的准确性。本公开所需带有目标对象标注信息的接触网图像的数量远小于相关技术中的数量。如此,通过降低对包括目标对象的标注信息的接触网图像的数量需求,进而降低了人工成本。

利用本公开提供的方法,能够利用较少的带有目标对象标注信息的接触网图像,即可训练得到用于识别指定目标对象的目标识别网络,能够降低人工标注成本,提高泛化性能。换言之,本公开使用海量的未标注接触网图像,对于各个线路和场景在训练目标识别网络阶段都有学习,通过带有目标对象标注信息的接触网图像对目标识别网络进行微调,使得到的目标识别网络具有更优的跨线路泛化性能。

在一种实施方式中,目标对象为驱鸟罩,获取包括驱鸟罩的标注信息的接触网图像作为第二样本图像;基于第二样本图像对目标识别网络进行训练,得到驱鸟罩识别网络。驱鸟罩识别网络基于利用在目标识别网络的基础上训练得到,其收敛速度更快,精度也有提升。利用训练得到的驱鸟罩识别网络可以应用于,在光线较暗人眼无法准确辨别有无驱鸟罩的场景中采集的接触网图像。

图3为本公开至少一个实施例提供的目标识别网络的训练装置的结构示意图,如图3所示,所述装置包括:第一获取单元301,用于获取接触网图像;生成单元302,用于将所述接触网图像输入至预先训练的热力图生成网络,得到所述接触网图像的热力图;确定单元303,用于根据所述热力图得到至少一个对象的预选框;第一训练单元304,用于根据所述接触网图像和所述预选框,训练目标识别网络,能够降低人工标注成本。

在一些实施例中,所述生成单元具体用于:将所述接触网图像输入至预先训练的热力图生成网络;通过所述热力图生成网络中的自注意力机制,得到多张子热力图;通过对所述多张子热力图进行加权融合,得到所述接触网图像的热力图。

在一些实施例中,所述确定单元具体用于:对所述热力图中各像素点的像素值进行二值化处理;基于二值化处理结果,得到至少一个连通区域;根据所述连通区域的矩形框,得到对应对象的预选框。

在一些实施例中,所述确定单元具体用于:根据所述接触网图像的尺寸,调整所述热力图的尺寸,得到调整后热力图;根据所述调整后热力图得到至少一个对象的预选框。

在一些实施例中,所述第一训练单元具体用于:将预选框映射至所述接触网图像,获取所述映射结果中预选框对应的图像区域;获取所述图像区域的标注特征信息和第一标注类别信息,所述第一标注类别信息指示所述预选框中的对象是前景;利用所述标注特征信息和所述第一标注类别信息对所述预选框进行标注,得到第一样本图像;用所述第一样本图像训练目标识别网络。

在一些实施例中,所述第一训练单元具体用于:将所述第一样本图像输入目标识别网络,得到所述第一样本图像中的第一检测框,以及所述第一检测框对应图像区域的第一预测类别信息,所述第一预测类别信息指示所述第一检测框中对象是前景或背景;获取所述第一检测框对应图像区域的预测特征信息;根据所述第一样本图像中预选框与所述第一检测框之间的位置差异,所述第一标注类别信息与所述第一预测类别信息之间的类别差异,以及所述标注特征信息与所述预测特征信息之间的特征差异,调整所述目标识别网路的网络参数。

在一些实施例中,所述装置还包括第二训练单元305,用于:获取包括目标对象的标注信息的接触网图像作为第二样本图像,其中,所述标注信息包括标注框以及所述标注框对应的第二标注类别信息,所述第二标注类别信息指示所述标注框内目标对象的类别;基于所述第二样本图像对所述目标识别网络进行训练。

在一些实施例中,所述第二训练单元具体用于:将所述第二样本图像输入目标识别网络进行识别,得到所述第二样本图像的识别结果,所述识别结果包括第二检测框以及所述第二检测框对应图像区域的第二预测类别信息;根据所述标注框与所述第二检测框之间的差异,以及所述第二标注类别信息与所述第二预测类别信息的差异,调整所述目标识别网络的网络参数。

在一些实施例中,所述目标对象至少包括下列中的至少一个:绝缘子、驱鸟罩、接触线、吊弦和承力索。

在一些实施例中,本公开实施例还提供了一种目标识别装置,所述装置包括:第二获取单元,用于获取待识别图像;识别单元,用于将所述待识别图像输入目标识别网络,输出目标识别结果,所述目标识别网络基于上述方法得到。

图4为本公开至少一个实施例提供的训练目标识别网络的电子设备结构示意图。如图4所示,所述电子设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的目标识别网络的训练方法,以及目标识别方法。

本公开至少一个实施例还提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本公开任一所述的目标识别网络的训练方法,以及目标识别方法。

本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的“和/或”表示至少具有两者中的其中一个,例如,“A和/或B”包括三种方案:A、B、以及“A和B”。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。

类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。

由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。

技术分类

06120114726814