掌桥专利:专业的专利平台
掌桥专利
首页

用于停车场管理的基于重对象识别的神经网络的训练方法

文献发布时间:2023-06-19 09:40:06


用于停车场管理的基于重对象识别的神经网络的训练方法

技术领域

本申请涉及人工智能技术领域,且更为具体地,涉及一种用于停车场管理的基于对象重识别的神经网络的训练方法、用于停车场管理的基于神经网络的图像处理方法、系统和电子设备。

背景技术

“智慧城市”将信息技术与先进的城市经营服务理念进行有效融合,通过对城市的地理、资源、环境、经济等进行数字网络化管理,为城市提供更便捷、高效、灵活的公共管理的创新服务模式。

随着智慧城市的部署,越来越多的停车场管理中使用监控摄像头来进行管理,例如,通过设置在停车场中的不同位置的多个监控摄像头拍摄停车场的图像,然后将每个摄像头拍摄的图像分屏显示,从而对停车场内的情况进行监控。

随着基于人工智能的机器视觉技术的发展,在各种监控领域越来越多地使用机器视觉技术来进行对象检测、对象跟踪、对象识别等,相应地,该技术也可以应用于停车场管理领域。

因为停车场通常覆盖较大的区域范围,而为了保证每个摄像头获取的图像的精度,因此需要安装较多数目的摄像头,并且在安装时,就要保证每个摄像头的覆盖范围,以使得全部摄像头能够覆盖停车场的整个范围。而在停车场管理的很多应用场景下,期望以停车场的整体作为目标,而不是以每个摄像头单独覆盖的区域作为目标来进行管理,例如,当需要从停车场内检索特定车辆时,希望从整个停车场的范围内一次性地检索目标车辆,而不是检索每个摄像头拍摄的图像来确定目标车辆。另外,在进行特定目标对象的跟踪时,也是希望获得目标对象在停车场的整体范围内的运动轨迹,而不是获得每个摄像头拍摄的图像内的运动轨迹再进行拼接。

因此,期望能够以多个摄像头拍摄的图像作为输入集合来从全局角度进行停车场管理的机器视觉方案。

发明内容

为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于停车场管理的基于对象重识别的神经网络的训练方法、用于停车场管理的基于神经网络的图像处理方法、系统和电子设备,其基于空间注意力机制的重识别技术处理所述停车场中各个摄像头之间拍摄的区域的重叠问题,以实现对所述停车场中的对象进行全局管理。

根据本申请的一个方面,提供了一种用于停车场管理的基于对象重识别的神经网络的训练方法,其包括:

获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像;

将所述训练图像集输入卷积神经网络以获得训练特征图;

将所述训练特征图输入空间注意力模块以获得空间注意力图;

基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值;

将所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值;以及

基于所述距离损失函数值和所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,将所述训练特征图输入空间注意力模块以获得空间注意力图,包括:将所述训练特征图输入第一卷积层以获得第一卷积特征图;将所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图;将所述第一激活特征图输入第二卷积层以获得第二卷积特征图;以及,将所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,所述第一卷积层和/或所述第二卷积层是1×1卷积层。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值,包括:将所述空间注意力图与所述训练特征图进行高度维度的平均池化以获得第一空间注意力向量和第一训练特征向量;将所述空间注意力图与所述训练特征图进行宽度维度的平均池化以获得第二空间注意力向量和第二训练特征向量;计算所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离;以及,基于所述第一距离和所述第二距离计算所述距离损失函数值。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离是欧式距离。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,基于所述第一距离和所述第二距离计算所述距离损失函数值,包括:基于所述第一距离和所述第二距离的加权和计算所述距离损失函数值。

在上述用于停车场管理的基于对象重识别的神经网络的训练方法中,所述第一距离和所述第二距离的加权系数基于所述停车场的整体形状和所述各个摄像头的分布状况确定。

根据本申请的另一方面,提供了一种用于停车场管理的基于神经网络的图像处理方法,其包括:

获取由分布在停车场内的不同位置的多个监控摄像头获取的多个停车场部分图像;

将所述多个停车场部分图像输入如上所述的用于停车场管理的基于对象重识别的神经网络的训练方法训练的卷积神经网络以获得检测特征图;以及

基于所述检测特征图进行所述停车场内的预定对象的对象处理。

根据本申请的又一方面,还提供了一种用于停车场管理的基于对象重识别的神经网络的训练系统,其包括:

训练图像集获取单元,用于获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像;

训练特征图生成单元,用于将所述训练图像集获取单元获得的所述训练图像集输入卷积神经网络以获得训练特征图;

空间注意力图生成单元,用于将所述训练特征图生成单元获得的所述训练特征图输入空间注意力模块以获得空间注意力图;

距离损失函数值计算单元,用于基于所述空间注意力生成单元获得的所述空间注意力图与所述训练特征图生成单元获得的所述训练特征图之间的距离以获得距离损失函数值;

注意力损失函数值计算单元,用于将所述空间注意力生成单元获得的所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值;以及

参数更新单元,用于基于所述距离损失函数值计算单元获得的所述距离损失函数值和基于所述注意力损失函数值计算单元获得的所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述空间注意力图生成单元,包括:

第一卷积特征图生成子单元,用于将所述训练特征图输入第一卷积层以获得第一卷积特征图;

第一激活特征图生成子单元,用于将所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图;

第二卷积特征图生成子单元,用于将所述第一激活特征图输入第二卷积层以获得第二卷积特征图;以及

空间注意力图激活子单元,用于将所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述第一卷积层和/或所述第二卷积层是1×1卷积层。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述距离损失函数值计算单元,进一步用于:将所述空间注意力图与所述训练特征图进行高度维度的平均池化以获得第一空间注意力向量和第一训练特征向量;将所述空间注意力图与所述训练特征图进行宽度维度的平均池化以获得第二空间注意力向量和第二训练特征向量;计算所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离;以及,基于所述第一距离和所述第二距离计算所述距离损失函数值。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离是欧式距离。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述距离损失函数值计算单元,进一步用于:基于所述第一距离和所述第二距离的加权和计算所述距离损失函数值。

在上述用于停车场管理的基于对象重识别的神经网络的训练系统中,所述第一距离和所述第二距离的加权系数基于所述停车场的整体形状和所述各个摄像头的分布状况确定。

根据本申请的又一方面,还提供了一种用于停车场管理的基于神经网络的图像处理系统,其包括:

待处理图像获取单元,用于获取由分布在停车场内的不同位置的多个监控摄像头获取的多个停车场部分图像;

检测特征图生成单元,用于将所述多个停车场部分图像输入如上所述用于停车场管理的基于对象重识别的神经网络的训练系统训练的卷积神经网络以获得检测特征图;以及

对象处理单元,用于基于所述检测特征图进行所述停车场内的预定对象的对象处理。

根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的用于停车场管理的基于对象重识别的神经网络的训练方法,或者,如上所述的用于停车场管理的基于神经网络的图像处理方法。

根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于停车场管理的基于对象重识别的神经网络的训练方法,或者,如上所述的用于停车场管理的基于神经网络的图像处理方法。

与现有技术相比,本申请提供的用于停车场管理的基于对象重识别的神经网络的训练方法、用于停车场管理的基于神经网络的图像处理方法、系统和电子设备,其基于空间注意力机制的重识别技术处理所述停车场中各个摄像头之间拍摄的区域的重叠问题,以实现对所述停车场中的对象进行全局管理。

附图说明

通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法和用于停车场管理的基于神经网络的图像处理方法的应用场景图。

图2图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法的流程图。

图3图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法的架构示意图。

图4图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法中将所述训练特征图输入空间注意力模块以获得空间注意力图的流程图。

图5图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法中将所述训练特征图输入空间注意力模块以获得空间注意力图的架构示意图。

图6图示了根据本申请实施例的用于停车场管理的基于神经网络的图像处理方法的流程图。

图7图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统的框图。

图8图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统中空间注意力图生成单元的框图。

图9图示了根据本申请实施例的用于停车场管理的基于神经网络的图像处理系统的框图。

图10图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。

如前所述,在停车场管理的很多应用场景下,期望以停车场的整体作为目标,而不是以每个摄像头单独覆盖的区域作为目标来进行管理,例如,当需要从停车场内检索特定车辆时,希望从整个停车场的范围内一次性地检索目标车辆,而不是检索每个摄像头拍摄的图像来确定目标车辆。另外,在进行特定目标对象的跟踪时,也是希望获得目标对象在停车场的整体范围内的运动轨迹,而不是获得每个摄像头拍摄的图像内的运动轨迹再进行拼接。

因此,期望能够以多个摄像头拍摄的图像作为输入集合来从全局角度进行停车场管理的机器视觉方案。

具体地,该方案主要需要处理各个摄像头之间拍摄的区域的重叠问题,在机器视觉角度,这可以认为是各个图像当中的特定区域对象的重识别问题。

针对以上的重识别问题,与常见的行人重识别问题不同,尽管也存在重识别对象的不同角度和不同方位,但是不需要考虑重识别对象的不同姿态问题,因此,在申请中,仅需要从空间角度来提取特征并进行分类即可。

基于此,在本申请中,对于包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像的训练图像集输入卷积神经网络以获得训练特征图;进一步地,将其通过空间注意力机制获得空间注意力图,从而获得训练特征图关于不同空间位置的权重;然后,基于空间注意力图与训练特征图之间的距离来计算距离损失函数值,以表征各个训练特征图在空间位置上的相似性,从而使得训练得到的卷积神经网络能够在提取输入图像的特征时针对具有空间相似性的部分和不具有空间相似性的部分具有不同的权重,以实现各图像之间的重叠区域的对象重识别。

另外,针对空间注意力图,进一步通过分类损失函数来提高空间注意力图对于不同空间位置的区分能力,从而使得在如上所述的训练卷积神经网络的过程中,卷积神经网络能够以类似于空间上直观观察的方式来进行对象重识别,并在提取每个摄像头获取的图像中的不同位置的特征时考虑空间相似性和不相似性。

基于此,本申请提出了一种用于停车场管理的基于对象重识别的神经网络的训练方法,其包括:获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像;将所述训练图像集输入卷积神经网络以获得训练特征图;将所述训练特征图输入空间注意力模块以获得空间注意力图;基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值;将所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值;以及,基于所述距离损失函数值和所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

图1图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法和用于停车场管理的基于神经网络的图像处理方法的应用场景图。

如图1所示,在该应用场景中,在用于停靠车辆(例如,如图1中所示意的V)的停车场内的不同位置部署有多个摄像头(例如,如图1中所示意的C),其中,全部摄像头能够覆盖停车场的整个范围。进一步地,通过多个摄像头采集停车场图像,然后,将这些停车场图像作为训练图像集输入至部署有用于停车场管理的基于对象重识别的神经网络的训练算法的服务器中(例如,如图1中所示意的S)其中,所述服务器能够使用所述训练图像集并基于用于停车场管理的基于对象重识别的神经网络的训练算法对神经网络进行训练,以训练出能够识别出停车场图像中的特征的神经网络。

进一步地,如图1所示,在获得训练完成的神经网络后,可基于所述神经网络对停车场进行全局管理。具体地,将待检测的停车场图像输入至部署有用于停车场管理的基于神经网络的图像处理算法的服务器中(例如,如图1中所示意的S),其中,所述服务器能够基于训练完成的神经网络对获取的待检测停车图像进行处理,以对所述停车场内的预定对象进行对象处理。例如,进行车辆识别以确定停放车辆的车型、位置以利于车辆检索,可以进行空车位的识别以确定停车场的空车位数目,可以进行车辆的跟踪以确定车辆行驶轨迹等等。

在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。

图2图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法的流程图。如图2所示,根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法,包括:S110,获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像;S120,将所述训练图像集输入卷积神经网络以获得训练特征图;S130,将所述训练特征图输入空间注意力模块以获得空间注意力图;S140,基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值;S150,将所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值;以及,S160,基于所述距离损失函数值和所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

图3图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法的架构示意图。如图3所示,在所述训练方法的网络架构中,首先,将获取的训练图像集输入至卷积神经网络(例如,如图3中所示意的CNN)以获得训练特征图(例如,如图3中所示意的Ft);然后,将所述训练特征图输入空间注意力模块(例如,如图3中所示意的AMS)以获得空间注意力图(例如,如图3中所示意的Fa);接着,基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值;同时,将所述空间注意力图通过池化层(例如,如图3中所示意的lp)和全连接层(例如,如图3中所示意的Fcl)后以输入分类函数(例如,如图3中所示意的圈S)以获得注意力损失函数值;接着,基于所述距离损失函数值和所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

在步骤S110中,获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像。在本申请实施例中,在所述停车场内部署所述多个监控摄像头时,应确保所述多个监控摄像头的安装位置能够覆盖所述停车场的整个区域,以满足以停车场的整体作为目标而不是以每个监控摄像头单独覆盖的区域作为目标来进行管理的应用需求。例如,当需要从停车场内检索特定车辆时,希望从整个停车场的范围内一次性地检索目标车辆,而不是检索每个摄像头拍摄的图像来确定目标车辆。另外,在进行特定目标对象的跟踪时,也是希望获得目标对象在停车场的整体范围内的运动轨迹,而不是获得每个摄像头拍摄的图像内的运动轨迹再进行拼接。

也就是,在本申请实施例中,以多个摄像头拍摄的图像作为输入集合来训练用于停车场管理的神经网络。

在步骤S120中,将所述训练图像集输入卷积神经网络以获得训练特征图。也就是,将所述训练图像集以卷积神经网络进行卷积处理,以从所述训练图像集中各停车场图像中提取出各停车场图像在其空间域上的特征。

在步骤S130中,将所述训练特征图输入空间注意力模块以获得空间注意力图。就是,将所述训练特征图通过空间注意力机制获得空间注意力图,从而获得所述训练特征图关于不同空间位置的权重。

在本申请实施例的空间注意力模块中,基于先压榨再激励的网络结构思路使用两层卷积层,以提取所述训练图中的空间信息(即,所述训练特征图关于不同空间位置的权重)。

具体地,在本申请实施例中,将所述训练特征图输入空间注意力模块以获得空间注意力图的过程,包括:首先,将所述训练特征图输入第一卷积层以获得第一卷积特征图;也就是,通过所述第一卷积层提取所述训练特征图在空间域上的特征;

然后,将所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图。ReLU激活函数是分段线性函数,其把所有的负值变为0,而正直不变,以达到单侧抑制的效果,能够使得网络变得很稀疏。这里,上述两个步骤为压榨阶段。

接着,将所述第一激活特征图输入第二卷积层以获得第二卷积特征图;也就是,通过所述第二卷积层提取所述第一激活特征图在空间域上的特征。

然后,将所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图。ReLU激活函数是分段线性函数,其把所有的负值变为0,而正直不变,以达到单侧抑制的效果,能够使得网络变得很稀疏。这里,上述两个步骤为激励阶段。

特别地,在本申请实施例中,所述第一卷积层和/或所述第二卷积层是1×1卷积层。

值得一提的是,在本申请实施例中,通过如上所述的空间注意力模块所获得的空间注意力图与训练特征图的大小相同,这便于计算出的距离损失函数值和分类损失函数值与训练特征图的每个位置相关。

图4图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法中将所述训练特征图输入空间注意力模块以获得空间注意力图的流程图。如图4所示,中将所述训练特征图输入空间注意力模块以获得空间注意力图,包括:S210,将所述训练特征图输入第一卷积层以获得第一卷积特征图;S220,将所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图;S230,将所述第一激活特征图输入第二卷积层以获得第二卷积特征图;以及,S240,将所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图。

图5图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法中将所述训练特征图输入空间注意力模块以获得空间注意力图的架构示意图。如图5所示,在该网络架构中,所述训练特征图被输入至所述第一卷积层(例如,如图5中所示意的CNN1)以获得第一卷积特征图(例如,如图5中所示意的Fc1);然后,所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图(例如,如图5中所示意的Fa1);接着,所述第一激活特征图被输入第二卷积层(例如,如图5中所示意的CNN2)以获得第二卷积特征图(例如,如图5中所示意的Fc2);然后,所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图(例如,如图5中所示意的Fa)。

在步骤S140中,基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值。也就是,基于空间注意力图与训练特征图之间的距离来计算距离损失函数值,以表征各个训练特征图在空间位置上的相似性,从而使得训练得到的卷积神经网络能够在提取输入图像的特征时针对具有空间相似性的部分和不具有空间相似性的部分具有不同的权重,以实现各图像之间的重叠区域的对象重识别。

在本申请一个具体的示例中,基于所述空间注意力图与所述训练特征图之间的距离以获得距离损失函数值的过程,包括如下步骤。

首先,将所述空间注意力图与所述训练特征图进行高度维度的平均池化以获得第一空间注意力向量和第一训练特征向量。这里,特征图的高度维度为图像的长度维度。

然后,将所述空间注意力图与所述训练特征图进行宽度维度的平均池化以获得第二空间注意力向量和第二训练特征向量。这里,特征图的宽度维度为图像的宽度维度。

接着,计算所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离。例如,在该示例中,计算所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离是欧式距离。应可以理解,欧式距离表征所述注意力向量中各像素与所述训练特征向量中各像素之间的真实距离,以使得计算的距离损失函数值聚焦于图像在空间尺度上的差异。

然后,基于所述第一距离和所述第二距离计算所述距离损失函数值。例如,可基于所述第一距离与所述第二距离的加权和计算所述距离损失函数值,通过计算加权和,能够融合所述空间注意力图与所述训练特征图在空间域的高度维度和宽度维度上的差异,以使得计算的距离损失函数值能够更聚焦于图像在空间各个尺度上的差异。在具体实施中,所述第一距离和所述第二距离的加权系数基于所述停车场的整体形状和所述各个摄像头的分布状况确定,例如,如果摄像头拍摄的是停车场的主要道路延伸区域,则对于表示该方向的距离给予更高权重之类。

也就是说,在该示例中,代替按位置计算特征图之间的距离或者以特征图整体来计算其间的距离,在本申请中,基于图像的空间特性,即特征图的宽度和高度维度分别表示图像的长度和宽度的维度,从而图像的空间维度方面进行平均加权,从而使得所计算的距离损失函数值聚焦于图像在空间尺度上的差异而不是每个单独像素之间的差异。

在步骤S150中,将所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值。也就是,针对所述空间注意力图,进一步通过分类损失函数值来提高所述空间注意力图对于不同空间位置的区分能力,从而使得在如上所述的训练卷积神经网络的过程中,卷积神经网络能够以类似于空间上直观观察的方式来进行对象重识别,并在提取每个摄像头获取的图像中的不同位置的特征时考虑空间相似性和不相似性。

在步骤S160中,基于所述距离损失函数值和所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。在具体训练过程中,基于所述距离损失函数值更新所述卷积神经网络和基于所述注意力损失函数值更新所述空间注意力模块可同步进行,即,对所述卷积神经网络和所述空间注意力模块进行联合训练。

同样可行的是,所述卷积神经网络与所述空间注意力模块可分别单独训练。例如,在一次迭代过程中,首先固定所述注意力空间模块的参数通过梯度反向传播更新所述卷积神经网络的参数,然后固定所述卷积神经网络的参数通过梯度反向传播更新所述空间注意力模块的参数。

综上,基于本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练方法被阐明,其其基于空间注意力机制的重识别技术处理所述停车场中各个摄像头之间拍摄的区域的重叠问题。

进一步地,在获得训练完成的神经网络后,可基于所述神经网络对停车场进行全局管理。

图6图示了根据本申请实施例的用于停车场管理的基于神经网络的图像处理方法的流程图。如图6所示,根据本申请实施例的用于停车场管理的基于神经网络的图像处理方法,包括:S310,获取由分布在停车场内的不同位置的多个监控摄像头获取的多个停车场部分图像;S320,将所述多个停车场部分图像输入如上所述的用于停车场管理的基于对象重识别的神经网络的训练方法训练的卷积神经网络以获得检测特征图;以及,S330,基于所述检测特征图进行所述停车场内的预定对象的对象处理,例如,进行车辆识别以确定停放车辆的车型、位置以利于车辆检索,可以进行空车位的识别以确定停车场的空车位数目,可以进行车辆的跟踪以确定车辆行驶轨迹等等。

图7图示了根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统的框图。

如图7所示,根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统700,包括:训练图像集获取单元710,用于获取训练图像集,所述训练图像集包括由分布在停车场内的不同位置的多个监控摄像头获取的停车场图像;训练特征图生成单元720,用于将所述训练图像集获取单元710获得的所述训练图像集输入卷积神经网络以获得训练特征图;空间注意力图生成单元730,用于将所述训练特征图生成单元720获得的所述训练特征图输入空间注意力模块以获得空间注意力图;距离损失函数值计算单元740,用于基于所述空间注意力生成单元获得的所述空间注意力图与所述训练特征图生成单元720获得的所述训练特征图之间的距离以获得距离损失函数值;注意力损失函数值计算单元750,用于将所述空间注意力生成单元获得的所述空间注意力图通过池化层和全连接层后以输入分类函数以获得注意力损失函数值;以及,参数更新单元760,用于基于所述距离损失函数值计算单元740获得的所述距离损失函数值和基于所述注意力损失函数值计算单元750获得的所述注意力损失函数值更新所述卷积神经网络和所述空间注意力模块。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述空间注意力图生成单元730,包括:第一卷积特征图生成子单元731,用于将所述训练特征图输入第一卷积层以获得第一卷积特征图;第一激活特征图生成子单元732,用于将所述第一卷积特征图以ReLU激活函数激活以获得第一激活特征图;第二卷积特征图生成子单元733,用于将所述第一激活特征图输入第二卷积层以获得第二卷积特征图;以及,空间注意力图激活子单元734,用于将所述第二卷积特征图以ReLU激活函数激活以获得所述空间注意力图。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述第一卷积层和/或所述第二卷积层是1×1卷积层。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述距离损失函数值计算单元740,进一步用于:将所述空间注意力图与所述训练特征图进行高度维度的平均池化以获得第一空间注意力向量和第一训练特征向量;将所述空间注意力图与所述训练特征图进行宽度维度的平均池化以获得第二空间注意力向量和第二训练特征向量;计算所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离;以及,基于所述第一距离和所述第二距离计算所述距离损失函数值。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述第一空间注意力向量和所述第一训练特征向量之间的第一距离以及所述第二空间注意力向量和所述第二训练特征向量之间的第二距离是欧式距离。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述距离损失函数值计算单元740,进一步用于:基于所述第一距离和所述第二距离的加权和计算所述距离损失函数值。

在一个示例中,在上述用于停车场管理的基于对象重识别的神经网络的训练系统700中,所述第一距离和所述第二距离的加权系数基于所述停车场的整体形状和所述各个摄像头的分布状况确定。

这里,本领域技术人员可以理解,上述用于停车场管理的基于对象重识别的神经网络的训练系统700中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的用于停车场管理的基于对象重识别的神经网络的训练方法描述中得到了详细介绍,并因此,将省略其重复描述。

如上所述,根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统700可以实现在各种终端设备中,例如用于停车场自动管理的服务器等。在一个示例中,根据本申请实施例的用于停车场管理的基于对象重识别的神经网络的训练系统700可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该用于停车场管理的基于对象重识别的神经网络的训练系统700可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该用于停车场管理的基于对象重识别的神经网络的训练系统700同样可以是该终端设备的众多硬件模块之一。

替换地,在另一示例中,该用于停车场管理的基于对象重识别的神经网络的训练系统700与该终端设备也可以是分立的设备,并且该用于停车场管理的基于对象重识别的神经网络的训练系统700可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。

根据本申请另一方面,还提供了一种用于停车场管理的基于神经网络的图像处理系统。

图9图示了根据本申请实施例的用于停车场管理的基于神经网络的图像处理系统的框图。如图9所示,根据本申请实施例的用于停车场管理的基于神经网络的图像处理系统900,包括:待处理图像获取单元910,用于获取由分布在停车场内的不同位置的多个监控摄像头获取的多个停车场部分图像;检测特征图生成单元920,用于将所述多个停车场部分图像输入如上所述用于停车场管理的基于对象重识别的神经网络的训练系统训练700的卷积神经网络以获得检测特征图;以及,对象处理单元930,用于基于所述检测特征图进行所述停车场内的预定对象的对象处理。

这里,本领域技术人员可以理解,上述用于停车场管理的基于神经网络的图像处理系统900中的各个单元和模块的具体功能和操作已经在上面参考图6的用于停车场管理的基于神经网络的图像处理方法描述中得到了详细介绍,并因此,将省略其重复描述。

如上所述,根据本申请实施例的用于停车场管理的基于神经网络的图像处理系统900可以实现在各种终端设备中,例如用于停车场自动管理的服务器等。在一个示例中,根据本申请实施例的用于停车场管理的基于神经网络的图像处理系统900可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该用于停车场管理的基于神经网络的图像处理系统900可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该用于停车场管理的基于神经网络的图像处理系统900同样可以是该终端设备的众多硬件模块之一。

替换地,在另一示例中,该用于停车场管理的基于神经网络的图像处理系统900与该终端设备也可以是分立的设备,并且该用于停车场管理的基于神经网络的图像处理系统900可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。

下面,参考图10来描述根据本申请实施例的电子设备。

图10图示了根据本申请实施例的电子设备的框图。

如图10所示,电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的用于停车场管理的基于对象重识别的神经网络的训练方法,或者,用于停车场管理的基于神经网络的图像处理方法的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如训练图像集等各种内容。

在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息,包括对象处理结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然,为了简化,图10中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。

除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于停车场管理的基于对象重识别的神经网络的训练方法,或者,用于停车场管理的基于神经网络的图像处理方法的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于停车场管理的基于对象重识别的神经网络的训练方法,或者,用于停车场管理的基于神经网络的图像处理方法的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。

还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

相关技术
  • 用于停车场管理的基于重对象识别的神经网络的训练方法
  • 用于使用在线资源和神经网络处理以基于出版资料对组织进行分类的智能预期对象识别的系统和方法
技术分类

06120112250779