一种图像处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，地图已经成为对用户和企业来说都很重要的工具。对用户而言,地图可以更简单的查询到更小的地点,可以找到最近最方便的乘车路线。而对于企业来说,利用地图能够更容易的把企业信息推送到用户眼前。由于现实环境可能在不断地变化，导致当前获取图像可能与地图中的图像无法更好的匹配。现有技术主要基于图像之间的相似性方法，该图像之间的相似性大致原理为：计算当前帧图像和地图数据包括的图像之间的相似度，并根据当前帧图像和地图数据包括的图像之间的相似度来进行图像匹配，以确定是否对地图数据进行更新；但基于图像相似性的匹配方法容易受到光照、角度变化，并且没有使用到相对几何位置约束，导致对地图数据包括的图像更新的不准确。

发明内容

本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，可以提高对图像库更新的准确性。

一方面，本申请实施例提供了一种图像处理方法，方法包括：

获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，所述第一图像包括由数据采集设备采集的所在位置的环境图像，所述第二图像为地图数据包括的图像库中与所述第一图像相似的图像；

根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果；

基于所述要素匹配结果和所述第一图像对所述图像库进行更新处理。

一方面，本申请实施例提供了一种图像处理装置，装置包括：

获取单元，用于获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，所述第一图像包括由数据采集设备采集的所在位置的环境图像，所述第二图像为地图数据包括的图像库中与所述第一图像相似的图像；

处理单元，用于根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果；

所述处理单元，还用于基于所述要素匹配结果和所述第一图像对所述图像库进行更新处理。

一方面，本申请实施例提供一种计算机设备，该计算机设备包括输入设备、输出设备、处理器和计算机存储介质，该处理器和计算机存储介质相互连接，其中，计算机存储介质用于存储计算机程序，该处理器被配置用于调用计算机程序，执行上述图像处理方法。

一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时，用于实现上述的图像处理方法。

一方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序；该计算机程序存储在计算机可读存储介质中，计算机程序被计算机设备的处理器执行时，执行上述的业务处理方法。

在本申请实施例中，计算机设备可以获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，并根据第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息，对第一图像中的要素和第二图像中的要素进行匹配，得到要素匹配结果；然后基于要素匹配结果和所述第一图像对图像库进行更新处理，通过要素匹配方式对地图数据包括的图像库进行更新，可以减少由于图像长时间跨度存在季节、天气、光照变化、畸变严重、低帧率等因此对地图数据包括图像库更新不准确的问题，提高了对地图数据包括的图像库更新的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的一种图像处理系统的架构图；

图1b是本申请实施例提供的一种图像处理方案的流程示意图；

图2是本申请实施例提供的一种图像处理方法的流程示意图；

图3a是本申请实施例提供的一个三维坐标在同一场景下对应的多个二维坐标的示意图；

图3b是本申请实施例提供一个三维坐标在同一场景下对应的多个二维坐标的示意图；

图3c是本申请实施例提供的一种图像中二维坐标对应有三维坐标和二维坐标没有对应有三维坐标的示意图；

图3d是本申请实施例提供的两个图像中的匹配要素的示意图；

图4是本申请实施例提供的一种图像处理方法的流程示意图；

图5是本申请实施例提供的一种图像处理的整体架构和要素网络匹配的结构的示意图；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了能够更好地实现图像处理，以及对地图数据包括的图像库进行更新，本申请实施例提供了一种图像处理系统和图像处理方案。请参见图1a，图1a为本申请实施例提供的一种图像处理系统，该图像处理系统可以包括至少一个终端设备101和至少一个服务器102。终端设备101可以是专用于图像数据采集的设备，该终端设备101上可以安装摄像头的任意设备，终端设备101可以调用摄像头采集终端设备101所在位置的环境图像，并将采集得到的环境图像发送给服务器102，以使服务器102根据采集得到的环境图像对地图数据进行更新处理。终端设备101还可以采集自身所在位置的环境图像，并基于采集得到环境图像对地图数据进行更新处理，然后将更新后的地图数据保存在服务器102中。

其中，该终端设备101可以是智能手机、平板电脑、笔记本电脑、台式电脑、车载计算机、智能家居、可穿戴电子设备、VR/AR设备等等；终端设备101与服务器102之间可以通过有线或无线通信方式进行直接或间接地连接；此处的服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

基于上述提供的图像处理系统，本申请实施例提供了一种图像处理方案，该图像处理方案可以如图1b所示，该图像处理方案可以由计算机设备执行，该计算机设备可以是上述终端设备101或上述服务器102执行，该图像处理方案其大致原理如下：将在当前位置或当前视角下获取的图像的要素和地图数据包括的图像库中图像的要素按照现实环境中是否属于同一个实体来进行匹配，并对要素的检测结果对应的描述特征和几何特征进行MLP(Multi-layer Perceptron，多层感知器)操作以及特征融合，得到用于要素匹配的特征(后续称为融合特征)，并将融合特征经过最优传输算法(如sinkhorn算法)完成要素匹配。具体的，当数据采集设备采集到当前帧图像(即第一图像)时，该第一图像包括数据采集设备采集的当前所在位置或者所在视角的环境图像，然后计算机设备可以获取第一图像，并从地图数据包括的图像库中查询与第一图像相似的多个图像，通过对多个图像进行投票，获取每个图像对应的三维坐标集合(或称为3D点云集合)，该三维坐标集合可以包括一个或多个三维坐标。

然后根据该3D点云集合对多个图像进行筛选，得到与第一图像相似的第二图像。接着计算机设备可以将第一图像和第二图像生成图像对，并对第一图像进行要素检测，得到第一图像的检测结果，以及对第二图像进行要素检测，得到第二图像的检测结果，其中，一个检测结果实际上对应一个要素的特征信息；然后将图像对中每个图像包括的要素的特征信息输入到要素匹配网络中进行特征融合，得到第一图像包括的要素的第一融合特征以及第二图像包括的要素的第二融合特征。其中，该特征信息可以包括要素的几何特征和描述特征(描述特征也可称为视觉特征、描述子特征)，该描述特征用于描述该要素的类别、要素的轮廓等等。然后计算机设备对第一图像中要素的第一融合特征和第二图像中要素的第二融合特征进行内积计算，得到第一图像包括的要素与第二图像包括的要素之间的要素关联分数，该第一图像包括的要素与第二图像包括的要素之间的要素关联分数存储在匹配矩阵中，并经过Sinkhorn算法(一种最优传输算法)对匹配矩阵进行计算。接着根据计算得到的匹配矩阵将第一图像中的要素和第二图像中的要素进行匹配。在得到要素匹配结果后，计算机设备可以基于得到的要素匹配结果和第一图像对图像库进行更新处理。

上述图像处理方案可以应用于地图数据自动更新场景，在地图数据自动更新场景中，本申请提供的图像处理方案在地图众包数据的全要素匹配这个难度较高的任务中，要素关联匹配的准确率能达到98％,召回率达到90％以上，且减少了由于图像长时间跨度存在季节、天气、光照变化、畸变严重、低帧率等因素对地图数据更新不准确的问题，提高了对地图数据包括的图像库更新的准确性，同时也提高了地图数据生产流程的自动化程度，且通过要素匹配无需任何人为设计策略对第一图像和数据库中的图像进行匹配，可以有效解决匹配的歧义性问题，节省了大量人力。

请参阅图2，图2为本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可由计算机设备执行，该计算机设备可以是上述终端设备101或者上述服务器102，该图像处理方法可以包括以下步骤S201-S203：

S201、获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息。第一图像包括由数据采集设备采集的所在位置的环境图像，第二图像为地图数据包括的图像库中与第一图像相似的图像。

其中，第一图像中可以包括一个或多个要素，所谓要素泛指含有语义信息的要素，该要素包括但不限于地图数据中的交通信号灯、指示牌、电子警察、斑马线、地面箭头、商标牌等等；特征信息可以包括要素的描述特征和几何特征。描述特征可以是要素的类别和置信度等等。要素类别可以包括但不限于上述的交通信号灯、指示牌、电子警察等等。数据采集设备可以是上述终端设备101，或者其他专用于数据采集的设备，本申请实施例对此不作限定。第二图像的数量可以是一个或者多个。图像库中的候选图像可以包括一个或多个要素；同理，第二图像可以包括一个或多个要素。第一图像与第二图像相似可以理解为：第一图像与第二图像属于同一环境(或同一场景)下的图像，该第一图像和第二图像可以是在不同视角下采用相同数据采集设备采集的，或者该第一图像和第二图像可以是在相同视角下采用不同数据采集设备采集的。例如，第一图像与第二图像均属于在XX街道十字路口所对应的场景下的图像。

在具体实现中，数据采集设备配置有能够采集图像的摄像组件或者图像采集传感器；当用户想要采集某个位置或某个视角的环境图像时，此处的用户可以是使用地图数据的普通用户；或者此处的用户还可以是想要对地图数据进行更新的地图管理用户等等；可以使用数据采集设备对该位置或者该视角的环境图像采集。然后数据采集设备可以利用图像的摄像组件或者图像采集传感器调用采集第一图像，该第一图像包括数据采集设备采集的所在位置或视角的环境图像；然后计算机设备可以获取第一图像，并从地图数据包括的图像库中获取与第一图像相似的第二图像；接着对第一图像进行要素检测，得到第一图像包括的要素的特征信息，以及对第二图像进行要素检测，得到第二图像包括的要素的特征信息。应理解的是，当计算机设备为数据采集设备时，计算机设备可以直接获取到第一图像；当计算机设备不是数据采集设备时，计算机设备需要从数据采集设备中获取第一图像。

在一个实施例中，计算机设备对第一图像进行要素检测，得到第一图像包括的要素的特征信息，以及对第二图像进行要素检测，得到第二图像包括的要素的特征信息的实现方式为：计算机设备可以采用目标检测框对第一图像进行要素检测，得到第一图像包括的要素的特征信息，并采用目标检测框对第二图像进行要素检测，得到第一图像包括的要素的特征信息；其中，目标检测框可以是二维检测框(或称为2D检测框)，或者目标检测框还可以其他用于要素检测的检测框。其中，上述特征信息可以包括描述特征(描述特征可称为描述子特征)和几何特征；其中描述特征用于描述要素的要素类别、置信度等等；几何特征可以包括目标检测框的中心点坐标、长度、宽度等等。

在一个实施例中，第一图像包括由数据采集设备实时采集的所在位置的环境图像，例如，当数据采集设备处在位置1时，数据采集设备采集的第一图像包括数据采集设备所在位置1的环境图像；当数据采集设备处在位置2时，数据采集设备采集的第一图像包括数据采集设备所在位置2的环境图像。在另一个实施例中，第一图像是预设周期内由数据采集设备采集的所在目标位置的环境图像。例如，预设周期为2天；目标位置为位置1；第一图像可以是以两天为周期由数据采集设备采集的所在位置1的环境图像。可以理解为：数据采集设备每两天会在位置1采集第一图像。

在一个实施例中，地图数据包括图像库，该图像库中包括多个候选图像；计算机设备从地图数据包括的图像库中获取与第一图像相似的第二图像的具体实现方式可以是包括以下两种方式：

(1)计算第一图像与多个候选图像中每个候选图像之间的相似度，并根据相似度选择与第一图像相似的第二图像。

在具体实现中，计算机设备可以计算每个候选图像与第一图像之间的相似度，然后根据每个候选图像与第一图像之间的相似度从图像库中确定与第一图像相似的第二图像。例如，图像库包括3个候选图像，3个候选图像分别为候选图像1、候选图像2和候选图像3；计算机设备可以计算候选图像1与第一图像之间的相似度，计算候选图像2与第一图像之间的相似度，以及计算候选图像3与第一图像之间的相似度。

作为一种实施方式，根据每个候选图像与第一图像之间的相似度从图像库中确定与第一图像相似的第二图像的具体实现方式为：计算机设备可以将相似度大于或等于相似阈值的候选图像确定为与第一图像相似的第二图像。其中，相似阈值可以根据需求设置；例如，候选图像1与第一图像之间的相似度大于相似阈值，候选图像2与第一图像之间的相似度小于相似阈值，计算机设备将相似度大于相似阈值的候选图像1确定为与第一图像相似的第二图像。

作为另一种实施方式，计算机设备可以根据每个候选图像与第一图像之间的相似度从大到小对图像库包括的候选图像进行排列，然后从排列好的一个或多个候选图像中获取排列靠前的K个候选图像均作为与第一图像相似的第二图像。其中，K为大于等于1的整数；K可以根据需求设置，例如K的取值为1。计算机设备根据候选图像1与第一图像之间的相似度、候选图像2与第一图像之间的相似度以及候选图像3与第一图像之间的相似度从大到小对3个候选图像进行排列，设3个候选图像按照相似度从大到小排列为：候选图像1、候选图像3和候选图像2；计算机设备从3个候选图像中选取排列靠前的候选图像1作为与第一图像相似的第二图像；即将候选图像1作为与第一图像相似的第二图像。

(2)调用检索网络从图像库包括的候选图像中获取与第一图像相似的一个或者多个图像；然后计算机设备根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从一个或多个图像中确定第二图像。

在具体实现过程中，计算机设备调用检索网络从地图数据包括的图像库中获取与第一图像相似的一个或多个图像，其中，检索网络可以是用于筛选图像的神经网络模型，该检索网络可以是retrieval网络。在图像库中的每个候选图像对应有一个或多个三维坐标，可以理解的是，每个候选图像对应的一个或多个三维坐标实际上用于指示每个候选图像包括的一个或多个要素；即若每个图像对应有3个三维坐标，则每个图像包括3个要素。每个三维坐标对应有一个或多个二维坐标。如图3a所示；图3a为在同一场景下三个图像中指示牌的三维坐标对应二维坐标的可视化；可以看出在同一场景下指示牌的三维坐标可以存在对应的三个二维坐标(即图3a中31表示二维坐标)，其中，上述3个图像可以是对某一场景在不同位置或者视角下的成像数据。例如，这3个图像可以是由相同相机不同时刻采集得到的图像、或者多个图像是由不同相机不同时刻采集的图像、或者这多个图像是由不同相机在相同时刻采集的图像。同样在图3b中，信号交通灯的三维坐标同样可以对应有3个二维坐标。

在一个实施例中，每个候选图像对应的一个或多个三维坐标获取方式可以是：计算机设备可以通过投票算法采集每个候选图像的一个或多个三维坐标(或称为3D点)，每个候选图像对应的一个或者多个三维坐标可以构成一个三维坐标集合(也可称为3D点云集合)，每个候选图像对应的三维坐标集合(也可称为3D点云集合)表示为：

其中，P

可以理解的是，通过检索网络获取的与第一图像相似的一个或者多个图像中每个图像同样对应一个或多个有三维坐标，且每个三维坐标同样对应一个或者多个二维坐标(或称为2D点)。然后，计算机设备可以根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从一个或多个图像中确定第二图像。

在一个实施例中，由于检索网络得到的多个图像会存在外点(即图像包括的环境图像不一致，也可以理解为场景不一致。例如多个图像对应两个场景，第一个场景为十字路口，第二个场景为三岔路口)，因此可以对通过检索网络获取的与第一图像相似的多个图像进行一个共视计算，过滤掉场景不一致的图像，从而可以减少后续要素匹配的计算量。在这种情况下，计算机设备根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从一个或多个图像中确定第二图像的具体实现方式为：计算机设备从每个图像对应的一个或多个三维坐标中，获取对应的二维坐标的数量超过数量阈值的目标三维坐标；也可以理解为计算机设备是将每个图像对应的一个或多个三维坐标中，对应的二维坐标的数量没有超过数量阈值的三维坐标过滤掉。其中，数量阈值可以根据需求设置，例如，数量阈值可以设置为3、5等等。然后计算机设备可以获取每个图像对应的二维坐标的第一总数量以及目标三维坐标对应的二维坐标的第二总数量；然后根据第一总数量和第二总数量确定每个图像的重建率；然后计算机设备可以从一个或多个图像中确定重建率大于或等于目标阈值的图像，并将一个或多个图像中对应的重建率大于或等于目标阈值的图像作为第二图像。其中，目标阈值可以根据需求设置。其中，每个图像的重建率实际是指每个图像中三维坐标的重建率，该三维坐标的重建率用于指示能够将二维图像重建为三维图像的概率。

例如，目标阈值为10％；如图3c所示，图3c中左图是利用投票算法采集目标图像对应的三维坐标的采集轨迹，以及多个3D点云集合中的三维坐标，而图3c中的右图表示目标图像中的二维坐标，在右图中的二维坐标中有4595个二维坐标(即图3c中黑色点)没有对应的三维坐标；有573个二维坐标有对应的三维坐标(即图3c中白色点)。然后该目标图像对应的三维坐标重建率为573/(4595+573)＝11.09％。然后计算机设备可以确定该目标图像对应的三维坐标重建率大于10％，并将该目标图像作为与第一图像相似的第二图像。

在一个实施例中，上述地图数据包括图像库可以是通过目标传感器采集环境图像并对采集得到的环境图像进行处理得到，该目标传感器可以包括以下一种或者多种：图像传感器(即相机)、GPS(Global Positioning System，全球定位系统)传感器和IMU(Inertial Measurement Unit，惯性测量单元)传感器。例如，目标传感器采集得到的环境图像存在噪声，需要对环境图像数据进行噪声消除，然后对环境图像进行噪声消除之后存储在图像库。其中，图像库包括多个候选图像可以是相同相机不同时刻采集的图像、不同相机不同时刻采集的图像以及不同相机相同时刻采集图像等等。

S202、根据第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息，对第一图像中的要素和第二图像中的要素进行匹配，得到要素匹配结果。

其中，要素匹配结果可以指示第一图像包括的要素与第二图像包括的要素之间是否存在匹配要素，所谓匹配要素是指两个要素属于同一物理点，物理点是指：在现实环境中，属于同一空间位置的同一实体。在一个实施例中，该要素匹配结果可以包括匹配要素；该匹配要素可以为第一图像中的要素与第二图像中的要素，例如匹配要素为第一图像中的要素A和第二图像中的要素B，即要素A和要素B为匹配要素；或者，该要素匹配结果可以包括第一图像中的要素和第二图像中的要素不匹配的要素。例如不匹配的要素包括第一图像中的要素A和第二图像中的要素B，即要素A和要素B为不匹配要素。

在一个实施例中，步骤S202的具体实现方式可以是：计算机设备可以将第一图像包括的要素的特征信息，与第二图像包括的要素的特征信息直接进行两两比较，根据比较结果确定第一图像包括的要素与第二图像包括的要素之间是否存在匹配要素，得到要素匹配结果。例如，第一图像包括的要素1的特征信息与第二图像包括的要素2的特征信息进行比较，要素1的特征信息与要素2的特征信息相同，计算机设备确定要素1和要素2为匹配要素。又例如，第一图像包括的要素3的特征信息与第二图像包括的要素4的特征信息进行比较，要素3的特征信息与要素4的特征信息不相同，计算机设备确定要素3和要素4为不匹配要素，即该要素匹配结果包括不匹配要素。

在一个实施例中，由于根据第一图像包括的要素的特征信息和第二图像包括的要素的特征信息直接进行比较繁琐，也会导致要素匹配结果的不准确，因此，步骤S202的具体实现方式还可以是：计算机设备还可以调用要素匹配网络对第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息进行特征融合，得到第一图像包括的要素的第一融合特征以及第二图像包括的要素的第二融合特征；并根据第一融合特征以及第二融合特征对第一图像中的要素与第二图像中的要素进行匹配，得到要素匹配结果。其中，第一融合特征和第二融合特征可以理解为构建的用于要素匹配的特征。

S203、基于要素匹配结果和第一图像对图像库进行更新处理。

由步骤S202可知，要素匹配结果用于指示第一图像包括的要素和第二图像包括的要素之间是否存在匹配要素。

在一个实施例中，若要素匹配结果指示第一图像包括的要素中存在目标要素，目标要素为第一图像中的任一要素，且该第二图像不包括目标要素。说明第一图像中的目标要素在第二图像中没有找到与之匹配的要素，该目标要素为新增要素，则计算机设备利用第一图像对图像库进行更新处理。具体的，计算机设备可以将第一图像直接替换图像库中与第一图像相似的第二图像。或者计算机设备可以利用第一图像包括的要素替换图像库中第二图像包括的要素。在另一个实施例中，若要素匹配结果指示存在匹配要素，该匹配要素为第一图像包括的第一要素与第二图像包括的第二要素，其中，匹配是指第一要素和第二要素对应同一实体；则计算机设备可以建立第一要素与第二要素之间的关联关系；例如，图3d所示，在图3d中包括图像1和图像2，该图像1和图像2属于同一场景；在图3d中示例性列出4对匹配要素；分别是图像1的要素101和图像2中的要素101；图像1的要素102和图像2中的要素102，图像1的要素103和图像2中的要素103；图像1的要素104和图像2中的要素104；计算机设备可以分别建立4对匹配要素中每对匹配要素之间的关联关系。然后，在建立第一图像中的第一要素与第二图像中的第二要素之间的关联关系之后，计算机设备根据该关联关系和第一图像对图像库进行更新处理。具体的，计算机设备根据第一图像中的第一要素与第二图像中的第二要素之间的关联关系不更新图像库中第二图像的第二要素，然后利用第一图像包括的其他要素对图像库中的第二图像进行更新处理，这样使得在对图像库更新时，无需按照匹配策略进行要素一一匹配，只需根据关联关系确定匹配要素，并根据第一图像只对图像库中第二图像包括的要素与第一图像的要素不匹配的要素进行更新，从而提高了地图数据的自动化处理能力。

在一个实施例中，若要素匹配结果指示第一图像包括的要素与第二图像包括的要素完全匹配上，例如，第一图像包括3个要素，第二图像包括3个要素，第一图像所包括的3个要素与第二图像所包括的3个图像两两完全匹配，则计算机设备无需对图像库进行更新处理。

在本申请实施例中，计算机设备可以获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，并根据第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息，对第一图像中的要素和第二图像中的要素进行匹配，得到要素匹配结果；然后基于要素匹配结果和所述第一图像对图像库进行更新处理，通过要素匹配方式对地图数据包括的图像库进行更新，可以减少由于图像长时间跨度存在季节、天气、光照变化、畸变严重、低帧率等对地图数据包括图像库更新不准确的问题，提高了对地图数据包括的图像库更新的准确性。

请参阅图4，图4为本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由计算机设备执行，该计算机设备可以是上述终端设备101或上述服务器102；该图像处理方法可以包括以下步骤S401-S404：

S401、获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，第一图像包括由数据采集设备采集的所在位置的环境图像，第二图像为地图数据包括的图像库中与第一图像相似的图像。

在具体实现中，计算机设备可以采用目标检测框对第一图像进行要素检测，得到第一图像包括的检测结果，检测结果包括第一图像中要素的特征信息，并采用目标检测框对第二图像进行要素检测，得到第二图像包括的检测结果，该检测结果中包括第二图像中要素的特征信息。例如，图5为图像处理的整体架构和要素网络匹配的结构；在图5中，第一图像为图像I

fp＝MLP(|x,y,w,h,s|)

其中，f

需要说明的是，任一图像包括的要素的几何特征均可调用MLP对几何子特征进行融合得到的。

在一个实施例中，第二图像的数量可以是多个，计算机设备可以将第一图像与多个第二图像生多个成图像对。例如，多个图像对可以表示为：{(I

S402、调用要素匹配网络对第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息进行特征融合，得到第一图像包括的要素的第一融合特征以及第二图像包括的要素的第二融合特征。

其中，要素匹配网络可以如图5所示，该要素匹配网络包括特征融合层和最优匹配层。特征融合层可以构建用于要素匹配的特征，为了保证要素匹配的准确性，在特征融合层需要将图内部的要素进行特征融合，还需要将图间的要素交叉进行特征融合，因此在特征融合层中可以包括自交层(self层)和交叉层(cross层)，自交层用于图内部的要素进行特征融合，交叉层用于图间要素进行特征融合。最优匹配层用于对两个图像包括的要素进行要素匹配。

在一个实施例中，步骤S402的具体实现方式为：计算机设备调用要素匹配网络的特征融合层对第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息分别进行图像内融合，得到第一图像包括的要素的内部融合特征以及第二图像包括的要素的内部融合特征；具体的，计算机设备调用特征融合层中的自交层对第一图像包括的要素的特征信息进行图像内融合，得到第一图像包括的要素的内部融合特征，并调用特征融合层中的自交层对第二图像包括的要素的特征信息进行图像内融合，得到第二图像包括的要素的内部融合特征。例如，在图5中，第一图像为图像I

然后，计算机设备调用要素匹配网络的特征融合层对第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息进行图像间融合，得到第一图像包括的要素的交叉融合特征以及第二图像包括的要素的交叉融合特征；例如，图像I

在得到第一图像包括的要素的内部融合特征以及交叉融合特征之后，计算机设备根据第一图像包括的要素的内部融合特征以及交叉融合特征确定第一图像包括的要素的第一融合特征。在具体实现中，计算机设备对第一图像包括的要素的内部融合特征以及交叉融合特征迭代N次，得到第一图像包括的要素的第一融合特征。第一融合特征可以用于要素匹配。该第一图像包括的要素的第一融合特征可以表示为f

在得到第二图像包括的要素的内部融合特征以及交叉融合特征之后，根据第二图像包括的要素的内部融合特征以及交叉融合特征确定第二图像包括的要素的第二融合特征。在具体实现中，计算机设备对第二图像包括的要素的内部融合特征以及交叉融合特征迭代N次，得到第二图像包括的要素的第二融合特征。第二融合特征用于要素匹配。该第二图像包括的要素的第二融合特征可以表示为f

在一个实施例中，在执行步骤S402之前，需要对初始神经网络进行训练，得到要素匹配网络。计算机设备可以获取训练样本集，该训练样本集包括正样本对、负样本对以及每个样本对的标注信息，该标注信息包括每个样本对的每个样本中要素的特征信息；然后调用初始神经网络对正样本对以及负样本对进行处理，得到每个样本对对应的预测匹配要素；并利用每个样本对的标注信息以及对应的预测匹配要素对初始神经网络的网络参数进行调整，得到要素匹配网络。其中，正样本对包括的样本中存在对应同一实体的要素，正样本对可以是同一场景(或同一环境)下获取到的图像对，例如正样本对包括十字路口场景下获取到的两个图像，分别为图像1和图像2。正样本对包括图像1和图像2中存在对应同一实体的要素。如该正样本对中图像1包括要素指示牌，图像2中同样包括要素指示牌，图像1中的要素指示牌与图像2中的要素指示牌对应同一实体。负样本对包括的样本中不存在对应同一实体的要素。负样本对可以是不同场景中的图像对，或者该负样本对还可以是同一场景下获取的图像对。由于在同一场景下获取的图像对可能存在对应同一实体的要素，也可能没有存在对应同一实体的要素；因此可以将该图像对中存在对应同一实体的要素作为正样本对，上述正样本对的标注信息为对应同一实体的要素的特征信息；在图像1包括的要素和图像2包括的要素中存在没有对应同一实体的要素；然后可以将图像对中没有对应同一实体的要素作为负样本对，此时，负样本对的标注信息为没有对应同一实体的要素的特征信息，如负样本对的标注信息包括图像1中要素指示牌的特征信息和图像2中要素红绿灯的特征信息。通过获取同一场景下的图像对，将图像对中对应的同一实体的要素作为正样本对，将图像对中没有对应的同一实体的要素作为负样本对，可以减少获取大量训练数据。

其中，计算机设备调用初始神经网络对正样本对以及负样本对进行处理，得到每个样本对对应的预测匹配要素的具体实现方式可以是：计算机设备调用初始神经网络对正样本对进行处理，即让初始神经网络先学习正样本对；然后计算机设备调用初始神经网络对负样本对进行处理，即让初始神经网络再学习正样本对；从而有利于得到较好的要素匹配网络。其中，正样本对的数量和负样本对的数量需要满足预设条件，从而起到正负样本对均衡的作用。例如负样本对的数量不超过正样本对的数量的20％。计算机设备调用初始神经网络对10个正样本对进行处理，即让初始神经网络先学习这10个正样本对；然后计算机设备调用初始神经网络对2个负样本对进行处理，即让初始神经网络再学习这2个正样本对。

在一个实施例中，计算机设备利用每个样本对的标注信息以及对应的预测匹配要素对初始神经网络的网络参数进行调整，得到要素匹配网络的具体实现方式为：计算机设备根据每个样本对的标注信息以及对应的预测匹配要素计算初始神经网络的模型损失，然后按照模型损失减小的方向对初始神经网络的网络参数进行调整，得到要素匹配网络。其中，该模型损失计算公式为：

其中，(i,j)∈M表示正样本对中每个样本包括的要素的标注信息；i∈I表示正样本对中样本I包括的要素的标注信息；j∈J表示正样本对中样本J包括的要素的标注信息。

S403、根据第一融合特征以及第二融合特征对第一图像中的要素与第二图像中的要素进行匹配，得到要素匹配结果。

在具体实现中，计算机设备可以调用要素匹配网络的最优分配层对第一图像中的要素的第一融合特征以及第二图像中的要素的第二融合特征进行特征交叉相乘(也可称为内积计算)，得到第一图像中的要素与第二图像中的要素之间的匹配矩阵。例如，图像I

在得到匹配矩阵后，可以采用最优传输算法对匹配矩阵进行最优传输计算，得到第一图像中的要素与第二图像中的要素之间的最优分配矩阵P

在一个实施例中，计算机设备根据最优分配矩阵确定第一图像中的要素和第二图像中的要素的要素匹配结果的具体实现方式为：计算机设备将最优分配矩阵中满足要素匹配条件的第一图像中的要素与第二图像中相对应的要素确定为匹配要素，将不满足要素匹配条件的第一图像中的要素和第二图像中相对应的要素确定为不匹配要素。即要素匹配结果可以包括以下至少一种：匹配要素和不匹配要素。其中，由于在最优分配矩阵中分数越高对应的两个要素关联性越大，要素不会存在一对多的关联，因此要素匹配条件可以包括以下一种或多种：最优分配矩阵中第一图像中的要素和第二图像中的要素对应的分数大于目标阈值，例如目标阈值为0.2；以及第一图像中的要素和第二图像中的要素对应的分数在最优分配矩阵所在行和所在列都是最大的。

S404、基于要素匹配结果和第一图像对图像库进行更新处理。

在一个实施例中，该要素匹配结果包括匹配要素，该匹配要素为第一图像中的第一要素和第二图像中的第二要素，然后计算机设备对该匹配要素建立关联关系。例如，在图5中，经过步骤S403之后，得到的要素匹配结果中匹配要素有4对，计算机设备建立这4对匹配要素中每对匹配要素之间的关联关系(如图5中虚线表示每对匹配要素建立的关联关系)；然后计算机设备可以根据匹配要素的关联关系不更新图像库中的匹配要素；根据第一图像中除匹配要素之外其余要素对图像库进行更新处理。

在本申请实施例中，计算机设备在获取第一图像的特征信息和第二图像的特征信息，然后调用要素匹配网络对第一图像的特征信息和第二图像的特征信息进行特征融合，得到第一图像包括的要素的第一融合特征以及第二图像包括的要素的第二融合特征；然后根据第一融合特征和第二融合特征对第一图像中的要素与第二图像中的要素进行匹配，得到要素匹配结果，通过要素匹配网络得到的用于匹配的特征可以更好适应长时间变化、视角变化、镜头畸变等情况，并且经过要素匹配网络完成要素匹配，不需要经过任何人为设计策略得到一一匹配，可以有效解决要素匹配的歧义性问题，非常适用于长时间、不同视角下的多视角要素匹配。然后基于要素匹配结果和第一图像对图像库进行更新处理，可以提高对图像库更新的准确性。

基于上述提供的图像处理方法，其是本申请实施例提供的一种图像处理装置的结构示意图。如图6所示，图像处理装置可以应用于上述图2或图4对应实施例中的计算机设备；具体的，图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如图像处理装置为一个应用软件；该图像处理装置可以用于执行本申请实施例提供的方法中的相应步骤。

获取单元601，用于获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，所述第一图像包括由数据采集设备采集的所在位置的环境图像，所述第二图像为地图数据包括的图像库中与所述第一图像相似的图像；

处理单元602，用于根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果；

所述处理单元602，还用于基于所述要素匹配结果和所述第一图像对所述图像库进行更新处理。

在一个实施例中，所述处理单元602，还用于：

调用检索网络从所述图像库包括的候选图像中获取与所述第一图像相似的一个或多个图像，所述图像库中的每个候选图像对应有一个或多个三维坐标，每个三维坐标对应有一个或多个二维坐标；

根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从所述一个或多个图像中确定第二图像。

在一个实施例中，所述处理单元602在根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从所述一个或多个图像中确定第二图像时，可具体用于：

从每个图像对应的一个或多个三维坐标中，获取对应的二维坐标的数量超过数量阈值的目标三维坐标；

获取所述每个图像对应的二维坐标的第一总数量以及所述目标三维坐标对应的二维坐标的第二总数量；

根据所述第一总数量和所述第二总数量确定所述每个图像的重建率；

将所述一个或多个图像中对应的重建率大于或等于目标阈值的图像作为第二图像。

在一个实施例中，所述处理单元602在基于所述要素匹配结果和所述第一图像对所述地图进行更新处理时，可具体用于：

若所述要素匹配结果指示所述第一图像包括的要素中存在目标要素，则利用所述第一图像对所述图像库进行更新处理，所述目标要素为所述第一图像中的任一要素，且所述第二图像不包括所述目标要素。

在一个实施例中，所述处理单元602在根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果时，可具体用于：

调用要素匹配网络对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行特征融合，得到所述第一图像包括的要素的第一融合特征以及所述第二图像包括的要素的第二融合特征；

根据所述第一融合特征以及所述第二融合特征对所述第一图像中的要素与所述第二图像中的要素进行匹配，得到要素匹配结果。

在一个实施例中，所述处理单元602在调用要素匹配网络对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行特征融合，得到所述第一图像包括的要素的第一融合特征以及所述第二图像包括的要素的第二融合特征时，可具体用于：

调用所述要素匹配网络的特征融合层对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息分别进行图像内融合，得到所述第一图像包括的要素的内部融合特征以及所述第二图像包括的要素的内部融合特征；

调用所述要素匹配网络的特征融合层对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行图像间融合，得到所述第一图像包括的要素的交叉融合特征以及所述第二图像包括的要素的交叉融合特征；

根据所述第一图像包括的要素的内部融合特征以及交叉融合特征确定所述第一图像包括的要素的第一融合特征；

根据所述第二图像包括的要素的内部融合特征以及交叉融合特征确定所述第二图像包括的要素的第二融合特征。

在一个实施例中，所述获取单元601还用于获取训练样本集，所述训练样本集包括正样本对、负样本对以及每个样本对的标注信息，所述标注信息包括所述每个样本对的每个样本中要素的特征信息，所述正样本对包括的样本中存在对应同一实体的要素，所述负样本对包括的样本中不存在对应同一实体的要素；

所述处理单元602还用于调用初始神经网络对所述正样本对以及所述负样本对进行处理，得到所述每个样本对对应的预测匹配要素；利用所述每个样本对的标注信息以及对应的预测匹配要素对所述初始神经网络的网络参数进行调整，得到要素匹配网络。

可以理解的是，本实施例的图像处理装置的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例图2或者图4的相关描述，此处不再赘述。

在本申请实施例中，计算机设备可以获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，并根据第一图像包括的要素的特征信息以及第二图像包括的要素的特征信息，对第一图像中的要素和第二图像中的要素进行匹配，得到要素匹配结果；然后基于要素匹配结果和所述第一图像对图像库进行更新处理，通过要素匹配方式对地图数据包括的图像库进行更新，可以减少由于图像长时间跨度存在季节、天气、光照变化、畸变严重、低帧率等对地图数据包括图像库更新不准确的问题，提高了对地图数据包括的图像库更新的准确性。

进一步地，请参见图7，图7是本申请实施例提供的一种计算机设备的结构示意图。上述图2或图4对应实施例中的计算机设备可以为图7所示的计算机设备。如图7所示，计算机设备可以包括：处理器701、输入设备702，输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器704存储的程序指令。

在本申请实施例中，处理器701通过运行存储器704中的可执行程序代码，执行如下操作：

获取第一图像包括的要素的特征信息和第二图像包括的要素的特征信息，所述第一图像包括由数据采集设备采集的所在位置的环境图像，所述第二图像为地图数据包括的图像库中与所述第一图像相似的图像；

根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果；

基于所述要素匹配结果和所述第一图像对所述图像库进行更新处理。

在一个实施例中，处理器701还用于：

调用检索网络从所述图像库包括的候选图像中获取与所述第一图像相似的一个或多个图像，所述图像库中的每个候选图像对应有一个或多个三维坐标，每个三维坐标对应有一个或多个二维坐标；

根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从所述一个或多个图像中确定第二图像。

在一个实施例中，所述处理器701在根据每个图像对应的三维坐标以及每个三维坐标对应的二维坐标，从所述一个或多个图像中确定第二图像时，可具体用于：

从每个图像对应的一个或多个三维坐标中，获取对应的二维坐标的数量超过数量阈值的目标三维坐标；

获取所述每个图像对应的二维坐标的第一总数量以及所述目标三维坐标对应的二维坐标的第二总数量；

根据所述第一总数量和所述第二总数量确定所述每个图像的重建率；

将所述一个或多个图像中对应的重建率大于或等于目标阈值的图像作为第二图像。

在一个实施例中，所述处理器701在基于所述要素匹配结果和所述第一图像对所述地图进行更新处理时，可具体用于：

若所述要素匹配结果指示所述第一图像包括的要素中存在目标要素，则利用所述第一图像对所述图像库进行更新处理，所述目标要素为所述第一图像中的任一要素，且所述第二图像不包括所述目标要素。

在一个实施例中，所述处理器701在根据所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息，对所述第一图像中的要素和所述第二图像中的要素进行匹配，得到要素匹配结果时，可具体用于：

调用要素匹配网络对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行特征融合，得到所述第一图像包括的要素的第一融合特征以及所述第二图像包括的要素的第二融合特征；

根据所述第一融合特征以及所述第二融合特征对所述第一图像中的要素与所述第二图像中的要素进行匹配，得到要素匹配结果。

在一个实施例中，所述处理器701在调用要素匹配网络对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行特征融合，得到所述第一图像包括的要素的第一融合特征以及所述第二图像包括的要素的第二融合特征时，可具体用于：

调用所述要素匹配网络的特征融合层对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息分别进行图像内融合，得到所述第一图像包括的要素的内部融合特征以及所述第二图像包括的要素的内部融合特征；

调用所述要素匹配网络的特征融合层对所述第一图像包括的要素的特征信息以及所述第二图像包括的要素的特征信息进行图像间融合，得到所述第一图像包括的要素的交叉融合特征以及所述第二图像包括的要素的交叉融合特征；

根据所述第一图像包括的要素的内部融合特征以及交叉融合特征确定所述第一图像包括的要素的第一融合特征；

根据所述第二图像包括的要素的内部融合特征以及交叉融合特征确定所述第二图像包括的要素的第二融合特征。

在一个实施例中，所述处理器701，还用于：

获取训练样本集，所述训练样本集包括正样本对、负样本对以及每个样本对的标注信息，所述标注信息包括所述每个样本对的每个样本中要素的特征信息，所述正样本对包括的样本中存在对应同一实体的要素，所述负样本对包括的样本中不存在对应同一实体的要素；

调用初始神经网络对所述正样本对以及所述负样本对进行处理，得到所述每个样本对对应的预测匹配要素；

利用所述每个样本对的标注信息以及对应的预测匹配要素对所述初始神经网络的网络参数进行调整，得到要素匹配网络。

应当理解，在本申请实施例中，所称处理器701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器701还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。

该输入设备702可以包括摄像组件等，并向处理器701输入第一图像；该输出设备703可以包括显示器等。

具体实现中，本申请实施例中所描述的处理器701、输入设备702、输出设备703和存储器704可执行上述所有实施例中描述的实现方式，也可执行上述装置中所描述的实现方式，在此不再赘述。

本申请实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，可执行上述所有实施例中所执行的步骤。

本申请实施例还提供一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令被计算机设备的处理器执行时，执行上述所有实施例中的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。