多画面目标匹配方法、装置、电子设备及存储介质

技术领域

本申请涉及数据分析技术领域，具体而言，涉及一种多画面目标匹配方法、装置、电子设备及存储介质。

背景技术

在目标追踪场景下，会涉及到对处于平行位置但视角有差异的多组摄像头所拍摄的画面中的相同目标的匹配，以实现对多个场景中同一目标进行跨画面的一一对应和跟踪。

因此，如何对多个画面中的目标进行匹配是亟需解决的问题。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种多画面目标匹配方法、装置、电子设备及存储介质，以便于实现对多个画面中的目标的精确匹配。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种多画面目标匹配方法，包括：

根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵；

根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，所述第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，所述映射坐标序列包括所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，所述第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息；

根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

可选地，所述根据在各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵，包括：

根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定所述第一拍摄画面与所述第二拍摄画面之间的坐标变换矩阵。

可选地，所述根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，包括：

根据所述第一拍摄画面中各目标的坐标信息、以及所述第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

根据各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，其中，所述映射坐标序列中各目标的排序与所述第一拍摄画面的坐标序列中各目标的排序一一对应。

可选地，所述根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，包括：

依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率；

根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息。

可选地，所述依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，包括：

确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果；

确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果；

将所述交集计算结果除以所述并集计算结果，得到所述第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率。

可选地，所述根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系，包括：

根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，所述匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，所述代价和为在所述匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和；

根据各待选的匹配结果对应的代价和，确定目标匹配结果；

根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

可选地，所述根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系，包括：

根据各映射坐标信息在所述目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从所述第二拍摄画面中确定各映射坐标信息所匹配的第二目标；

所述各映射坐标信息与所述第一拍摄画面中各目标的坐标信息的映射关系，从所述第一拍摄画面中确定各映射坐标信息所匹配的第一目标；

确定所述第一拍摄画面中的所述第一目标与所述第二拍摄画面中的所述第二目标相互匹配。

第二方面，本申请实施例还提供了一种多画面目标匹配装置，包括：计算模块、确定模块、匹配模块；

所述计算模块，用于根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵；

所述确定模块，用于根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，所述第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，所述映射坐标序列包括所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

所述确定模块，用于根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，所述第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息；

所述匹配模块，用于根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

可选地，所述计算模块，具体用于根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定所述第一拍摄画面与所述第二拍摄画面之间的坐标变换矩阵。

可选地，所述确定模块，具体用于根据所述第一拍摄画面中各目标的坐标信息、以及所述第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

根据各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，其中，所述映射坐标序列中各目标的排序与所述第一拍摄画面的坐标序列中各目标的排序一一对应。

可选地，所述确定模块，具体用于依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率；

根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息。

可选地，所述确定模块，具体用于确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果；

确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果；

将所述交集计算结果除以所述并集计算结果，得到所述第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率。

可选地，所述匹配模块，具体用于根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，所述匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，所述代价和为在所述匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和；

根据各待选的匹配结果对应的代价和，确定目标匹配结果；

根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

可选地，所述匹配模块，具体用于根据各映射坐标信息在所述目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从所述第二拍摄画面中确定各映射坐标信息所匹配的第二目标；

所述各映射坐标信息与所述第一拍摄画面中各目标的坐标信息的映射关系，从所述第一拍摄画面中确定各映射坐标信息所匹配的第一目标；

确定所述第一拍摄画面中的所述第一目标与所述第二拍摄画面中的所述第二目标相互匹配。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的多画面目标匹配方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的多画面目标匹配方法的步骤。

本申请的有益效果是：

本申请提供一种多画面目标匹配方法、装置、电子设备及存储介质，该方法通过计算不同拍摄画面之间的坐标变换矩阵，可以将第一拍摄画面中各目标的坐标信息转换至另第二拍摄画面所在坐标系下，得到第一拍摄画面中各目标在第二拍摄画面中的映射坐标信息，而基于映射坐标信息与第二拍摄画面中各目标的坐标信息的代价信息，可以确定各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，而由于各映射坐标信息是通过第一拍摄画面中各目标的坐标信息转换得到，各映射坐标信息对应的目标则为第一拍摄画面中的一个目标，那么，基于各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，则可确定出第一拍摄画面中各目标与第二拍摄画面中各目标之间的匹配结果。通过本方法所提供的目标匹配方式可自动化的实现不同画面之间目标的匹配，可有效的解决多画面目标之间的匹配问题，且匹配效率较高。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的多画面目标匹配方法的流程示意图一；

图2为本申请实施例提供的多画面目标匹配方法的流程示意图二；

图3为本申请实施例提供的一种坐标映射关系示意图；

图4为本申请实施例提供的多画面目标匹配方法的流程示意图三；

图5为本申请实施例提供的多画面目标匹配方法的流程示意图四；

图6为本申请实施例提供的多画面目标匹配方法的流程示意图五；

图7为本申请实施例提供的多画面目标匹配方法的流程示意图六；

图8为本申请实施例提供的一种多画面目标匹配装置的示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

本方法可应用于交通视频场景中，例如“全息路口”，通过对平行但视角有差异的多组摄像头拍摄的画面进行目标信息的融合。针对同一目标出现在不同画面内但在不同画面内坐标信息不一致的情况，可采用本方法对多组视频画面中相同目标的信息进行实时的融合，从而结合高清地图，生成目标在全息路口下的全景画面，以用于对目标的精确追踪。

图1为本申请实施例提供的多画面目标匹配方法的流程示意图一；本方法的执行主体可以是服务器、处理器等计算机设备。如图1所示，该方法可包括：

S101、根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵。

可选地，一个拍摄画面可由一个拍摄设备拍摄得到，各拍摄设备可平行安装于同一平面，且各拍摄设备对应的拍摄画面的方位角度不同，从而各拍摄画面具有不同的拍摄坐标系。

针对各拍摄画面，可确定各拍摄画面中共同存在的，且均未被明显遮挡的点作为关键点，并标记关键点在各拍摄画面中的位置，其中，关键点也可称为角点，可被定义为两条边的交点。例如：共包含两个拍摄画面，两个拍摄画面中均出现同一个人物的头部，那么，可将该人物头部的中心点作为一个关键点，在两个拍摄画面中均标记该人物的头部中心点，从而使得这两个拍摄画面中所标记的相同关键点互相组成一对关键点。

其中，关键点可标记多个，至少可选择标记三个，当标记的关键点越多时，计算的拍摄画面之间的坐标变换矩阵的精确度越高。

这里，任意两个拍摄画面之间均对应计算得到一个坐标变换矩阵，坐标变换矩阵则用于将两个拍摄画面中的拍摄物体转换到一个坐标系下，例如：拍摄画面1和拍摄画面2中均包括相同的人物，那么，通过坐标变换矩阵，可计算出拍摄画面1中该人物映射至拍摄画面2中的坐标。

S102、根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定第一拍摄画面映射至第二拍摄画面所在坐标系下的映射坐标序列，第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，映射坐标序列包括第一拍摄画面中各目标映射至第二拍摄画面所在坐标系下的映射坐标信息。

这里的第一拍摄画面和第二拍摄画面可以指各拍摄画面中的任意两个不同的拍摄画面，本实施例中将以第一拍摄画面和第二拍摄画面之间的目标匹配作为举例，对本方法的目标匹配原理和步骤进行详细说明，实际应用中，任意两个拍摄画面中目标的匹配方式均可参照此执行。

通常一个拍摄画面中会包含多个目标，由于我们这里关注的目标为人物和车辆，那么，在本方法中可以将拍摄画面中的车辆或者人物均作为一个目标，而对于其他建筑物、路灯等，可忽略。

基于此，可得到由第一拍摄画面中各目标的坐标信息所构成的第一拍摄画面的坐标序列。

可选地，根据上述计算得到的第一拍摄画面和第二拍摄画面之间的坐标变换矩阵，可将第一拍摄画面的坐标序列映射至第二拍摄画面所在的坐标系下，得到映射坐标序列。

由于拍摄画面中的人物或者车辆均对应一个区域，并不是一个点，本实施例中，目标的坐标信息可以采用包围该目标的一个目标框的坐标进行表示，在一种可实现的方式中，目标的坐标信息可以表示为：(x，y，w，h)其中，w可表示目标框的宽，h表示目标框的高，(x，y)表示目标框的左上角点，也即通过一个坐标点、以及高和宽这三个参数，可在画面中确定唯一的一个目标框的位置，当然，(x，y)并不限于表示目标框的左上角点，也可以取目标框的底边中点、左下角点等等。

当然，目标的坐标信息也可以采用目标框的四个顶点的坐标信息来唯一的表示。

S103、根据映射坐标序列以及第二拍摄画面的坐标序列，确定各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息。

同样的，第二拍摄画面的坐标序列也是由第二拍摄画面中的各目标的坐标信息构成，值得注意的是，第一拍摄画面中包含的各目标与第二拍摄画面中包含的各目标可能存在相同的，也可能存在不同的，或者存在部分相同。

针对映射坐标序列中的每个映射坐标信息可分别计算其与第二拍摄画面的坐标序列中各坐标信息之间的代价信息，代价信息一定程度上可用于评判两个坐标信息之间的匹配度，代价越小，匹配度越高。

S104、根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

可选地，基于计算得到的各映射坐标信息与第二拍摄画面中各坐标信息之间的代价信息，可以确定各映射坐标信息与第二拍摄画面中各坐标信息之间的匹配度，由于坐标信息可唯一的表征一个目标，那么，也即可确定各映射坐标信息所对应的目标与各坐标信息所对应的第二拍摄画面中的各目标之间的匹配度。

而由于各映射坐标信息是由第一拍摄画面中各目标的坐标信息转换而得到的，各映射坐标信息与第一拍摄画面中各目标的坐标信息之间具有对应关系，那么，则可进一步地确定出第一拍摄画面中各目标与第二拍摄画面中各目标之间的匹配度，从而得到第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

在一些实施例中，基于匹配结果，若两个拍摄画面中的两个目标匹配，那么，可认为两个目标为同一个目标，那么，可以根据该目标在这两个拍摄画面中的任一拍摄画面下的坐标信息，得到该目标的经纬度信息，从而用于生成该目标在全息路口中的画面。

综上，本实施例提供的多画面目标匹配方法，通过计算不同拍摄画面之间的坐标变换矩阵，可以将第一拍摄画面中各目标的坐标信息转换至另第二拍摄画面所在坐标系下，得到第一拍摄画面中各目标在第二拍摄画面中的映射坐标信息，而基于映射坐标信息与第二拍摄画面中各目标的坐标信息的代价信息，可以确定各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，而由于各映射坐标信息是通过第一拍摄画面中各目标的坐标信息转换得到，各映射坐标信息对应的目标则为第一拍摄画面中的一个目标，那么，基于各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，则可确定出第一拍摄画面中各目标与第二拍摄画面中各目标之间的匹配结果。通过本方法所提供的目标匹配方式可自动化的实现不同画面之间目标的匹配，有效的解决多画面目标之间的匹配问题，且匹配效率较高。

可选地，根据在各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵，可以包括：根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定第一拍摄画面与第二拍摄画面之间的坐标变换矩阵。

针对各关键点，可以将每个关键点分别在第一拍摄画面中的坐标和在第二拍摄画面中的坐标作为一个数据对，从而得到各关键点所对应的数据对，而将各关键点所对应的数据对输入至逆仿射变换算法中，则可生成第一拍摄画面与第二拍摄画面之间的坐标变换矩阵。

其中，坐标变换矩阵可由旋转向量R和平移向量T两部分组成，可以表示为H＝[R，T]，第一拍摄画面和第二拍摄画面之间的坐标变换矩阵可以表示为H

图2为本申请实施例提供的多画面目标匹配方法的流程示意图二；可选地，步骤S102中，根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定第一拍摄画面映射至第二拍摄画面所在坐标系下的映射坐标序列，可以包括：

S201、根据第一拍摄画面中各目标的坐标信息、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定第一拍摄画面中各目标映射至第二拍摄画面所在坐标系下的映射坐标信息。

值得说明的是，在计算映射坐标信息时，所使用的第一拍摄画面中各目标的坐标信息可以仅取该坐标信息中的(x,y)元素，而对应计算得到的映射坐标信息也为二维坐标点，而基于该为二维坐标点、以及坐标信息(x,y)所对应的目标框的w和h，则可还原出第一拍摄画面中各目标的坐标信息对应在第二拍摄画面的坐标系下的映射坐标信息(映射的目标框)。

假设拍摄画面1中的一个目标P

在一种可实现的方式中，假设将第一拍摄画面中目标1映射至第二拍摄画面中，那么具体的映射步骤可以如下：

选取第一拍摄画面中目标1所对应的目标框的左下角点1和右下角点1，通过第一拍摄画面和第二拍摄画面之间的坐标映射矩阵，可得到左下角点1和右下角点1分别映射至第二拍摄画面中的左下角点2和右下角点2，从而根据左下角点2和右下角点2的坐标，可计算得到第一拍摄画面中的目标1映射至第二拍摄画面中所对应的目标框的宽度，而由于目标1原有的宽高比值和映射后的宽高比保持不变，从而可得到目标1在第二拍摄画面中的高度。

那么，基于目标1在第一拍摄画面中的坐标信息(x

图3为本申请实施例提供的一种坐标映射关系示意图，如图3所示，将拍摄画面1中的目标P

由此，针对拍摄画面1中的各目标的坐标信息均可采用上述方式，计算得到其映射至拍摄画面2中的映射坐标信息。

S202、根据各目标映射至第二拍摄画面所在坐标系下的映射坐标信息，确定第一拍摄画面映射至第二拍摄画面所在坐标系下的映射坐标序列，其中，映射坐标序列中各目标的排序与第一拍摄画面的坐标序列中各目标的排序一一对应。

基于得到的各映射坐标信息，可组合生成第一拍摄画面映射至第二拍摄画面所在的坐标系下的映射坐标序列。

假设第一拍摄画面的坐标序列为：

图4为本申请实施例提供的多画面目标匹配方法的流程示意图三；可选地，步骤S103中，根据映射坐标序列以及第二拍摄画面的坐标序列，确定各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，可以包括：

S401、依次两两计算各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率。

假设第二拍摄画面的坐标序列为

例如：针对

S402、根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率，确定各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息。

在一些实施例中，任意一个映射坐标信息与第二拍摄画面中任意一个目标的坐标信息之间的代价信息可以是根据该两个坐标信息之间的重叠率计算得到的。

由此，可得到各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息。

图5为本申请实施例提供的多画面目标匹配方法的流程示意图四；可选地，步骤S401中，依次两两计算各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率，可以包括：

S501、确定第一映射坐标信息与第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果。

本实施例中，计算两个坐标信息之间的重叠率时，是采用IOU交并比(Intersection over Union)计算公式计算得到。

由于每个坐标信息均代表一个目标框，可选地，可计算第一映射坐标信息与第一坐标信息之间的交集，也即两个目标框之间的交集。

S502、确定第一映射坐标信息与第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果。

同样的，还可计算出第一映射坐标信息与第一坐标信息之间的并集，也即两个目标框之间的并集。

S503、将交集计算结果除以并集计算结果，得到第一映射坐标信息与第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率。

可选地，用上述计算得到的交集结果除以并集结果，则可以计算得到第一映射坐标信息与第一坐标信息之间的重叠率，而同理，则可依次计算得到任意一个映射坐标信息与第二拍摄画面中任意一个坐标信息之间的重叠率。

假设第一映射坐标信息与第一坐标信息之间的重叠率为IOU

值得注意的是两个区域之间的交并比结果IOU越大，也即两个区域的重叠程度越高，且IOU的取值为0-1之间，当IOU取值为0时，也即两个区域几乎完全不重叠，当IOU为1时，也即两个区域完全重叠，而IOU的取值为0-1之间的小数时，则两个区域部分重叠。

基于此，由于两个坐标信息之间的代价信息为1-IOU，那么，IOU越大，也即代价信息越小时，则证明两个坐标信息之间越相似。

基于上述的计算，可得到各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价矩阵，代价矩阵的大小为M乘N，其中，M指映射坐标序列中映射坐标信息的数量，N指第二拍摄画面的坐标序列中坐标信息的数量。

图6为本申请实施例提供的多画面目标匹配方法的流程示意图五；可选地，步骤S104中，根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系，可以包括：

S601、根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，代价和为在匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和。

可选地，基于上述得到的代价矩阵，可根据代价矩阵中各代价信息，使用匈牙利算法进行最优匹配，以确定各映射坐标信息与第二拍摄画面中各坐标信息之间的最优匹配关系，也即从第二拍摄画面中的各坐标信息中为每个映射坐标信息确定出唯一匹配的坐标信息。

其中，匈牙利算法的匹配目标是使得映射坐标信息匹配到第二拍摄画面中的某个坐标信息后，各相互匹配的坐标信息之间的代价信息之和达到最小。

可选地，由于本方案中映射坐标信息以及第二拍摄画面中的坐标信息均包含多个，估需要从全局角度找到各映射坐标信息所匹配的最佳坐标信息，且还需保证代价信息之和最小。

由于任意一个映射坐标信息均可能匹配到第二拍摄画面中的任意一个坐标信息，那么，映射坐标序列与第二拍摄画面的坐标序列之间将存在很多种可能的匹配结果，类似于穷举方式，得到所有可能的匹配结果，每种匹配结果均作为一种待选的匹配结果，且每种匹配结果均对应计算得到一代价和。其中，代价和则指的是在匹配结果下，各映射坐标信息与其匹配到的坐标信息之间的代价信息之和。

例如：匹配结果1包括：映射坐标信息1与第二拍摄画面中的坐标信息1匹配，映射坐标信息2与第二拍摄画面中的坐标信息2匹配，映射坐标信息3与第二拍摄画面中的坐标信息3匹配，其中，映射坐标信息1与坐标信息1的代价信息为a，映射坐标信息2与坐标信息2的代价信息为b，映射坐标信息3与坐标信息3的代价信息为c，那么，匹配结果1对应的代价和则为a+b+c。

S602、根据各待选的匹配结果对应的代价和，确定目标匹配结果。

可选地，可根据各待选的匹配结果对应的代价和，从各待选的匹配结果中选择代价和最小的匹配结果作为目标匹配结果。

S603、根据目标匹配结果，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

可选地，基于所确定的目标匹配结果，可以按照目标匹配结果中映射坐标信息与第二拍摄画面中坐标信息之间的匹配关系，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

图7为本申请实施例提供的多画面目标匹配方法的流程示意图六；可选地，步骤S603中，根据目标匹配结果，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系，可以包括：

S701、根据各映射坐标信息在目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从第二拍摄画面中确定各映射坐标信息所匹配的第二目标。

假设目标匹配结果包括：映射坐标信息1对应第二拍摄画面中的坐标信息2，映射坐标信息2对应第二拍摄画面中的坐标信息4，映射坐标信息3对应第二拍摄画面中的坐标信息6，而第二拍摄画面中各坐标信息对应的目标是唯一的，假设第二拍摄画面中的坐标信息2对应的为第二拍摄画面中的目标a，同理，第二拍摄画面中的坐标信息4对应的为第二拍摄画面中的目标b，第二拍摄画面中的坐标信息6对应的为第二拍摄画面中的目标c，那么，可依次确定映射坐标信息1所匹配的第二拍摄画面中的第二目标为目标a，映射坐标信息2所匹配的第二拍摄画面中的第二目标为目标b，映射坐标信息3所匹配的第二拍摄画面中的第二目标为目标c。

S702、各映射坐标信息与第一拍摄画面中各目标的坐标信息的映射关系，从第一拍摄画面中确定各映射坐标信息所匹配的第一目标。

而根据前述的，第一拍摄画面的坐标序列

S703、确定第一拍摄画面中的第一目标与第二拍摄画面中的第二目标相互匹配。

那么，可确定第一拍摄画面中的目标d与第二拍摄画面中的目标a相互匹配，第一拍摄画面中的目标e与第二拍摄画面中的目标b相互匹配，第一拍摄画面中的目标f与第二拍摄画面中的目标c相互匹配。

上述的匹配原理可以理解为：a和b匹配，而b和c匹配，那么可认为a和c匹配。而之所以不直接将第一拍摄画面的坐标序列与第二拍摄画面的坐标序列进行匹配，是因为第一拍摄画面与第二拍摄画面对应不同的坐标系，没有可比性，而第一拍摄画面所对应的映射坐标序列与第二拍摄画面的坐标序列属于同一坐标系，可进行直接匹配。

综上所述，本申请实施例提供一种多画面目标匹配方法，通过计算不同拍摄画面之间的坐标变换矩阵，可以将第一拍摄画面中各目标的坐标信息转换至另第二拍摄画面所在坐标系下，得到第一拍摄画面中各目标在第二拍摄画面中的映射坐标信息，而基于映射坐标信息与第二拍摄画面中各目标的坐标信息的代价信息，可以确定各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，而由于各映射坐标信息是通过第一拍摄画面中各目标的坐标信息转换得到，各映射坐标信息对应的目标则为第一拍摄画面中的一个目标，那么，基于各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，则可确定出第一拍摄画面中各目标与第二拍摄画面中各目标之间的匹配结果。通过本方法所提供的目标匹配方式可自动化的实现不同画面之间目标的匹配，有效的解决多画面目标之间的匹配问题，且匹配效率较高。

下述对用以执行本申请所提供的多画面目标匹配方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。

图8为本申请实施例提供的一种多画面目标匹配装置的示意图，该多画面目标匹配装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图8所示，该装置可包括：计算模块810、确定模块820、匹配模块830；

计算模块810，用于根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵；

确定模块820，用于根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定第一拍摄画面映射至第二拍摄画面所在坐标系下的映射坐标序列，第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，映射坐标序列包括第一拍摄画面中各目标映射至第二拍摄画面所在坐标系下的映射坐标信息；

确定模块820，用于根据映射坐标序列以及第二拍摄画面的坐标序列，确定各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息；

匹配模块830，用于根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

可选地，计算模块810，具体用于根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定第一拍摄画面与第二拍摄画面之间的坐标变换矩阵。

可选地，确定模块820，具体用于根据第一拍摄画面中各目标的坐标信息、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定第一拍摄画面中各目标映射至第二拍摄画面所在坐标系下的映射坐标信息；

根据各目标映射至第二拍摄画面所在坐标系下的映射坐标信息，确定第一拍摄画面映射至第二拍摄画面所在坐标系下的映射坐标序列，其中，映射坐标序列中各目标的排序与第一拍摄画面的坐标序列中各目标的排序一一对应。

可选地，确定模块820，具体用于依次两两计算各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率；

根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率，确定各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息。

可选地，确定模块820，具体用于确定第一映射坐标信息与第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果；

确定第一映射坐标信息与第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果；

将交集计算结果除以并集计算结果，得到第一映射坐标信息与第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的重叠率。

可选地，匹配模块830，具体用于根据各映射坐标信息与第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，代价和为在匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和；

根据各待选的匹配结果对应的代价和，确定目标匹配结果；

根据目标匹配结果，确定第一拍摄画面中各目标与第二拍摄画面中各目标的匹配关系。

可选地，匹配模块830，具体用于根据各映射坐标信息在目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从第二拍摄画面中确定各映射坐标信息所匹配的第二目标；

各映射坐标信息与第一拍摄画面中各目标的坐标信息的映射关系，从第一拍摄画面中确定各映射坐标信息所匹配的第一目标；

确定第一拍摄画面中的第一目标与第二拍摄画面中的第二目标相互匹配。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。

图9为本申请实施例提供的一种电子设备的结构示意图，该电子设备可以是具备数据处理功能的计算设备。

该设备科包括：处理器801、存储介质802。

存储介质802用于存储程序，处理器801调用存储介质802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

其中，存储介质802存储有程序代码，当程序代码被处理器801执行时，使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的方法中的各种步骤。

处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储介质802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储介质可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储介质、随机访问存储介质(Random AccessMemory，RAM)、静态随机访问存储介质(Static Random Access Memory，SRAM)、可编程只读存储介质(Programmable Read Only Memory，PROM)、只读存储介质(Read Only Memory，ROM)、带电可擦除可编程只读存储介质(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储介质、磁盘、光盘等等。存储介质是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储介质802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储介质(英文：Read-Only Memory，简称：ROM)、随机存取存储介质(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。