掌桥专利:专业的专利平台
掌桥专利
首页

一种定位方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:52:33


一种定位方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域,具体而言,涉及一种定位方法、装置、电子设备及存储介质。

背景技术

人工智能技术在打造智能教育,文娱及生活上发挥着越来越重要的作用,其中计算机视觉作为关键的技术之一,应用广泛,比如可以基于计算机视觉的定位技术,可以对不同场景下的目标场所内的目标对象进行定位,确定目标场所内目标对象的位置。

在基于计算机视觉进行定位的过程中,可以通过单目相机采集的目标场所图像,确定目标场所图像中的目标对象的位置,进一步确定目标对象在目标场所内的位置,完成对目标场所内的目标对象的追踪。

针对一些场地复杂的目标场所,在基于单目相机对目标对象进行定位的过程中,容易存在一些遮挡区域,针对这些遮挡区域的目标对象则无法完成定位。

发明内容

本公开实施例至少提供一种定位方案。

第一方面,本公开实施例提供了一种定位方法,包括:

获取目标场所内设置的多个采集设备在同一时刻采集的视频画面;其中,不同的采集设备在所述目标场所中的采集视角不同,所述视频画面中包括目标对象;

基于所述多个采集设备在同一时刻采集的视频画面,分别确定所述目标对象在所述目标场所中的初始位置坐标;

对同一目标对象的初始位置坐标进行融合,得到所述目标对象在所述目标场所中的目标位置坐标。

本公开实施例中,可以通过目标场所内设置的多个采集视角不同的采集设备在同一时刻采集的视频画面,确定不同视频画面中的目标对象的初始位置坐标,进一步对不同视频画面中的同一目标对象的初始位置坐标进行融合,确定目标对象在目标场所中的目标位置坐标,通过该方式一方面可以完成对空间较大和/或场地复杂的目标场所中的目标对象的全面定位,另一方面可以得到同一目标对象准确度较高的目标位置坐标。

在一种可能的实施方式中,所述基于所述多个采集设备在同一时刻采集的视频画面,分别确定所述目标对象在所述目标场所中的初始位置坐标,包括:

获取多个采集设备在同一时刻分别采集的视频画面中的所述目标对象的像素坐标;

基于每个采集设备采集的所述视频画面中的所述目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的所述目标对象在所述目标场所对应的世界坐标系下的初始位置坐标。

本公开实施例中,提出可以先确定目标对象在视频画面中的像素坐标,然后再根据采集设备的参数信息,得到目标对象在目标场所中的初始位置坐标,为后续确定目标对象在目标场所中的目标位置坐标提供准备。

在一种可能的实施方式中,所述获取多个采集设备在同一时刻分别采集的视频画面中的所述目标对象的像素坐标,包括:

将多张所述视频画面输入预先训练的神经网络,得到每张视频画面中的目标对象的检测框;其中,所述神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络;

提取每张视频画面中的目标对象的检测框上的目标位置点在该视频画面中的像素坐标,得到该视频画面中的目标对象的像素坐标。

本公开实施例中,提出神经网络中包含多个用于检测不同尺寸的目标对象的目标检测子网络,这样在通过神经网络对视频画面中的目标对象进行目标检测时,可以准确地检测出同一视频画面中不同尺寸的目标对象。

在一种可能的实施方式中,所述基于每个采集设备采集的所述视频画面中的所述目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的所述目标对象在所述目标场所对应的世界坐标系下的初始位置坐标,包括:

基于预先确定的每个采集设备的内参矩阵和畸变参数,对该采集设备采集的视频画面中的所述目标对象的像素坐标进行修正,得到该视频画面中的所述目标对象的修正像素坐标;

基于预先确定的该采集设备的单应性矩阵和该采集设备采集的视频画面中的所述目标对象的修正像素坐标,确定该视频画面中的所述目标对象的初始位置坐标。

本公开实施例中,在得到视频画面中目标对象的像素坐标后,先基于采集该视频画面的采集设备的内参矩阵和畸变系数对像素坐标进行修正,从而可以得到准确度较高的修正像素坐标,进一步得到目标对象在目标场所中准确度较高的初始位置坐标。

在一种可能的实施方式中,所述对同一目标对象的初始位置坐标进行融合,得到所述目标对象在所述目标场所中的目标位置坐标,包括:

基于多张所述视频画面确定的所述目标对象的所述初始位置坐标,确定与同一目标对象关联的多个所述初始位置坐标;

将与同一目标对象关联的多个所述初始位置坐标进行依次融合,得到所述同一目标对象在所述目标场所中的目标位置坐标。

本公开实施例中,考虑到基于不同采集设备采集视频画面确定的同一目标对象的初始位置坐标会存在一些误差,因此可以通过对多个采集设备采集的同一目标对象的初始位置坐标进行融合,从而可以得到该同一目标对象准确度较高的目标位置坐标。

在一种可能的实施方式中,所述将与同一目标对象关联的多个所述初始位置坐标进行依次融合,得到所述同一目标对象在所述目标场所中的目标位置坐标,包括:

从所述同一目标对象关联的多个所述初始位置坐标中选取任一初始位置坐标,将选取的任一初始位置坐标作为第一中间融合位置坐标;

将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标,将所述第二中间融合位置坐标作为更新后的所述第一中间融合位置坐标,并返回生成所述第二中间融合位置坐标的步骤,直到不存在待融合的初始位置坐标。

在一种可能的实施方式中,将所述第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标,包括:

确定所述第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标,将该中点坐标作为生成的所述第二中间融合位置坐标。

本公开实施例中,提出针对与同一目标对象关联的多个初始位置坐标,可以按照依次取中点的方式融合,从而得到准确度较高的目标位置坐标。

在一种可能的实施方式中,所述基于多张所述视频画面确定的所述目标对象的所述初始位置坐标,确定与同一目标对象关联的多个所述初始位置坐标,包括:

针对任意两张视频画面,确定所述任意两张视频画面中第一视频画面中每个第一目标对象的所述初始位置坐标,与所述任意两张视频画面中第二视频画面中各个第二目标对象的所述初始位置坐标之间的距离;

将该第一目标对象的所述初始位置坐标和与该第一目标对象构成最小距离的第二目标对象的初始位置坐标,作为与同一目标对象关联的多个所述初始位置坐标,所述最小距离小于预设融合距离阈值。

本公开实施例中,提出根据任意两张视频画面中不同目标对象的初始位置坐标,和预设融合距离阈值,可以快速确定出与同一目标对象关联的初始位置坐标,从而为后续确定各目标对象的目标位置坐标提供依据。

在一种可能的实施方式中,在得到所述目标对象在所述目标场所中的目标位置坐标之后,所述定位方法还包括:

基于所述目标场所中的各目标对象分别对应的目标位置坐标,以及预先设定的目标区域,确定是否存在进入所述目标区域的目标对象;

在确定存在进入所述目标区域的目标对象的情况下,进行预警提示。

本公开实施例中,在得到目标场所中的各目标对象准确度较高的目标位置坐标后,可以基于预先设定的目标区域,比如预先设定的危险区域,判断目标场所中的目标对象是否进入目标区域,以便及时预警提示,提高目标场所的安全性。

第二方面,本公开实施例提供了一种定位装置,包括:

获取模块,用于获取目标场所内设置的多个采集设备在同一时刻采集的视频画面;其中,不同的采集设备在所述目标场所中的采集视角不同,所述视频画面中包括目标对象;

确定模块,用于基于所述多个采集设备在同一时刻采集的视频画面,分别确定所述目标对象在目标场所中的初始位置坐标;

融合模块,用于对同一目标对象的初始位置坐标进行融合,得到所述目标对象在所述目标场所中的目标位置坐标。

第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的定位方法的步骤。

第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的定位方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种定位方法的流程图;

图2示出了本公开实施例所提供的一种确定目标对象的初始位置坐标的方法流程图;

图3示出了本公开实施例所提供的一种针对视频画面中检测到的目标对象的示意图;

图4示出了本公开实施例所提供的一种确定目标对象的目标位置坐标的方法流程图;

图5示出了本公开实施例所提供的一种预警提示的方法流程图;

图6示出了本公开实施例所提供的一种定位装置的结构示意图;

图7示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在很多应用场景中,通常需要对一个场所内的目标对象进行定位,比如在工厂内,需要检测员工是否在指定位置工作,或者是否进入危险区域,在商场中,可以通过对顾客的定位,检测商场中的人流分布,在对场所内的目标对象进行定位的过程中,可以通过单目相机采集的图像,确定目标对象的位置,然而针对一些场地复杂面积较大的目标场所,在基于单目相机对目标对象进行定位的过程中,无法捕捉到全部的目标对象,存在定位不全面的问题。

基于上述研究,本公开提供了一种定位方法,可以通过目标场所内设置的多个采集视角不同的采集设备在同一时刻采集的视频画面,确定不同视频画面中的目标对象的初始位置坐标,进一步对不同视频画面中的同一目标对象的初始位置坐标进行融合,确定目标对象在目标场所中的目标位置坐标,通过该方式一方面可以完成对空间较大和/或场地复杂的目标场所中的目标对象的全面定位,另一方面可以得到同一目标对象准确度较高的目标位置坐标。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种定位方法进行详细介绍,本公开实施例所提供的定位方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:服务器或其它处理设备。在一些可能的实现方式中,该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例提供的定位方法的流程图,该定位方法包括以下S101~S103:

S101,获取目标场所内设置的多个采集设备在同一时刻采集的视频画面;其中,不同的采集设备在目标场所中的采集视角不同,视频画面中包括目标对象。

示例性地,针对不同的应用场景,目标场所可以为与该应用场景对应的场所,比如需要对工厂内的员工进行定位的情况下,目标场所可以为工厂,需要对商场内的顾客进行定位的情况下,目标场所可以为商场,需要对体育馆内的运动员进行定位的情况下,目标场所可以为体育馆。

示例性地,目标对象为目标场所内需要进行定位的对象,比如上述提到的员工、顾客和运动员。

示例性地,采集设备可以为单目摄像机或者双目摄像机,目标场所内可以设置多个采集设备,针对不同的目标场所,可以根据目标场所的实际场地确定多个采集设备的安装位置,比如可以使得采集设备在目标场所中的采集视角不同,以覆盖目标场所的全部区域,不留死角,另外,考虑到采集设备过多会导致同一时刻采集的视频画面过多,因此会影响视频画面的处理速度,故在目标场所中安装采集设备时,需要同时考虑到采集设备的安装角度、以及数量,比如可以使得进入目标场所中的每个目标对象可以同时被两个采集设备采集到,这样目标场所内设置的多个采集设备可以完整的采集到目标场所整个区域的视频画面。

S102,基于多个采集设备在同一时刻采集的视频画面,分别确定目标对象在目标场所中的初始位置坐标。

示例性地,在获取到多个采集设备在同一时刻采集的视频画面后,可以进一步对多个采集设备在同一时刻采集的视频画面进行目标检测,确定不同视频画面中的目标对象在目标场所对应的世界坐标系下的初始位置坐标,具体地,可以基于检测出的视频画面中的目标对象在视频画面中的像素坐标,以及采集该视频画面的采集设备的参数信息,确定该视频画面中的目标对象的初始位置坐标。

示例性地,目标场所对应的世界坐标系可以预先确定,比如以目标场所地面的中点位置为世界坐标系的原点,以经过原点垂直于地面的方向为Z轴方向,以目标场所的地面上经过原点的一个方向为X轴方向,以目标场所的地面上经过原点且垂直于X轴的方向为Y轴方向。

S103,对同一目标对象的初始位置坐标进行融合,得到目标对象在目标场所中的目标位置坐标。

示例性地,考虑到不同采集设备的参数信息之间存在一些误差,因此基于不同采集设备采集到的视频画面确定的同一目标对象的初始位置坐标会有一些差距,可以对同一目标对象的初始位置坐标进行融合,得到同一目标对象在目标场所对应的世界坐标系下的目标位置坐标。

本公开实施例中,可以通过目标场所内设置的多个采集视角不同的采集设备在同一时刻采集的视频画面,确定不同视频画面中的目标对象的初始位置坐标,进一步对不同视频画面中的同一目标对象的初始位置坐标进行融合,确定目标对象在目标场所中的目标位置坐标,通过该方式一方面可以完成对空间较大和/或场地复杂的目标场所中的目标对象的全面定位,另一方面可以得到同一目标对象准确度较高的目标位置坐标。

针对上述S102,在基于多个采集设备在同一时刻采集的视频画面,分别确定目标对象在目标场所中的初始位置坐标时,如图2所示,可以包括以下S201~S202:

S201,获取多个采集设备在同一时刻分别采集的视频画面中的目标对象的像素坐标。

示例性地,可以基于预先训练的用于进行目标检测的神经网络来识别视频画面中的目标对象,进一步可以读取目标对象中设定位置点在视频画面对应的图像坐标系中的像素坐标,将该设定位置点对应的像素坐标作为目标对象的像素坐标。

具体地,在获取多个采集设备在同一时刻分别采集的视频画面中包含的目标对象的像素坐标时,可以包括以下S2011~S2012:

S2011,将多张视频画面输入预先训练的神经网络,得到每张视频画面中的目标对象的检测框;其中,神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络;

S2012,提取每张视频画面中的目标对象的检测框上的目标位置点在该视频画面中的像素坐标,得到该视频画面中的目标对象的像素坐标。

示例性地,神经网络可以检测出视频画面中包含的每个目标对象,并标记出每个目标对象的检测框,如图3所示,为视频画面中的包含的目标对象的检测框的示意图,该视频画面中包含两个目标对象对应的检测框,分别包括目标对象1的检测框A1B1C1D1和目标对象2的检测框A2B2C2D2,可以在每个目标对象的检测框上提取一个位置点作为目标位置点,比如提取检测框底边的中点作为目标位置点,如图3中通过检测框A1B1C1D1底边D1C1的中点K1的像素坐标表示目标对象1的像素坐标,通过检测框A2B2C2D2底边D2C2的中点位置点K2的像素坐标表示目标对象2的像素坐标。

示例性地,考虑到目标对象在目标场所中的位置是变化的,且目标场所中设置的多个采集设备在目标场所中的采集视角不同,因此,不同采集设备在同一时刻采集的视频画面中包含的目标对象的尺寸可能不同,为了能够准确地标记出不同尺寸的目标对象的检测框,本公开实施例使用的神经网络可以包含多个用于检测不同尺寸的目标对象的目标检测子网络,比如可以是特征金字塔网络,该特征金字塔网络中的每个目标检测子网络用于检测识别出视频画面中与该目标检测子网络对应尺寸的目标对象,通过该神经网络,可以准确地检测出同一视频画面中不同尺寸的目标对象。

本公开实施例中,提出神经网络中包含多个用于检测不同尺寸的目标对象的目标检测子网络,这样在通过神经网络对视频画面中的目标对象进行目标检测时,可以准确地检测出同一视频画面中不同尺寸的目标对象。

S202,基于每个采集设备采集的视频画面中的目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的目标对象在目标场所对应的世界坐标系下的初始位置坐标。

示例性地,每个采集设备的参数信息可以包含采集设备的单应性矩阵,比如单应性矩阵,其中,单应性矩阵可以表示采集设备采集的视频画面对应的图像坐标系和采集设备所处的目标场所对应的世界坐标系之间的转换关系,这样,在得到目标对象在视频画面对应的图像坐标系中的像素坐标后,可以根据采集设备的参数信息,确定目标对象在目标场所对应的世界坐标系中的初始位置坐标。

示例性地,目标场所对应的世界坐标系可以以目标场所中一固定位置为坐标原点,建立唯一世界坐标系,比如可以以目标场所地面中点为坐标系原点,在地面上设定一个方向作为世界坐标系X轴的正方向,在地面上设定与X轴垂直的方向作为世界坐标系Y轴的正方向,将垂直与地面向上的方向作为世界坐标系Z轴的正方向。

本公开实施例中,提出可以先确定目标对象在视频画面中的像素坐标,然后再根据采集设备的参数信息,得到目标对象在目标场所中的初始位置坐标,为后续确定目标对象在目标场所中的目标位置坐标提供准备。

在一种实施方式中,针对上述S202,在基于每个采集设备采集的视频画面中的目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的目标对象在目标场所对应的世界坐标系下的初始位置坐标时,包括以下S2021~S2022:

S2021,基于预先确定的每个采集设备的内参矩阵和畸变参数,对该采集设备采集的视频画面中的目标对象的像素坐标进行修正,得到该视频画面中的目标对象的修正像素坐标。

示例性地,采集设备的内参矩阵包含

示例性地,可以按照张正友棋盘标定的方式预先确定每个采集设备的内参矩阵和畸变参数,比如可以从不同角度拍摄多张棋盘格图像,检测出图像中的特征点,根据这些特征点在棋盘格图像中的像素坐标,求解出采集设备的内参矩阵和畸变参数,然后不断对内参矩阵和畸变参数进行优化,在优化过程中,可以根据相邻两次得到的内参矩阵和畸变参数对同一像素坐标进行修正处理,通过前后两次的修正像素坐标的差异确定是否结束优化,比如可以在该差异不再降低后,结束优化得到采集设备的内参矩阵和畸变参数。

S2022,基于预先确定的该采集设备的单应性矩阵和该采集设备采集的视频画面中的目标对象的修正像素坐标,确定该视频画面中的目标对象的初始位置坐标。

示例性地,单应性矩阵可以表示采集设备采集的视频画面对应的图像坐标系和采集设备位于的目标场所对应的世界坐标系之间的转换关系,该单应性矩阵同样可以预先对采集设备进行标定时确定,比如可以通过采集设备采集带有多个标志物的样本视频画面,预先确定多个标志物与地面(世界坐标系X轴和Y轴所在的平面)的交点在目标场所对应的世界坐标系中的世界坐标,然后根据上述方式确定多个标志物与地面的交点在样本视频画面中对应的修正像素坐标,进一步可以基于多个标志物分别对应的修正像素坐标和世界坐标,确定该采集设备的单应性矩阵。

示例性地,在确定视频画面中的目标对象的初始位置坐标时,可以根据视频画面中的目标对象的修正像素坐标和采集该视频画面的采集设备的单应性矩阵,得到视频画面中的目标对象在目标场所对应的世界坐标系中的初始位置坐标。

本公开实施例中,在得到视频画面中目标对象的像素坐标后,先基于采集该视频画面的采集设备的内参矩阵和畸变系数对像素坐标进行修正,从而可以得到准确度较高的修正像素坐标,进一步得到目标对象在目标场所中准确度较高的初始位置坐标。

在一种实施方式中,针对上述S103,在对同一目标对象的初始位置坐标进行融合,得到目标对象在目标场所中的目标位置坐标时,如图4所示,可以包括以下S301~S302:

S301,基于多张视频画面确定的目标对象的初始位置坐标,确定与同一目标对象关联的多个初始位置坐标。

示例性地,根据上文提到的目标场所中的每个目标对象至少被两个采集设备同时采集到,针对每个目标对象,在同一时刻被不同的采集设备拍摄到的情况下,考虑到采集设备的参数信息存在一定的误差,且不同的采集设备的参数信息之间的误差不同,因此,基于不同的视频画面确定的同一目标对象的初始位置坐标可能不同,在对同一目标对象的初始位置坐标进行融合之前,需要先确定与同一目标对象关联的多个初始位置坐标。

S302,将与同一目标对象关联的多个初始位置坐标进行依次融合,得到同一目标对象在目标场所中的目标位置坐标。

示例性地,假设与同一目标对象关联的多个初始位置坐标包含N个,可以先将前两个进行融合,得到融合后的初始位置坐标,然后将融合后的初始位置坐标与第三个初始位置坐标进行融合,直至与最后一个初始位置坐标进行融合后,将最终融合得到的位置坐标作为同一目标对象的目标位置坐标。

本公开实施例中,考虑到基于不同采集设备采集视频画面确定的同一目标对象的初始位置坐标会存在一些误差,因此可以通过对多个采集设备采集的同一目标对象的初始位置坐标进行融合,从而可以得到该同一目标对象准确度较高的目标位置坐标。

在一种实施方式中,针对上述S301,在基于多张视频画面确定的目标对象的初始位置坐标,确定与同一目标对象关联的多个初始位置坐标时,包括以下S3011~S3012:

S3011,针对任意两张视频画面,确定任意两张视频画面中第一视频画面中每个第一目标对象的初始位置坐标,与任意两张视频画面中第二视频画面中各个第二目标对象的初始位置坐标之间的距离;

S3012,将该第一目标对象的初始位置坐标和与该第一目标对象构成最小距离的第二目标对象的初始位置坐标,作为与同一目标对象关联的多个初始位置坐标,最小距离小于预设融合距离阈值。

示例性地,比如目标场所中设置A个采集设备,假设在同一时刻A个采集设备采集的视频画面中均包含至少一个目标对象,在该时刻可以得到A组初始位置坐标,A组初始位置坐标构成初始坐标集合s={S1,S2,S3,......SA},其中,S1、S2、S3...SA依次表示为A个采集设备中的第一个采集设备、第二个采集设备、第三个采集设备至第A个采集设备拍摄的视频画面中的目标对象的初始位置坐标,下面将以下任意两个视频画面为第一个采集设备和第二个采集设备在同一时刻采集的视频画面为例,说明如何确定与同一目标对象关联的多个初始位置坐标:

示例性地,S1中包含a个第一目标对象的初始位置坐标,S2中包含b个第二目标对象的初始位置坐标,可以确定每个第一目标对象的初始位置坐标和各个第二目标对象的初始位置坐标之间的欧式距离,得到距离矩阵:

其中,d

示例性地,具体在操作时,可以按照以下方式确定S1和S2中与同一目标对象关联的多个初始位置坐标,包括S30121~S3012:

S30121,在当前距离矩阵中的元素中查找当前最小距离;

示例性地,在首次查找最小距离的情况下,当前距离矩阵中的元素包含S1中每个第一目标对象的初始位置坐标和S2中各个第二目标对象的初始位置坐标之间的欧式距离。

S30121,判断当前最小距离是否小于预设融合距离阈值。

示例性地,预设融合距离可以根据经验设定,比如预先通过不同采集设备针对同一目标对象进行拍摄,然后根据不同采集设备采集的视频画面分别确定出该同一目标对象在目标场所中的多个位置坐标,根据多个位置坐标之间的距离来确定该预设融合距离阈值。

S30123,在确定该当前最小距离小于预设融合距离阈值的情况下,确定构成该当前最小距离的两个初始位置坐标为同一目标对象关联的初始位置坐标。

示例性地,比如确定出d

S30124,将当前距离矩阵中的当前最小距离和当前最小距离关联的两个初始位置坐标中任一初始位置坐标构成的其它距离设置为预设融合距离阈值后,返回执行S30121,直至当前距离矩阵中的当前最小距离不小于预设融合距离阈值的情况下,得到S1和S2中所有与同一目标对象关联的初始位置坐标。

示例性地,在将当前距离矩阵中的当前最小距离和当前最小距离关联的两个初始位置坐标中任一初始位置坐标构成的其它距离设置为预设融合距离阈值后,在继续查找当前最小距离的过程中,可以排除被设置为预设融合距离阈值的元素,从而提高搜索效率。

示例性地,在一种实施方式中,在得到S1和S2中与同一目标对象关联的多个初始位置坐标后,可以继续基于其它任意两张视频画面确定是否存在与同一目标对象关联的初始位置坐标,直至判断完A个采集设备在同一时刻采集的视频画面后,可以得到A个采集设备在同一时刻采集的视频画面中的各目标对象的不同初始位置坐标,然后对与同一目标对象关联的初始位置坐标进行融合,得到A个采集设备在同一时刻拍摄的A张视频画面中的各目标对象在目标场所中的目标位置坐标。

示例性地,在另一种实施方式中,在得到S1和S2中与同一目标对象关联的多个初始位置坐标后,可以对多个初始位置坐标进行坐标融合,得到该同一目标对象更新后的初始位置坐标,针对S1和S2中未参与融合的初始位置坐标,可以与更新后的初始位置坐标构成S2’,进一步通过S2’和S3中的初始位置坐标构成新的当前距离矩阵,重复执行S30121至S30124的步骤,得到S2’和S3中与同一目标对象关联的多个初始位置坐标,按照相同的方式得到S3’,进一步通过S3’和S4中的初始位置坐标构成新的当前距离矩阵,重复执行S30121至S30124的步骤,直至完成与初始坐标集合中的最后一个SA中的初始位置坐标的融合后,得到A个采集设备在同一时刻拍摄的A张视频画面中的各目标对象在目标场所中的目标位置坐标。

特别地,在直至完成与初始坐标集合中的最后一个SA中的初始位置坐标的融合后,若检测到存在任一初始位置坐标从开始到结束均为参与融合,考虑到目标场所中的每个目标对象至少被两个采集设备同时采集到,因此可以将该任一初始位置坐标作为误差初始位置坐标进行过滤。

本公开实施例中,提出根据任意两张视频画面中不同目标对象的初始位置坐标,和预设融合距离阈值,可以快速确定出与同一目标对象关联的初始位置坐标,从而为后续确定各目标对象的目标位置坐标提供依据。

具体地,针对上述S302,在将与同一目标对象关联的多个初始位置坐标进行依次融合,得到同一目标对象在目标场所中的目标位置坐标时,可以包括以下S3021~S3022:

S3021,从同一目标对象关联的多个初始位置坐标中选取任一初始位置坐标,将选取的任一初始位置坐标作为第一中间融合位置坐标。

S3022,将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标,将第二中间融合位置坐标作为更新后的第一中间融合位置坐标,并返回生成第二中间融合位置坐标的步骤,直到不存在待融合的初始位置坐标。

其中,待融合的初始位置坐标是指未参与融合的初始位置坐标。

示例性地,在将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标时,包括:

确定第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标,将该中点坐标作为生成的第二中间融合位置坐标。

示例性地,结合上述实施例若确定出与目标对象A关联的多个初始位置坐标包含N个,可以将任一初始位置坐标作为第一中间融合位置坐标,确定该第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标,然后将该中点坐标作为更新后的第一中间融合位置坐标,继续与其它任一待融合的初始位置坐标进行融合,直到N个初始位置坐标中不存在待融合的初始位置坐标后,得到目标对象A的目标位置坐标。

本公开实施例中,提出针对与同一目标对象关联的多个初始位置坐标,可以按照依次取中点的方式融合,从而得到准确度较高的目标位置坐标。

本公开实施例提出的定位方法可以准确地确定目标场所中各目标对象的目标位置坐标,该方式可以应用于多种应用场景,以应用于工厂为例,在得到目标对象在目标场所中的目标位置坐标之后,如图5所示,本公开实施例提供的定位方法还包括以下S401~S402:

S401,基于目标场所中的各目标对象分别对应的目标位置坐标,以及预先设定的目标区域,确定是否存在进入目标区域的目标对象;

S402,在确定存在进入目标区域的目标对象的情况下,进行预警提示。

示例性地,目标场所为工厂的情况下,可以预先在目标场所对应的世界坐标下中设定工厂内存在危险的目标区域对应的坐标范围,然后根据确定的目标场所中的各目标对象分别对应的目标位置坐标以及目标位于对应的坐标范围,确定是否存在进入目标区域的目标对象,进一步在确定存在进入目标区域的目标对象的情况下,进行预警提示。

示例性地,预警提示可以包括但不限于声光报警提示、语音报警提示等,通过预警提示,可以保障目标场所中员工的安全,提高目标场所的安全性。

本公开实施例中,在得到目标场所中的各目标对象准确度较高的目标位置坐标后,可以基于预先设定的目标区域,比如预先设定的危险区域,判断目标场所中的目标对象是否进入目标区域,以便及时预警提示,提高目标场所的安全性。

下面以目标场所为工厂为例,结合具体实施例对本公开提供的定位方法进行整体介绍:

1)针对工厂进行采集设备安装,比如在工厂安装多个相机,为了实现对场景内目标的精准定位,并保证算法通用性及鲁棒性,使得不同的采集设备在工厂中的采集视角不同,确保进入工厂中的每个员工至少被两个采集设备同时采集到。

2)使用张正友标定方式确定每个相机的内参矩阵和畸变系数。

3)在工厂内设置多个标志物,确定标志物与地面的交点在工厂对应的世界坐标系中的位置坐标,并根据相机的内参矩阵和畸变系数确定标志物与地面的交点在样本视频画面中的修正像素坐标,并根据交点在世界坐标系中的位置坐标和在样本视频画面中的修正像素坐标,确定每个相机的单应性矩阵。

4)使用加入特征金字塔的神经网络对工厂中的相机采集的视频画面进行目标检测,得到每张视频画面中包含的员工的像素坐标。

5)根据采集该张视频画面的相机的内参矩阵和畸变系数,对该张视频画面中包含的员工的像素坐标进行修正,得到该张视频画面中包含的员工的修正像素坐标。

6)根据采集该张视频画面的相机的单应性矩阵和该张视频画面中包含的员工的修正像素坐标,确定该张视频画面中包含的员工在工厂中的初始位置坐标。

7)对同一时刻采集到的视频画面中的同一员工的初始位置坐标进行融合,得到工厂中的员工在该时刻的目标位置坐标。

8)根据工厂中的员工在该时刻的目标位置坐标和工厂中预设的危险区域,确定是否存在员工进入危险区域,在确定存在员工进入危险区域的情况下,进行预警提示。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思,本公开实施例中还提供了与定位方法对应的定位装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述定位方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图6所示,为本公开实施例提供的一种定位装置500的示意图,该定位装置包括:

获取模块501,用于获取目标场所内设置的多个采集设备在同一时刻采集的视频画面;其中,不同的采集设备在目标场所中的采集视角不同,视频画面中包括目标对象;

确定模块502,用于基于多个采集设备在同一时刻采集的视频画面,分别确定目标对象在目标场所中的初始位置坐标;

融合模块503,用于对同一目标对象的初始位置坐标进行融合,得到目标对象在目标场所中的目标位置坐标。

在一种实施方式中,确定模块502在用于基于多个采集设备在同一时刻采集的视频画面,分别确定目标对象在目标场所中的初始位置坐标时,包括:

获取多个采集设备在同一时刻分别采集的视频画面中的目标对象的像素坐标;

基于每个采集设备采集的视频画面中的目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的目标对象在目标场所对应的世界坐标系下的初始位置坐标。

在一种可能的实施方式中,确定模块502在用于获取多个采集设备在同一时刻分别采集的视频画面中的目标对象的像素坐标时,包括:

将多张视频画面输入预先训练的神经网络,得到每张视频画面中的目标对象的检测框;其中,神经网络包含多个用于检测不同尺寸的目标对象的目标检测子网络;

提取每张视频画面中的目标对象的检测框上的目标位置点在该视频画面中的像素坐标,得到该视频画面中的目标对象的像素坐标。

在一种可能的实施方式中,确定模块502在用于基于每个采集设备采集的视频画面中的目标对象的像素坐标和该采集设备的参数信息,确定该采集设备采集的目标对象在目标场所对应的世界坐标系下的初始位置坐标时,包括:

基于预先确定的每个采集设备的内参矩阵和畸变参数,对该采集设备采集的视频画面中的目标对象的像素坐标进行修正,得到该视频画面中的目标对象的修正像素坐标;

基于预先确定的该采集设备的单应性矩阵和该采集设备采集的视频画面中的目标对象的修正像素坐标,确定该视频画面中的目标对象的初始位置坐标。

在一种可能的实施方式中,融合模块503在用于对同一目标对象的初始位置坐标进行融合,得到目标对象在目标场所中的目标位置坐标,包括:

基于多张视频画面确定的目标对象的初始位置坐标,确定与同一目标对象关联的多个初始位置坐标;

将与同一目标对象关联的多个初始位置坐标进行依次融合,得到同一目标对象在目标场所中的目标位置坐标。

在一种可能的实施方式中,融合模块503在用于将与同一目标对象关联的多个初始位置坐标进行依次融合,得到同一目标对象在目标场所中的目标位置坐标时,包括:

从同一目标对象关联的多个初始位置坐标中选取任一初始位置坐标,将选取的任一初始位置坐标作为第一中间融合位置坐标;

将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标,将第二中间融合位置坐标作为更新后的第一中间融合位置坐标,并返回生成第二中间融合位置坐标的步骤,直到不存在待融合的初始位置坐标。

在一种可能的实施方式中,融合模块503在用于将第一中间融合位置坐标与其它任一待融合的初始位置坐标进行融合,生成第二中间融合位置坐标时,包括:

确定第一中间融合位置坐标与其它任一待融合的初始位置坐标的中点坐标,将该中点坐标作为生成的第二中间融合位置坐标。

在一种可能的实施方式中,融合模块503在用于基于多张视频画面确定的目标对象的初始位置坐标,确定与同一目标对象关联的多个初始位置坐标时,包括:

针对任意两张视频画面,确定任意两张视频画面中第一视频画面中每个第一目标对象的初始位置坐标,与任意两张视频画面中第二视频画面中各个第二目标对象的初始位置坐标之间的距离;

将该第一目标对象的初始位置坐标和与该第一目标对象构成最小距离的第二目标对象的初始位置坐标,作为与同一目标对象关联的多个初始位置坐标,最小距离小于预设融合距离阈值。

在一种可能的实施方式中,在融合模块503得到目标对象在目标场所中的目标位置坐标之后,确定模块502还用于:

基于目标场所中的各目标对象分别对应的目标位置坐标,以及预先设定的目标区域,确定是否存在进入目标区域的目标对象;

在确定存在进入目标区域的目标对象的情况下,进行预警提示。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

对应于图1中的定位方法,本公开实施例还提供了一种电子设备600,如图7所示,为本公开实施例提供的电子设备600结构示意图,包括:

处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当所述电子设备600运行时,所述处理器61与所述存储器62之间通过总线63通信,使得所述处理器61执行以下指令:获取目标场所内设置的多个采集设备在同一时刻采集的视频画面;其中,不同的采集设备在目标场所中的采集视角不同,视频画面中包含目标对象;基于多个采集设备在同一时刻采集的视频画面,分别确定目标对在目标场所中的初始位置坐标;对同一目标对象的初始位置坐标进行融合,得到目标对象在目标场所中的目标位置坐标。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的定位方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的定位方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 一种对象的定位方法、定位装置、电子设备和可存储介质
  • 一种对象的定位方法、定位装置、电子设备和可存储介质
技术分类

06120113082123