掌桥专利:专业的专利平台
掌桥专利
首页

一种空间标定方法和系统

文献发布时间:2023-06-19 11:21:00


一种空间标定方法和系统

技术领域

本申请涉及人工智能(artificial intelligence,AI)领域,尤其涉及一种空间标定方法和系统。

背景技术

目前,城市中各个区域都部署了大量的摄相机进行实时监控。例如,在城市交通路口部署摄相机用于实时监控交通路口的车流、人流等交通信息。并且随着人工智能技术的发展,人脸识别、车牌识别、车型识别等技术已普遍应用于交通路口的自动化监控,极大的提升了交通监管效率,保障了城市交通的安全有序。为了实现对交通路口的交通状态进行监测和分析,例如对交通路口上的车辆和行人的位置、车辆的运行速度等进行监测,需要根据摄像头拍摄的视频数据获知视频中的车辆或行人在交通路口中的实际位置,因此,需要对交通路口进行空间标定。空间标定即是确定图像中的点的像素坐标与该点在地理区域的地理坐标之间的对应关系,其中,该图像是由设置在地理区域中用于拍摄该地理区域的摄像头拍摄的。在许多其他视频或图像的应用中,也需要确定点的像素坐标与地理坐标之间的对应关系,确定点在图像中的像素坐标与在地理区域中的地理坐标之间的对应关系的方法称为空间标定技术。

现有的空间标定技术方案需要利用摄像机拍摄一个地理区域的图像,并确定图像中的多个标志点,获得每个标志点的像素坐标,进而确定图像中的标志点在地理区域的地理坐标。利用得到的多个标志点的的地理坐标和像素坐标计算该地理区域与摄像头拍摄的图像之间的标定关系。利用该空间标定技术方案进行空间标定,需要保证地理区域是接近平面分布的,但是,在实际应用场景中,地理区域一般无法满足平面性的要求,即地理区域表面并不平整,因此,利用现有的空间标定技术方案进行空间标定,将无法保证标定精度,使得标定误差较大。如何实现对不满足平面性要求的地理区域进行空间标定,提高标定精度是目前亟待解决的问题。

发明内容

本申请提供了一种空间标定方法和系统,通过该方法可以实现对不满足平面性要求的地理区域进行空间标定,提高标定精度,扩展了适用范围。

第一方面,提供了一种空间标定方法,包括:空间标定系统获取参考图像,所述参考图像由设置于地理区域的固定位置的摄像机拍摄得到;该空间标定系统获取所述地理区域的空间测量数据,所述空间测量数据包括所述地理区域中的多个点的地理坐标;该空间标定系统根据所述空间测量数据对所述地理区域进行平面分区处理,获得多个分区平面;该空间标定系统根据所述参考图像和所述空间测量数据,获取标志点匹配对集合,所述标志点匹配对集合中的每个标志点匹配对包括一个标志点在所述地理区域的地理坐标和所述一个标志点在所述参考图像中的像素坐标;该空间标定系统根据所述标志点匹配对集合,计算所述摄像机拍摄的图像与每个分区平面之间的标定关系,获得所述摄像机拍摄的图像与所述地理区域之间的标定矩阵族。

在本申请提供的方案中,空间标定系统利用空间测量数据对地理区域进行平面分区处理,保证每个分区平面都满足单应变换的需要,然后获取标志点匹配对集合并计算摄像机拍摄的图像与每个分区平面之间的标定关系,进而得到摄像机拍摄的图像与地理区域之间的标定矩阵族。这样扩展了适用场景,保证即使在地理区域整体上不满足平面性要求时,仍能够得到准确的标定精度。

结合第一方面,在第一方面的一种可能的实现方式中,该空间标定系统根据所述标志点匹配对和所述多个分区平面,对所述参考图像进行分区处理,得到多个图像区域,其中,所述多个图像区域与所述多个分区平面一一对应。

在本申请提供的方案中,空间标定系统在对地理区域进行分区处理得到多个分区平面之后,利用标志点匹配对中的标志点的地理坐标和像素坐标的匹配关系,可以对参考图像进行分区处理,得到多个图像区域,图像区域与分区平面之间一一对应。

结合第一方面,在第一方面的一种可能的实现方式中,空间标定系统发送所述标定矩阵族至处理装置,以使得所述处理装置在获取所述摄像机拍摄的图像中的被检测目标的像素坐标后,确定所述被检测目标的像素坐标所属的图像区域,并从所述标定矩阵族中选择与所述图像区域对应的标定矩阵;根据所述标定矩阵和所述被检测目标的像素坐标,确定所述被检测目标在所述地理区域的地理坐标;或者,空间标定系统存储所述标定矩阵族;当获取到所述摄像机拍摄的图像中的被检测目标的像素坐标后,空间标定系统确定所述被检测目标的像素坐标所属的图像区域,并从所述标定矩阵族中选择与所述图像区域对应的标定矩阵,空间标定系统根据所述标定矩阵和所述被检测目标的像素坐标,确定所述被检测目标在所述地理区域的地理坐标。

在本申请提供的方案中,空间标定系统可以将得到的标定矩阵族发送给处理装置,也可以自己存储该标定矩阵族,当获取到被检测目标的像素坐标后,可以先确定其所属的图像区域,进而从标定矩阵族中找到对应的标定矩阵,从而可以确定被检测目标在地理区域的地理坐标,完成像素坐标到地理坐标的转换。

结合第一方面,在第一方面的一种可能的实现方式中,空间标定系统发送所述标定矩阵族至处理装置,以使得所述处理装置在获取到所述被检测目标的地理坐标后,确定所述被检测目标的地理坐标所属的分区平面,并从所述标定矩阵族中选择与所述分区平面对应的标定矩阵;根据所述标定矩阵和所述被检测目标的地理坐标,确定所述被检测目标在所述摄像机拍摄的图像中的像素坐标;或者,空间标定系统存储所述标定标定矩阵族;当获取到被检测目标的地理坐标后,空间标定系统确定所述被检测目标的地理坐标所属的分区平面,并从所述标定矩阵族中选择与所述分区平面对应的标定矩阵,空间标定系统根据所述标定矩阵和所述被检测目标的地理坐标,确定所述被检测目标在所述摄像机拍摄的图像中的像素坐标。

在本申请提供的方案中,空间标定系统可以将得到的标定矩阵族发送给处理装置,也可以自己存储该标定矩阵族,当获取到被检测目标的地理坐标后,可以先确定其所属的分区平面,进而从标定矩阵族中找到对应的标定矩阵,从而可以确定被检测目标在摄像机拍摄的图像中的像素坐标,完成地理坐标到像素坐标的转换。

结合第一方面,在第一方面的一种可能的实现方式中,空间标定系统从所述标志点匹配对集合中选择第一分区平面中的多个标志点匹配对;根据所述多个标志点匹配对计算所述摄像机拍摄的图像与所述第一分区平面之间的标定矩阵;其中,所述第一分区平面为所述多个分区平面中的任意一个分区平面。

在本申请提供的方案中,空间标定系统在计算标定关系时,针对每一个分区平面,空间标定系统从标志点匹配对集合中选择多个属于该分区平面的标志点匹配对,然后根据选择的多个标志点匹配对计算摄像机拍摄的图像与该分区平面的标定矩阵,从而最终可以得到摄像机拍摄的图像与地理区域之间的标定矩阵族。

结合第一方面,在第一方面的一种可能的实现方式中,空间标定系统确定公共平面,所述公共平面与所述多个分区平面之间满足中心投影定理;该空间标定系统计算所述公共平面与每个分区平面的映射关系;该空间标定系统从所述多个分区平面中选择目标分区平面,从所述标志点匹配对集合中选择所述目标分区平面中的多个标志点匹配对;该空间标定系统计算所述摄像机拍摄的图像与所述目标分区平面之间的标定矩阵;该空间标定系统根据所述公共平面与所述每个分区平面之间的映射关系,计算所述目标分区平面与所述每个分区平面之间的映射关系;该空间标定系统根据所述目标分区平面与所述每个分区平面之间的映射关系和所述摄像机拍摄的图像与所述目标分区平面之间的标定矩阵,计算所述摄像机拍摄的图像与所述每个分区平面之间的标定矩阵。

在本申请提供的方案中,空间标定系统利用公共平面可以计算得到目标分区平面与其它分区平面之间的映射关系,然后计算目标分区平面与摄像机拍摄的图像之间的标定矩阵,从而可以间接得到其它分区平面与摄像机拍摄的图像之间的标定矩阵,从而得到标定矩阵族。通过这种方式,可以选择置信度最高的分区平面作为目标分区平面,然后只需要计算目标分区平面与摄像机拍摄的图像之间的标定矩阵即可,其它分区平面可以利用与目标分区平面之间的关系间接得到,这样可以进一步提高标定精度。

结合第一方面,在第一方面的一种可能的实现方式中,空间标定系统在所述参考图像中确定匹配区域;该空间标定系统利用平面匹配算法和所述空间测量数据对所述匹配区域和所述地理区域进行匹配,获得所述标志点匹配对集合;或者是,该空间标定系统在所述地理区域中确定匹配区域;该空间标定系统利用平面匹配算法和所述空间测量数据对所述匹配区域和所述参考图像进行匹配,获得所述标志点匹配对集合。

在本申请提供的方案中,空间标定系统可以在参考图像或地理区域中确定匹配区域,利用平面匹配算法和空间测量数据对匹配区域和地理区域或参考图像进行匹配,得到标志点匹配对集合,提高获取标志点匹配对集合的效率。

结合第一方面,在第一方面的一种可能的实现方式中,所述地理区域为交通路口,所述被检测目标为所述摄像机拍摄的所述交通路口的车辆。

结合第一方面,在第一方面的一种可能的实现方式中,所述摄像机拍摄的所述交通路口的车辆为可疑车辆,所述空间标定系统将所述可疑车辆的地理坐标发送至警务系统。

结合第一方面,在第一方面的一种可能的实现方式中,所述空间标定系统将所述车辆的地理坐标发送至交通管理系统,以使得所述交通管理系统根据所述车辆的地理坐标确定所述车辆在所述交通路口的行车轨迹,进一步根据所述行车轨迹确定所述车辆的违章行为。结合第一方面,在第一方面的一种可能的实现方式中,所述被检测目标为可疑人员;所述空间标定系统将所述可疑人员的地理坐标发送至安全管理系统,以使得安全管理人员根据所述可疑人员的地理坐标及时搜找所述可疑人员。

结合第一方面,在第一方面的一种可能的实现方式中,所述被检测目标为危险目标,所述空间标定系统将所述危险目标的地理坐标发送至危险排查管理系统,以使得危险排查人员根据所述危险目标的地理坐标及时到达该区域进行危险排查。

第二方面,提供了一种空间标定系统,包括:获取单元,用于获取参考图像,所述参考图像由设置于地理区域的固定位置的摄像机拍摄得到;所述获取单元,还用于获取所述地理区域的空间测量数据,所述空间测量数据包括所述地理区域中的多个点的地理坐标;平面分区处理单元,用于根据所述空间测量数据对所述地理区域进行平面分区处理,获得多个分区平面;标志点匹配单元,用于根据所述参考图像和所述空间测量数据进行标志点匹配,获取标志点匹配对集合,所述标志点匹配对集合中的每个标志点匹配对包括一个标志点在所述地理区域的地理坐标和所述一个标志点在所述参考图像中的像素坐标;计算单元,用于根据所述标志点匹配对集合,计算所述摄像机拍摄的图像与每个分区平面之间的标定关系,获得所述摄像机拍摄的图像与所述地理区域之间的标定矩阵族。

结合第二方面,在第二方面的一种可能的实现方式中,所述平面分区单元,还用于:根据所述标志点匹配对和所述多个分区平面,将所述参考图像进行分区处理,得到多个图像区域,其中,所述多个图像区域与所述多个分区平面一一对应。

结合第二方面,在第二方面的一种可能的实现方式中,所述计算单元,还用于发送所述标定矩阵族至处理装置,以使得所述处理装置在获取所述摄像机拍摄的图像中的被检测目标的像素坐标后,确定所述被检测目标的像素坐标所属的图像区域,并从所述标定矩阵族中选择与所述图像区域对应的标定矩阵;根据所述标定矩阵和所述被检测目标的像素坐标,确定所述被检测目标在所述地理区域的地理坐标;或者,所述计算单元,还用于存储所述标定矩阵族;所述获取单元,还用于获取所述摄像机拍摄的图像中的被检测目标的像素坐标;所述计算单元,还用于确定所述被检测目标的像素坐标所属的图像区域,并从所述标定矩阵族中选择与所述图像区域对应的标定矩阵,根据所述标定矩阵和所述被检测目标的像素坐标,确定所述被检测目标在所述地理区域的地理坐标。

结合第二方面,在第二方面的一种可能的实现方式中,所述计算单元,还用于发送所述标定矩阵族至处理装置,以使得所述处理装置在获取到所述被检测目标的地理坐标后,确定所述被检测目标的地理坐标所属的分区平面,并从所述标定矩阵族中选择与所述分区平面对应的标定矩阵;根据所述标定矩阵和所述被检测目标的地理坐标,确定所述被检测目标在所述摄像机拍摄的图像中的像素坐标;或者,所述计算单元,还用于存储所述标定矩阵族;所述获取单元,还用于获取被检测目标的地理坐标;所述计算单元,还用于确定所述被检测目标的地理坐标所属的分区平面,并从所述标定矩阵族中选择与所述分区平面对应的标定矩阵,根据所述标定矩阵和所述被检测目标的地理坐标,确定所述被检测目标在所述摄像机拍摄的图像中的像素坐标。

结合第二方面,在第二方面的一种可能的实现方式中,所述计算单元,具体用于:从所述标志点匹配对集合中选择第一分区平面中的多个标志点匹配对;根据所述多个标志点匹配对计算所述摄像机拍摄的图像与所述第一分区平面之间的标定矩阵;其中,所述第一分区平面为所述多个分区平面中的任意一个分区平面。

结合第二方面,在第二方面的一种可能的实现方式中,所述计算单元,具体用于:确定公共平面,所述公共平面与所述多个分区平面之间满足中心投影定理;计算所述公共平面与每个分区平面的映射关系;从所述多个分区平面中选择目标分区平面,从所述标志点匹配对集合中选择所述目标分区平面中的多个标志点匹配对;计算所述摄像机拍摄的图像与所述目标分区平面之间的标定矩阵;根据所述公共公共平面与所述每个分区平面之间的映射关系,计算所述目标分区平面与所述每个分区平面之间的映射关系;根据所述目标分区平面与所述每个分区平面之间的映射关系和所述摄像机拍摄的图像与所述目标分区平面之间的标定矩阵,计算所述摄像机拍摄的图像与所述每个分区平面之间的标定矩阵。

结合第二方面,在第二方面的一种可能的实现方式中,所述标志点匹配单元,具体用于:在所述参考图像中确定匹配区域;利用平面匹配算法和所述空间测量数据对所述匹配区域和所述地理区域进行匹配,获得所述标志点匹配对集合;或者是,在所述地理区域中确定匹配区域;利用平面匹配算法和所述空间测量数据对所述匹配区域和所述参考图像进行匹配,获得所述标志点匹配对集合。

第三方面,提供了一种计算设备,所述计算设备包括处理器和存储器,所述存储器用于存储程序代码,所述处理器用于所述存储器中的程序代码执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

第四方面,提供了计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当该计算机程序被处理器执行时,可以实现上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的空间标定方法的功能。

第五方面,提供了一种计算机程序产品,该计算机程序产品包括指令,当该计算机程序产品被计算机执行时,使得计算机可以执行上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的空间标定方法的流程。

附图说明

图1为本申请实施例提供的一种系统架构的示意图;

图2为本申请实施例提供的一种空间标定系统的结构示意图;

图3为本申请实施例提供的一种空间标定方法的流程示意图;

图4为本申请实施例提供的一种计算变换矩阵族方法的流程示意图;

图5为本申请实施例提供的一种透视变换示意图;

图6为本申请实施例提供的一种违章检测方法的流程示意图;

图7为本申请实施例提供的一种计算设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。

地理区域是物理世界中的一个具体区域,例如交通路口、交通道路、小区门口等区域。本申请提供一种空间标定方法,该方法由空间标定系统执行,通过该空间标定方法可以实现对摄像机进行空间标定。空间标定具体为:计算一个地理区域对应的图像中的点的像素坐标与该点对应的地理坐标之间的对应关系,这种对应关系也称为标定关系。该地理区域对应的图像可以是从一个固定角度拍摄的该地理区域的照片,或者是通过设置于固定位置的摄像机记录的该地理区域的视频中的任意一个视频帧。应理解,根据空间标定的方法所获得的每一个标定关系是从一个固定角度拍摄一个地理区域获得的图像与该地理区域的空间之间的对应关系,当拍摄的角度变化了,标定关系也变化了。根据计算获得的标定关系可以将任意处在该地理区域中的目标在图像中的像素坐标转换为所述目标在地理区域的地理坐标。例如,在交通路口区域,在该区域设置有监控摄像机,通过本申请提供的方法对交通路口进行空间标定,使得可以将车辆等交通目标在图像中的像素坐标转换为在交通路口的地理坐标,准确监控到车辆的地理位置。

本申请中的像素坐标是图像中目标所在位置的像素点的坐标,像素坐标是二维坐标。

本申请中的地理坐标是表示一个地理区域中的点的三维坐标值,需要说明的是,物理世界中,同一个点在不同的坐标系下其对应的坐标值是不同的。本申请中点的地理坐标可以是任意坐标系下的坐标值,例如,本申请中目标的地理坐标可以是目标对应的经度、纬度和海拔组成的三维坐标,也可以是目标对应的自然坐标系下的X坐标、Y坐标和Z坐标组成的三维坐标,还可以是其它形式的坐标,只要该坐标可以唯一确定一个点在地理区域中的位置,本申请对具体选用何种形式的坐标不作限定。

如图1所示,空间标定系统可部署在云环境,具体为云环境上的一个或多个计算设备上(例如:中心服务器)。该系统也可以部署在边缘环境中,具体为边缘环境中的一个或多个计算设备(边缘计算设备)上,边缘计算设备可以为服务器。所述云环境指云服务提供商拥有的,用于提供计算、存储、通信资源的中心计算设备集群;所述边缘环境指在地理位置上距离原始数据采集设备较近的,用于提供计算、存储、通信资源的边缘计算设备集群。原始数据采集设备指采集空间标定系统所需的原始数据的设备,包括但不限于摄像机、雷达、红外相机、磁感线圈等,原始数据采集设备包括置于交通道路的固定位置,用于以自身视角采集交通道路的原始数据(例如:视频数据、雷达数据、红外数据等)的设备,还包括动态采集数据的无人机、巡回采读车、人工采集数据的设备(例如:实时动态载波相位差分技术(real time kinematic,RTK)空间测量设备)等。

空间标定系统用于根据原始数据采集设备采集到的原始数据进行标定关系计算,得到图像与地理区域之间的对应关系。空间标定系统内部的单元可以有多种划分,本申请不对其进行限制。图2为一种示例性的划分方式,如图2所示,空间标定系统200包括获取单元210、标志点匹配单元220、平面分区处理单元230和计算单元240。下面分别介绍每个功能单元的功能。

所述获取单元210用于获取原始数据采集设备采集到的原始数据,主要包括设置于地理区域的固定位置的摄像机拍摄得到的视频数据,以及空间测量设备采集到的空间测量数据,空间测量数据中包括地理区域中的多个点的地理坐标。应理解,视频数据包括多个视频帧,每一帧都是一幅图像。获取单元210在获取到摄像机采集的视频数据和空间测量设备采集到的空间测量数据之后,输出至标志点匹配单元220。

标志点匹配单元220,用于在视频数据或空间测量数据中确定标志点,选取的标志点是摄像机拍摄的地理区域中清晰易区分的点,即标志点相对于地理区域中其他的点来说更容易识别,例如:交通标志线的直角点、箭头的尖点、车道线的角点、绿化带拐角点、圆形标志物的圆心等,在确定标志点之后,在视频数据中获取该标志点的像素坐标,在空间测量数据中获取该标志点的地理坐标。

可选的,标志点匹配单元220,还用于在视频数据或空间测量数据中选取匹配区域,选取的配准区域可以用一个或多个矩形、圆形、多边形等表示,选取的匹配区域内部可以包含被剔除的部分区域,即可以灵活选择所需要的匹配区域。在选取匹配区域之后,利用平面匹配算法对匹配区域和地理区域或图像进行匹配,得到标志点匹配对集合,在该标志点匹配对集合中包括多个标志点匹配对。

可选的,空间标定系统200还包括筛选单元250,所述筛选单元250用于对标志点匹配单元220得到的标志点匹配对集合进行筛选,将异常的标志点匹配对进行剔除,保留更精确稳定的标志点匹配对。

平面分区处理单元230,用于根据空间测量数据对地理区域进行平面分区处理,获得多个分区平面。

计算单元240,用于根据筛选单元250筛选得到的标志点匹配对集合,计算摄像机拍摄的图像与每个分区平面之间的标定关系。通过计算得到的标定关系,可以将车辆等交通目标在图像中的位置转换为在交通路口的空间位置。

本申请中,空间标定系统200可以为软件系统,其内部包含的各功能单元在硬件设备上的部署形式较为灵活,例如,整个系统可以部署在一个环境中的一台计算设备中,也可以分布式地部署在同一环境或不同环境中的多台计算设备中。

应理解,当前常用的标定方法都是利用单应变换计算地理区域与摄像机拍摄的图像之间的标定矩阵,而单应变换的前提是要保证地理区域是平整的,而在实际应用场景中,地理区域大都不是平整的,因此,利用现有的标定方法进行标定将会产生较大的标定误差。所以,为了实现对不满足平面性要求的地理区域进行空间标定,以提高空间标定的精度和适用性,本申请提供了一种空间标定方法和系统,该方法对地理区域进行分区处理,以使得每一个分区都满足平面性要求,然后分别计算每个分区平面与图像之间的空间标定关系,该方法提高了标定精度,扩展了适用场景。

请参见图3,图3为本申请实施例提供的一种空间标定方法的流程示意图。如图3所示,该方法包括但不限于以下步骤:

实施本申请实施例所提供的方法之前,需要预先通过空间测量设备,例如激光雷达、无人机视觉等设备,测量得到多个测量点的地理坐标,利用测量得到的多个测量点的地理坐标对地理区域进行三维重建,从而得到该地理区域的空间测量数据,该空间测量数据包括地理区域中的多个点的地理坐标,空间测量数据具体可以包括激光雷达点云数据或倾斜摄影三维模型数据等。空间测量设备可以在地理区域内选择任意一个位置作为测量点。

本申请实施例提供的一种空间标定方法的具体步骤如下:

S301:获取设置于地理区域的固定位置的摄像机拍摄的参考图像。

具体地,空间标定系统可以通过设置于地理区域的固定位置的摄像机获取到该摄像机拍摄的一段视频数据,该视频数据由不同时刻的视频帧组成,其中视频数据中的视频帧是按照时间顺序排列的,每个视频帧都是一个图像,每个图像都记录了空间测量设备所测量的多个测量点的画面,将选择出来用于计算标定关系的图像视为参考图像。

S302:获取所述地理区域的空间测量数据。

具体地,空间标定系统从激光雷达、无人机视觉等设备中获取地理区域的多个测量点的地理坐标,利用获取到的多个测量点的地理坐标地理区域进行三维重建,从而得到空间测量数据。

S303:根据所述参考图像和所述空间测量数据,获取标志点匹配对集合。

具体地,空间标定系统在获取到摄像机拍摄的图像以及空间测量数据之后,需要确定出图像与空间测量数据之间的匹配关系,从而得到标志点匹配对集合,标志点匹配对集合中的每个标志点匹配对表示图像中一个标志点的像素坐标及其在地理区域中对应的地理坐标构成的坐标对。例如:在一种计算空间标定关系的算法中,至少需要获取四个标志点匹配对才能进行计算标定关系,而为了提高精确性,一般都是获取数十个标志点匹配对进行计算。

标志点匹配对集合的获取方法有两种:1、获取人工匹配后的标志点匹配对集合;2、获取自动匹配后的标志点匹配对集合。下面具体介绍上述两种获取标志点匹配对集合的方法的具体实现:

1、获取人工匹配后的标志点匹配对集合:首先需要在图像或地理区域中选取标志点,标志点的选取规则是在图像中清晰可区分的点,例如车道线的角点、交通标志线的直角点、球形标志物的球心、绿化带拐角点等。

然后在选取标志点之后,需要获取该标志点的位置坐标,若是在图像中选取的该标志点,需要获取该标志点的像素坐标,可选的,可以通过人工标注、角点检测、短时傅里叶变换边缘提取算法、亚像素坐标拟合的方法等获取该标志点的像素坐标;若是在地理区域中选取的该标志点,需要获取该标志点的地理坐标,即直接从空间测量数据中读取该标志点的地理坐标。

进一步的,在获取到标志点的位置坐标之后,需要获取与该标志点的位置坐标匹配的坐标,即若获取到标志点的像素坐标,需要获取与该像素坐标匹配的地理坐标;若获取到标志点的地理坐标,需要获取与该地理坐标匹配的像素坐标。

示例性的,获取到标志点的像素坐标后,人工标注出该标志点在地理区域中的位置,利用RTK设备测量该位置的地理坐标或者直接从空间测量数据中读取该位置的地理坐标,该位置的地理坐标与标志点的像素坐标构成一组标志点匹配对。同理,获取到标志点的地理坐标后,利用角点检测或人工标注等方式确定该标志点在图像中的位置,并获取该位置的像素坐标,该位置的像素坐标与标志点的地理坐标构成一组标志点匹配对,多个标志点匹配对构成标志点匹配对集合。

2、获取自动匹配后的标志点匹配对集合:首先可以在图像中确定匹配区域,匹配区域中包括多个标志点。这里确定匹配区域的目的是为了限定标志点匹配算法的数据处理范围,以减小运算量,剔除一些无关数据和不稳定数据(例如图像中一些比较模糊的区域)。选取的匹配区域可以用一个或多个矩形、圆形、多边形等表示,此外,选取的匹配区域内部可以包含被剔除的区域,匹配区域的具体选取方式可以根据图像和空间测量数据的特点进行灵活选取,本申请对此不作限定。

然后,利用平面匹配算法对匹配区域和地理区域进行匹配,得到标志点匹配对集合。需要说明的是,平面匹配算法只适用于图像与激光雷达点云数据、图像与倾斜摄影三维模型数据之间,对于图像与RTK设备测量得到的数据并不适用。此外,图像与激光雷达点云数据或倾斜摄影三维模型数据的自动匹配属于计算机视觉领域的2D-3D配准技术,该技术已经在领域内被广泛使用,下面以图像与激光雷达点云数据的自动匹配为例,进行简单的说明。

空间标定系统获取激光雷达点云数据,在该激光雷达点云数据中包括地理区域中多个点的三维地理坐标,在获取激光雷达点云数据之后,利用该激光雷达点云数据对地理区域进行进一步处理(即投影处理),得到该地理区域对应的投影图像,在投影图像中,每个像素点的像素坐标是二维的,但每个二维的像素坐标对应一个三维地理坐标。这样,地理区域中的每个点的三维地理坐标就与投影图像中的该点的二维像素坐标建立了对应关系。然后,空间标定系统利用平面匹配算法对摄像机拍摄的图像与得到的投影图像进行匹配,得到摄像机拍摄的图像中的每个像素点的像素坐标与投影图像中的每个像素点的像素坐标的对应的关系,而投影图像中的每个像素点的像素坐标与地理区域中的每个点的三维地理坐标具有确定的对应关系,因此,可以确定摄像机拍摄的图像中的每个像素点的像素坐标与地理区域中的每个点的三维地理坐标的对应关系,得到多个标志点匹配对,至此,完成了图像与激光雷达点云数据的自动匹配。

需要说明的是,在得到的标志点匹配对集合中,可能存在某些异常的标志点没有剔除,为了获取到精确稳定的标志点匹配对,保证计算得到的标定关系的准确性,保证参与计算的标志点匹配对的有效性,可以对匹配得到的多个标志点匹配对进行进一步筛选。筛选标志点匹配对的方法有三种:1、利用摄像机投影矩阵进行筛选;2、利用特征匹配算法进行筛选;3、在限定区域内选择固定数量的标志点匹配对。应理解,在实际应用中,上述三种方法可以结合使用对标志点匹配对进行筛选,即可以对三种方法进行任意组合进行筛选,使得最终筛选得到的标志点匹配对为可以有效用于计算空间标定关系的标志点匹配对。例如:结合方法1和方法2进行筛选,同时满足方法1和方法2中的条件时保留有效的标志点匹配对;或者是结合方法1和方法3进行筛选,同时满足方法1和方法3中的条件时保留有效的标志点匹配对;或者是结合方法1、方法2和方法3进行判断,同时满足方法1、方法2和方法3中的条件时保留有效的标志点匹配对,本申请对此不作限定。

下面具体介绍上述三种筛选标志点匹配对的方法的具体实现:

1、利用摄像机投影矩阵进行筛选:在得到多个标志点匹配对之后,计算出标志点的三维地理坐标与摄像机拍摄的图像二维像素坐标的变换关系,该变换关系可以用一个矩阵(即摄像机投影矩阵)进行表示,然后针对每一个标志点匹配对,利用该投影矩阵计算出标志点的像素坐标,将计算得到的像素坐标与该标志点的实际像素坐标,即该标志点在摄像机拍摄的图像中的像素坐标,进行比较,若这两个像素坐标之间的差值小于预设阈值,则认为该标志点匹配对是可靠的,可以用于计算空间标定关系,应该保留;否则,剔除该标志点匹配对。其中,预设阈值可以根据需要进行设置,本申请对此不作限定。

2、利用特征匹配算法进行筛选:在得到多个标志点匹配对之后,利用计算机视觉领域的特征匹配算法进行进一步处理,例如利用开源计算机视觉库(open sourcecomputer vision library,OpenCV)工具包中的correctMatches算法对得到的多个标志点匹配对进行筛选处理,将异常的标志点匹配对剔除,保留可靠的标志点匹配对。

3、在限定区域内选择固定数量的标志点匹配对:在得到多个标志点匹配对之后,首先在图像或地理区域中确定待选择区域(即限定区域),然后在该限定区域内选择固定数量的标志点匹配对,所选择的标志点匹配对的具体数量可以灵活设置。此外,具体的选择标准可以是随机选择、按固定顺序选择、评分选择等,本申请对此不作限定。

此外,对于得到的多个标志点匹配对还需要进行有效性的判断。即判断所获取到的标志点匹配对是否为直线分布,若为直线分布,将不满足有效性,不能用于计算标定关系;若不是直线分布,则满足有效性,可以用于计算标定关系。

在进行有效性判断时,对得到的标志点匹配对的地理坐标或像素坐标进行直线拟合,例如对所有标志点的像素坐标进行拟合获得拟合直线,然后遍历计算所有标志点的像素坐标到拟合直线的距离。由于所有标志点的像素坐标是已知的,所以可以根据欧式几何中的点到直线的距离公式计算每个标志点的像素坐标到拟合直线的距离。接着,判断每个像素坐标到直线的距离是否小于第一阈值,最后判断满足距离小于第一阈值的像素坐标的个数是否大于第二阈值,若大于第二阈值,则说明所有标志点的像素坐标是分布在一条直线上,不满足计算标定关系的条件,需要重新获取多个标志点匹配对;否则可以认为所有标志点的像素坐标是没有分布在一条直线上,满足计算标定关系的条件,可以用于计算标定关系。

应理解,由于我们最终计算的标定关系是两个平面之间的标定关系,而一条直线是不能确定一个平面的,因此,若最终得到的标志点匹配对是直线分布的话,那么计算得到的标定关系是不准确的。换句话说,计算得到的变换矩阵不是唯一的,而是随机一个满足条件的变换矩阵。所以,为了提高空间标定的准确性,保证计算得到的变换矩阵是唯一的,获取到的标志点匹配对不能是直线分布。

S304:根据空间测量数据对地理区域进行平面分区处理,得到多个分区平面。

具体地,在对地理区域进行平面分区处理之后,得到多个分区平面,每个分区平面用不同的地理区域编码值进行标记。

对地理区域进行平面分区处理的方法有两种:1、获取人工分区后的分区平面;2、获取自动分区后的分区平面。下面具体介绍上述两种分区方法的具体实现:

1、获取人工分区后的分区平面:直接观察空间测量数据中的海拔数据的分布情况,或者通过计算机可视化技术直观显示出空间测量数据中的海拔数据的分布情况。

然后根据观察结果,对地理区域进行平面分区处理,例如将海拔高度在100至105米的地理区域划分为一个分区平面,将海拔高度在105至110米的地理区域又划分为另一个分区平面。

在将地理区域划分为不同的分区平面之后,将不同的分区平面用不同的地理区域编码值进行标记,示例性的,根据海拔高度将地理区域划分为了4个分区平面,可以用分区平面1、分区平面2、分区平面3、分区平面4进行标记。

2、获取自动分区后的分区平面:利用点云分割算法对空间测量数据进行处理,将地理区域划分为多个分区平面,并且对每个分区平面采用不同的地理区域编码值进行标记,其中,点云分割算法可以为欧式距离分割算法、区域生长分割算法、segmenterlight分割算法等,本申请对具体选用何种算法不作限定。

在将地理区域划分为多个分区平面之后,还需要对参考图像进行分区处理,从而得到多个图像区域,得到的多个图像区域与多个分区平面一一对应。

具体地,从S303得到的标志点匹配对集合中选择多个标志点匹配对,确定所选择的标志点匹配对的地理坐标,从而可以确定标志点的地理坐标对应的地理区域编码值,即该标志点的地理坐标属于哪个分区平面,则该标志点的地理坐标对应的地理区域编码值即为该分区平面对应的地理区域编码值。

进一步的,确定所选择的标志点匹配对的像素坐标,对每个标志点像素坐标给定一个图像区域编码值,其中,具有相同地理区域编码值的标志点,其像素坐标对应的图像区域编码值相同。示例性的,假设存在5个标志点,分别为标志点1、标志点2、标志点3、标志点4和标志点5,其中,标志点1和标志点2属于同一个分区平面,标志点1和标志点2的地理坐标对应的地理区域编码值为分区平面1;标志点3和标志点4属于同一个分区平面,标志点3和标志点4的地理坐标对应的地理区域编码值为分区平面2;标志点5属于一个分区平面,标志点5的地理坐标对应的地理区域编码值为分区平面3。那么,标志点1和标志点2的像素坐标对应的图像区域编码值是相同的,可以为图像区域1;标志点3和标志点4的像素坐标对应的图像区域编码值是相同的,可以为图像区域2;标志点5的像素坐标对应的图像区域编码值可以为图像区域3。

在得到多个标志点的像素坐标对应的图像区域编码值之后,对于摄像机拍摄的图像中除了标志点之外的其它像素点,遍历计算每个像素点的像素坐标与多个标志点的像素坐标之间的距离,确定出距离一个像素点的像素坐标最近的标志点的像素坐标,并将距离最近的标志点的像素坐标对应的图像区域编码值赋予该像素点,对于其它的像素点,按照同样的方式计算距离并赋值。

最后,图像中的所有像素点的像素坐标都将会对应一个图像区域编码值,具有相同图像区域编码值的像素点的像素坐标构成一个图像区域,整个图像将被分为不同的图像区域,每个图像区域与一个分区平面相对应。

S305:根据所述标志点匹配对集合,计算所述摄像机拍摄的图像与每个分区平面之间的标定关系。

具体地,空间标定系统可以根据获取到的多个有效的标志点匹配对,建立每个摄像机视角下的图像到物理世界中该地理区域的标定关系。

应理解,由于对地理区域以及图像进行了平面分区处理,因此最终计算得到的图像与地理区域的标定关系不仅仅只是一个标定矩阵,而应是一个标定矩阵族,即不同的分区平面对应的标定矩阵不同。

需要说明的是,计算标定矩阵族的方法可以是如下任意一种:

1、首先,根据S304得到的平面分区结果,即将地理区域划分为不同的分区平面,且将该地理区域对应的图像划分为不同的图像区域。由于S303获得了标志点匹配对集合,因此,可以针对每个分区平面或图像区域,从标志点匹配对集合中选取多个标志点匹配对,然后根据选取的多个标志点匹配对,分别计算每个分区平面与图像之间的标定关系,完成空间标定。值得说明的是,可以采用多种方法建立每个摄像机视角下的图像到物理世界的标定关系,例如,可以根据单应变换原理计算由像素坐标转换为地理坐标的单应变换矩阵H,单应变换公式为(m,n,h)=H*(s,k),(m,n,h)为标志点的地理坐标,(s,k)为标志点的像素坐标,由上述步骤S303获得的每个摄像机的拍摄视角下的图像中的每个不同图像区域中的至少四个标志点的像素坐标和其对应的地理坐标可以计算得到该图像区域对应的一个H矩阵,不同的图像区域对应的H矩阵不同,此外,每个摄像机拍摄的图像对应的标定矩阵族也不相同。

还应理解,计算单应变换的算法属于计算机视觉领域的基础内容,并已经广泛被OpenCV、矩阵实验室(matrix laboratory,MATLAB)等软件集成,可以直接使用进行单应变换的计算,为了简洁,在此不再赘述。

容易理解,在获得了每个摄像机拍摄的图像对应的标定矩阵族之后,可以根据标定矩阵族以及图像分区结果(即不同的图像区域),对每个摄像机拍摄的图像中的目标的像素坐标进行转换,获得该目标对应的地理坐标,例如先确定目标的像素坐标属于哪一个图像区域,然后使用该图像区域对应的标定矩阵进行转换,得到目标对应的地理坐标。但应注意,不同图像区域具有各自对应的H矩阵,应利用各自对应的H矩阵进行转换,获得目标对应的地理坐标。

2、如图4所示,为了进一步提高计算得到的标定矩阵族的准确性,提高标定精度,可以利用不同分区平面之间的转换关系来计算标定矩阵族。计算标定矩阵族的另一种方法包括:

S401:获取摄像机的地理坐标。

具体地,可以从上述S302得到的空间测量数据中直接获取摄像机的地理坐标。

S402:确定公共平面。

具体地,基于单应变换的平面之间需要满足中心投影定理,而在将地理区域划分为多个分区平面之后,不同的分区平面之间无法直接计算出平面变换矩阵,这时可以选择一个公共平面,该公共平面与所有分区平面之间都满足中心投影定理,可以通过该公共平面,间接的计算出不同分区平面之间的平面变换矩阵,即公共平面起到一个桥梁的作用,将不同的分区平面联系起来。

需要说明的是,公共平面只是为了后续便于计算而引入的一个概念,可能在实际地理区域中并不存在该公共平面。

进一步的,可以选取地理区域中的公共水平面作为公共平面Z0,公共水平面的高度可以是地理区域中的最低点、最高点、平均点等,本申请对此不作限定。

S403:根据摄像机的地理坐标,计算公共平面与多个分区平面的映射关系。

具体地,根据每个分区平面中的标志点的地理坐标,以及该标志点投影在公共平面上地理坐标,再结合摄像机的地理坐标,可以计算出每个分区平面与公共平面的变换矩阵。

示例性的,如图5所示,以该地理区域的空间构建一个空间坐标系,在该空间坐标系下x和y分别表示平面上的第一维度和第二维度,h为与水平面垂直的高度构成的第三维度。公共平面Z0为水平面,分区平面Z1上存在标志点P,其三维坐标为(x1,y1,h1),由于摄像机的成像模型为小孔成像,小孔成像是根据透视原理,将三维空间映射到二维空间,并且投影射线经过同一个投影中心。因此,标志点P投影在公共平面Z0上为标志点Q,其三维坐标为(x2,y2,0),标志点P垂直于公共平面Z0上的交点为A,其三维坐标为(x1,y1,0),摄像机M的三维坐标为(x3,y3,h2),摄像机M垂直于公共平面Z0上的交点为N,其三维坐标为(x3,y3,0)。为了获取Q点的第一和第二维度的坐标(x2,y2),在获取到上述数据之后,可以计算得到Q点的地理坐标。具体地,可以根据基本的几何数学原理,例如相似三角形原理可以推导得到Q点的(x2,y2)。如图5所示,由于三角形PQA与三角形MQN是相似三角形,而PA=h1,MN=h2,QA=(x1,y1)-(x2,y2),QN=(x3,y3)-(x2,y2),根据相似原理,PA/MN=QA/QN,即:h1/h2=(x1,y1)-(x2,y2)/(x3,y3)-(x2,y2),由此得到:h1/h2=(x1-x2)/(x3-x2),h1/h2=(y1-y2)/(y3-y2)。

因此,可以使用下述公式1计算得到x2:

x2=(h2*x1-h1*x3)/(h2-h1) 公式1

可以使用下述公式2计算得到y2:

y2=(h2*y1-h1*y3)/(h2-h1) 公式2

通过上述原理,可以计算分区平面Z1上其它的标志点投影在公共平面Z0上的标志点的三维坐标,从而可以进一步计算得到分区平面Z1与公共平面Z0之间的单应变换矩阵,例如利用OpenCV工具包中的findHomography算法计算得到单应变换矩阵。同理,利用类似的原理,可以计算得到其他分区平面与公共平面Z0之间的单应变换矩阵,为了简洁,在此不再赘述。

S404:从多个分区平面中选取目标分区平面。

具体地,由于摄像机一般只能采集到部分地理区域的数据,因此可能存在某些地理区域并没有被摄像机采集到、或者摄像机采集的数据质量并不平等,即某些数据质量比较理想,某些数据质量不够好,因此需要选择一个目标分区平面,保证摄像机在目标分区平面上采集的数据是整个地理区域中置信度(即采集到的数据质量)最高的。

目标分区平面的选取方法可以是选取与摄像机距离最近的分区平面,因为距离摄像机越近,那么摄像机所拍摄的图像越清晰,计算得到的标定关系越准确;或者是选取有效标志点数量最多的分区平面,因为有效标志点越多,所计算得到的标定关系越准确;或者是综合考虑上述两个因素,选取距离摄像机较近且包含有效标志点数量较多的分区平面,本申请对具体采用何种选取方法不作限定。

S405:计算摄像机拍摄的图像与目标分区平面之间的标定关系。

具体地,根据上述S304得到的多个分区平面,确定该多个分区平面中的目标分区平面,根据上述S303得到的标志点匹配对集合,从该标志点匹配对集合中选取目标分区平面中的多个标志点匹配对,然后利用OpenCV工具包中的findHomography算法等计算摄像机拍摄的图像与目标分区平面之间的单应变换矩阵H1。

S406:根据公共平面与每个分区平面之间的映射关系,计算目标分区平面与每个分区平面之间的映射关系。

具体地,由于S403中已经计算得到公共平面与多个分区平面之间的映射关系,因此目标分区平面与公共平面的映射关系已经得到,其它分区平面与公共平面的映射关系也已经得到,因此,可以通过公共平面作为桥梁进行转换,得到目标分区平面与其它分区平面之间的映射关系。

示例性的,目标分区平面与公共平面之间的转换矩阵为H2,分区平面1与公共平面之间的转换矩阵为H3,那么目标分区平面与分区平面1之间的转换矩阵为H4=H2*INV(H3),其中,INV(H3)表示H3的逆矩阵。

S407:计算摄像机拍摄的图像与每个分区平面之间的标定关系。

具体地,由于S406中已经计算得到目标分区平面与多个分区平面之间的映射关系,此外,S405中已经计算得到摄像机拍摄的图像与目标分区平面之间的标定关系,且单应变换矩阵是可逆的,因此,经过转换,可以间接计算得到摄像机拍摄的图像与每个分区平面之间的标定关系。

示例性的,摄像机拍摄的图像与目标分区平面之间的单应变换矩阵为H1,目标分区平面与公共平面之间的变换矩阵为H2,分区平面1与公共平面之间的变换矩阵为H3,则摄像机拍摄的图像与分区平面1之间的变换矩阵H可以通过下述公式3计算得到:

H=H1*H2*INV(H3) 公式3

其中,INV(H3)表示H3的逆矩阵。可以看出,通过上述公式3,可以计算得到每个分区平面与摄像机拍摄的图像之间的单应变换矩阵,最终得到一个变换矩阵族,不同的分区平面所对应的变换矩阵不同。

通过对地理区域进行空间标定之后,获得了摄像机拍摄的图像与该地理区域的标定关系,空间标定系统可以存储该标定关系,当获取到摄像机拍摄的图像中的被检测目标的像素坐标后,确定被检测目标所属的图像区域,并获取相对应的标定关系,根据标定关系和被检测目标的像素坐标,确定被检测目标在该地理区域的地理坐标。空间标定系统在根据标定关系和被检测目标的像素坐标,确定被检测目标在该地理区域的地理坐标时,被检测的目标可以根据应用场景的不同而具有不同的含义。例如,在确定交通路口的车辆违章的应用场景中,被检测为目标交通路口的车辆;在确定可疑车辆的行车位置的应用场景中,被检测目标即为交通道路上的可疑车辆;在确定某区域(例如居民小区内部)的可疑人员时,被检测目标即为该区域中的可疑人员;在确定某区域(例如:工厂)的危险情况时,被检测目标即为该区域中的危险目标(例如:出故障机器、着火物体等)。

或者空间标定系统可以将计算获得的空间标定关系发送至处理装置,以使得处理装置在获取摄像机拍摄的图像中的被检测目标的像素坐标后,确定被检测目标的像素坐标所属的图像区域,并根据相对应的标定关系和被检测目标的像素坐标,确定被检测目标在所述地理区域的地理坐标。处理装置可以根据标定关系的应用场景的不同而不同,例如:处理装置可以是交通管理系统中的用于确定车辆的地理坐标的装置,也可以是警务系统中用于确定可疑车辆的地理坐标的装置,还可以是安全管理系统中用于确定可疑人员的地理坐标的装置,还可以是危险排查管理系统中用于确定危险目标的地理坐标的装置。

总之,本申请中的空间标定系统获得的空间标定关系可应用于多种场景,且应用本申请的空间标定关系的执行主体既可以是空间标定系统自身,也可以是接收到空间标定系统发送的空间标定关系的其他处理装置或系统,本申请不做限定。

下面以空间标定系统自身利用计算得到的空间标定关系确定交通路口的违章车辆为例,具体介绍空间标定关系的应用:在交通路口中,计算完摄像机与一个地理区域中的标定关系后,空间标定系统可以存储该标定关系,在后续时间中,空间标定系统可以通过分析摄像机拍摄的视频数据,利用已获得的空间标定关系实现对交通路口中车辆的定位、得到车辆在交通路口的地理坐标,进一步确定车辆与交通标志线的位置关系以确定车辆的违章情况。如图6所示:

S601:对道路交通场景进行空间标定,存储空间标定关系。

具体地,利用上述图3和图4所述的方法对交通道路场景进行空间标定,建立每个摄像机视角下的图像中的点和物理世界中的地理区域中的点之间的标定关系。将空间标定关系存储在空间标定系统,这里的空间标定关系是一个变换矩阵族,包含多个变换矩阵。

S602:对摄像机拍摄到的数据进行处理,对其中所有的车辆进行识别并定位。

具体地,在需要进行违章判断时,空间标定系统利用目标检测算法对视频数据进行目标检测,识别出视频数据中的所有车辆,例如利用SSD、RCNN等已经训练好的神经网络模型对视频数据中的车辆进行检测。应理解,神经网络模型需要预先进行训练,所使用的训练集中的训练图像的标注应包括要识别的目标的类型(例如机动车、非机动车等),使得神经网络模型学习训练集中每种类型的目标的特征。经过目标检测,可以确定车辆在地理区域中所属的分区平面,并获得图像中所有车辆的像素坐标。

S603:对所有车辆进行目标跟踪,获取所有车辆在图像中的运动轨迹序列。

具体地,目标跟踪指对相邻时刻的两个图像中的目标进行跟踪,确定相邻两个图像中的同一目标。由目标当前时刻的像素坐标和历史时刻的像素坐标可得到目标的在图像中的运动轨迹,因此,通过记录所有车辆在每一个图像中的像素坐标,可以得到所有车辆在图像中的运动轨迹。

S604:计算车辆在地理区域的运动轨迹,根据车辆在地理区域的运动轨迹完成车辆违章检测。

具体地,S703中得到的车辆在图像中的运动轨迹序列实际上是由一连串(多个)的像素坐标,针对该运动轨迹序列中的每一个像素坐标,利用上述S305以及S401-S406中计算得到的标定关系矩阵族,例如:单应变换矩阵族,先确定每个像素坐标所属的图像区域,然后选用相对应的单应变换矩阵计算得到每个点的像素坐标相应的地理坐标,即H和像素坐标(s,k)是已知的,根据单应变换公式(m,n,h)=H*(s,k),可以计算得到地理坐标(m,n,h),完成坐标转换。

在完成所有像素坐标转换为地理坐标之后,即得到了车辆在物理世界中的地理区域的运动轨迹序列。空间标定系统可以将获得的车辆在物理世界中的地理区域的运动轨迹序列发送给交通管理系统。交通管理系统可以为不同的违章类型设置特定的检测区域,例如对于闯红灯的违章,可以在每条车道的停车线前后各设置一个检测区域,记录并分析从空间标定系统获得的每辆车在地理区域的运动轨迹,如果当前车道的信号灯状态为红灯,并且车辆轨迹依次穿过设置的两个检测区域,则认为该车辆闯红灯;对于压线行使的违章,设置禁止压线行使的车道线区域,记录并分析每辆车的运动轨迹,如果车辆轨迹经过该区域,则认为车辆压线行使;对于不按规定车道行使的违章,可以在两条车道设置两个检测区域,如果车辆轨迹依次经过设置的两个检测区域,则认为车辆不按规定车道行使,判断为违章。

可以看出,通过图3所示的方法对道路交通场景进行空间标定,建立图像与地理区域的标定关系,进而可以对车辆进行准确定位,并跟踪车辆目标,通过对车辆轨迹的分析可以用于完成车辆违章检测。

再例如,对于确定危险目标的场景:对于监控摄像机拍摄到的图像中存在危险目标时,可在图像中确定危险目标在图像中的像素坐标(s,k),进一步确定该像素坐标所属的图像区域,从而选择与该图像区域相对应的标定关系矩阵,例如单应变换矩阵H,计算(m,n,h)=H*(s,k),得到危险目标在地理区域的地理坐标,进而将该危险目标的地理坐标发送至危险排查管理系统,危险排查人员可根据该危险目标的地理坐标及时到达该区域进行危险排查。

上述详细阐述了本申请实施例的方法,为了便于更好的实施本申请实施例上述方案,相应地,下面还提供用于配合实施上述方案的相关设备。

如图2所示,本申请还提供一种空间标定系统,该空间标定系统用于执行前述空间标定方法。本申请对该空间标定系统中的功能单元的划分不做限定,可以根据需要对该空间标定系统中的各个单元进行增加、减少或合并。图2示例性地提供了一种功能单元的划分:

空间标定系统200包括获取单元210、标志点匹配单元220、平面分区处理单元230以及计算单元240。

具体地,所述获取单元210用于执行前述步骤S301-S302,且可选的执行前述步骤中可选的方法,获取得到摄像机拍摄的至少一个图像以及地理区域的空间测量数据。

所述标志点匹配单元220用于执行前述步骤S303,以根据参考图像和空间测量数据获取标志点匹配对集合。

所属平面分区单元230用于执行前述步骤S304,且可选的执行前述步骤中可选的方法,对地理区域和地理区域对应的图像进行平面分区处理,得到多个分区平面和图像区域。

所述计算单元240用于执行前述步骤S305,且可选的执行前述步骤中可选的方法,计算摄像机拍摄的图像与每个分区平面之间的标定关系,得到一个标定矩阵族。

上述三个单元之间互相可通过通信通路进行数据传输,应理解,空间标定系统200包括的各单元可以为软件单元、也可以为硬件单元、或部分为软件单元部分为硬件单元。

参见图7,图7为本申请实施例提供的一种计算设备的结构示意图。如图7所示,计算设备700包括:处理器710、通信接口720以及存储器730,所示处理器710、通信接口720以及存储器730通过内部总线740相互连接。应理解,该计算设备700可以为云环境中的计算设备,或边缘环境中的计算设备。

所述处理器710可以由一个或者多个通用处理器构成,例如中央处理器(centralprocessing unit,CPU),或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC)、可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD)、现场可编程逻辑门阵列(field-programmable gatearray,FPGA)、通用阵列逻辑(generic array logic,GAL)或其任意组合。

总线740可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线740可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但不表示仅有一根总线或一种类型的总线。

存储器730可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,RAM);存储器730也可以包括非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,ROM)、快闪存储器(flash memory)、硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器730还可以包括上述种类的组合。

需要说明的是,计算设备700的存储器730中存储了空间标定系统200的各个单元对应的代码,处理器710执行这些代码实现了空间标定系统200的各个单元的功能,即执行了S301-S305的方法。

上述各个附图对应的流程的描述各有侧重,某个流程中没有详述的部分,可以参见其他流程的相关描述。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD)等。

相关技术
  • 空间目标测量机构的标定方法、标定设备及标定系统
  • 一种扩大标定空间的数字光栅投影测量系统标定方法
技术分类

06120112898897