一种基于单目图片的高位摄像头等价相机参数获取方法及系统

技术领域

本发明涉及智能交通管理领域，特别涉及一种基于单目图片的高位摄像头等价相机参数获取方法及系统。

背景技术

在智能交通领域，利用高位摄像头进行静态交通的自动化监控已经成为一项城市管理的重要技术手段，其中视频内容的结构化重建是信息分析的重要基础，而二维图像由于本征的透视形变会造成结构化变形，且由于摄像头安装姿态的不确定性造成这种变形具有很强的多样性和随机性，因此数据本身存在的结构性高噪声不利于后续的信息分析算法的设计和使用。对应于单一摄像头，如何通过已有业务数据恢复相机的等价参数，是图片内容结构化重建的必要基础。

目前相机外参的计算主要通过已知几何尺寸的标记物进行图像和实物关键点配准，然后通过PnP方法计算相机外参。但基于业务场景的实际情况，由于受到外界风力的影响会造成摄像头出现随机偏斜，但无法安排人员及时的进行标记物设置完成相机新的标定；现场场景内也没有稳定尺寸的可用标记物目标。所以如何利用现有的业务数据进行实时的摄像头等价另外一种方式是利用泊位的长宽尺寸参数，但由于泊位划线具有一定的因地制宜随意性，因此无论是具体参数还是长宽比例均不具有确定性，因此在实际使用中会造成重建结构的一定的比例失真，导致等价相机参数获取的误差较大。

发明内容

为解决上述技术问题，本发明提供一种基于单目图片的高位摄像头等价相机参数获取方法及系统，可以解决现有等价相机参数获取的误差较大、获取效率较低的问题。

为实现上述目的，一方面，本发明一种基于单目图片的高位摄像头等价相机参数获取方法，所述方法包括：

根据预设图片质量条件、各个图片中目标平均遮挡率、预置泊位标注信息获取基准图片；

根据所述基准图片中的各个目标进行关键点检测获取基准目标，并根据所述基准目标的几何尺寸信息获取高位摄像头的初始相机等价参数；

根据所述初始相机等价参数和所述基准目标对应的预置相关估计值，获取扩展成像平面区域的地面深度图；

根据所述初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点；

根据所述图片中泊位标注点、基准目标的关键点、以及各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

进一步地，所述根据所述基准目标的几何尺寸信息获取高位摄像头的初始相机等价参数的步骤包括：

获取预置图片坐标系下每个基准目标底面中心点到标注泊位中心点的距离偏差值；

将所述偏差值居中的目标对应的局部姿态信息作为初始相机等价参数。

进一步地，所述根据所述初始相机等价参数和所述基准目标对应的预置相关估计值，获取扩展成像平面区域的地面深度图的步骤包括：

在预置世界坐标系内以所述基准目标底面中心点为原点，通过所述局部姿态信息在相机坐标系下和图片坐标系下进行投影，获取基于预设世界坐标系的规则网格点在相机坐标系下的深度值和图片投影坐标，并进一步通过插值方法获取图片每一个像素点的深度值形成地面深度图。

通过所述多维向量计算每个图片坐标点的深度值形成所述地面深度图。

进一步地，所述根据所述初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点的步骤包括：

根据所述扩展成像平面区域的地面深度图和初始相机等价参数获取标注的泊位点坐标对应的深度值并计算泊位顶点在相对世界坐标系下的值；

根据所述泊位的几何结构特征对泊位顶点在相对世界坐标系下的值进行几何校正，得到泊位和基准目标的初始鸟瞰图坐标：

对泊位和基准目标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后的鸟瞰图坐标。

进一步地，所述根据所述图片中泊位标注点、基准目标的关键点、以及各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数的步骤包括：

根据图片上泊位标注点、基准目标的关键点、各个标注泊位和基准目标分别对应的世界坐标系下的鸟瞰图坐标、基准目标的目标尺寸信息中的高度值，获取基准目标的三维有向包围框坐标，并生成泊位与基准目标之间的2D-3D配准点组；

根据所述泊位与基准目标之间的2D-3D配准点组，更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

另一方面，本发明提供一种基于单目图片的高位摄像头等价相机参数获取系统，所述系统包括：获取单元，用于根据预设图片质量条件、各个图片中目标平均遮挡率、预置泊位标注信息获取基准图片；

所述获取单元，还用于根据所述基准图片中的各个目标进行关键点检测获取基准目标，并根据所述基准目标的几何尺寸信息获取高位摄像头的初始相机等价参数；

所述获取单元，还用于根据所述初始相机等价参数和所述基准目标对应的预置相关估计值，获取扩展成像平面区域的地面深度图；

生成单元，用于根据所述初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点；

更新单元，用于根据所述图片中泊位标注点、基准目标的关键点、以及各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

进一步地，所述获取单元，具体用于获取预置图片坐标系下每个基准目标底面中心点到标注泊位中心点的距离偏差值；将所述偏差值居中的目标对应的局部姿态信息作为初始相机等价参数。

进一步地，所述获取单元，具体还用于在预置世界坐标系内以所述基准目标底面中心点为原点，通过所述局部姿态信息在相机坐标系下和图片坐标系下进行投影，获取基于预设世界坐标系的规则网格点在相机坐标系下的深度值和图片投影坐标，并进一步通过插值方法获取图片每一个像素点的深度值形成地面深度图。

进一步地，所述生成单元，具体用于根据所述扩展成像平面区域的地面深度图和初始相机等价参数获取标注的泊位点坐标对应的深度值和泊位顶点在相对世界坐标系下的值；根据所述泊位的几何结构特征对泊位顶点在相对世界坐标系下的值进行几何校正，得到泊位和基准目标的初始鸟瞰图坐标：对泊位和基准目标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后的鸟瞰图坐标。

进一步地，所述更新单元，具体用于根据图片上泊位标注点、基准目标的关键点、各个标注泊位和基准目标分别对应的世界坐标系下的鸟瞰图坐标、基准目标的目标尺寸信息中的高度值，获取基准目标的三维有向包围框坐标，并生成泊位与基准目标之间的2D-3D配准点组；根据所述泊位与基准目标之间的2D-3D配准点组，更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

本发明提供的一种基于单目图片的高位摄像头等价相机参数获取方法及系统，根据已有的图片筛选出基准图片和基准目标，并基于基准目标的有向包围框关键点检测结果和几何尺寸信息，可获取到初始相机等价参数和扩展成像平面区域的地面深度图，然后根据初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点，并基于各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数，可以提升等价相机参数获取的准确率，还降低了特殊应用场景下的人工标注成本和实施的复杂度，提升数据自动化处理率。

附图说明

图1是本发明提供的一种基于单目图片的高位摄像头等价相机参数获取方法的流程图；

图2是本发明提供的一种基于单目图片的高位摄像头等价相机参数获取系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明实施例提供的一种基于单目图片的高位摄像头等价相机参数获取方法，如图1所示，包括如下步骤：

101、根据预设图片质量条件、各个图片中目标平均遮挡率、预置泊位标注信息获取基准图片。

具体地，步骤101.1：获取按时间条件筛选的一组采样图片，对图片质量进行评估，比如亮度、模糊度、白平衡度等，剔除不满足预设质量条件的图片；步骤101.2：利用目标检测结果计算每张图片中目标平均遮挡率，如果遮挡率高于预设值则进行剔除；步骤101.3：利用给定的泊位标注信息计算泊位中心点坐标，计算上述筛选剩余图片中每个目标底面中心点到泊位中心点的距离的平均值mean和方差var，计算综合评估参数spara＝mean+var，并选取图片集中对应综合评估参数值最小的一张图作为基准图片base_img。

102、根据所述基准图片中的各个目标进行关键点检测获取基准目标，并根据所述基准目标的几何尺寸信息获取高位摄像头的初始相机等价参数。

具体地，步骤102.1：针对图片中每个目标进行关键点检测kp8_0，利用初始给出的车辆近似尺寸信息base_s i ze计算车辆关键点对应的以车辆底面中心点为坐标原点的三维坐标kp8_wrd，设定比例参数sca l e为一个固定值作为相机等价内参，然后利用2D-3D点组进行PnP计算目标的局部姿态信息transp，并利用计算的姿态数据将kp8_wrd投影回图片坐标系内得到重构的关键点坐标kp8_1，并计算投影误差err_kp8＝||kp8_1-kp8_0||，如果该误差大于预设阈值thr1则表示关键点估计结果质量较差，剔除该目标作为基准目标候选，保留候选集内的目标对应计算参数；步骤102.2：在上述步骤获取的候选集内，计算图片坐标系下每个目标底面中心点到标注泊位中心点的距离偏差值，筛选其中偏差值居中的目标作为基准目标base_obj，并输出其对应计算的参数transp、kp8_1以及kp8_wrd(其中下底面即为bev)，将transp作为初始估计相机外参。

103、根据所述初始相机等价参数和所述基准目标对应的预置相关估计值，获取扩展成像平面区域的地面深度图。

具体地，步骤103.1：在世界坐标系内，以base_obj底面中心点为原点进行有限周边区域扩展，均匀划分扩展区域网格后利用transp进行网格点投影：首先投影到相机坐标系下，再投影到图片坐标系下，对应获取每个图片坐标点在的相机坐标系下的深度值z，形成n*3维向量i nterp3，其中n表示网格点数；步骤103.2：给定图片区域扩展量p i xe l_exp,利用i nterp3在-p i xe l_exp<＝x<

104、根据所述初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点。

具体地，步骤104.1：首先针对标注的泊位点坐标P i_i mg，利用深度图depthmap进行位置检索获取对应深度值z i，并计算泊位顶点在相机坐标系下的值P i_cam＝(P i_img_x*z i,P i_i mg_y*z i,z i)，然后利用初始外参transp对相机坐标系下泊位顶点Pi_cam进行反投影得到相对世界坐标系下值P i_wrd；步骤104.2：利用泊位的几何结构为矩形这一先验信息，对投影后的点P i_wrd进行几何校正：即对两组边长进行旋转使其平行、相交边使其垂直，并重新计算四个边的交点得到新矩形作为泊位的初始BEV坐标——bth_bev；步骤104.3：然后对泊位和基准目标base_obj的BEV坐标同时进行坐标旋转,使得在新坐标系下泊位的短边平行于x轴、长边平行于y轴，最终获得优化校正后的BEV坐标点。

105、根据所述图片中泊位标注点、基准目标的关键点、以及各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

具体地，利用图片上泊位标注点P i_i mg和基准目标base_obj的base_kp8，以及分别对应的世界坐标系下的BEV坐标，并且基于基准目标的目标尺寸信息base_s i ze中的高度值进一步获取其三维有向包围框坐标base_kp8_wrd，形成一组新2D-3D点对，然后利用PnP算法更新计算等价相机外参transp以及利用步骤4更新等价相对深度图depthmap。

本发明提供的一种基于单目图片的高位摄像头等价相机参数获取方法，根据已有的目标有向包围框关键点检测结果和几何尺寸信息，可获取到初始相机等价参数和扩展成像平面区域的地面深度图，然后根据初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点，并基于各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数，可以提升等价相机参数获取的准确率，还降低了特殊应用场景下的人工标注成本和实施的复杂度，提升数据自动化处理率。

为实现本发明实施例提供的方法，本发明实施例提供一种基于单目图片的高位摄像头等价相机参数获取系统，如图2所示，该系统包括：获取单元21、生成单元22、更新单元23。

获取单元21，用于根据预设图片质量条件、各个图片中目标平均遮挡率、预置泊位标注信息获取基准图片；

所述获取单元21，还用于根据所述基准图片中的各个目标进行关键点检测获取基准目标，并根据所述基准目标的几何尺寸信息获取高位摄像头的初始相机等价参数；

所述获取单元21，还用于根据所述初始相机等价参数和所述基准目标对应的预置相关估计值，获取扩展成像平面区域的地面深度图；

生成单元22，用于根据所述初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点；

更新单元23，用于根据所述图片中泊位标注点、基准目标的关键点、以及各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

进一步地，所述获取单元21，具体用于获取预置图片坐标系下每个基准目标底面中心点到标注泊位中心点的距离偏差值；将所述偏差值居中的目标对应的局部姿态信息作为初始相机等价参数。

进一步地，所述获取单元21，具体还用于在预置世界坐标系内以所述基准目标底面中心点为原点，通过所述局部姿态信息在相机坐标系下和图片坐标系下进行投影，获取每个图片坐标点在的相机坐标系下的深度值和多维向量；通过所述多维向量计算每个图片坐标点的深度值形成所述地面深度图。

进一步地，所述生成单元22，具体用于根据所述扩展成像平面区域的地面深度图和初始相机等价参数获取标注的泊位点坐标对应的深度值和泊位顶点在相对世界坐标系下的值；根据所述泊位的几何结构特征对泊位顶点在相对世界坐标系下的值进行几何校正，得到泊位和基准目标的初始鸟瞰图坐标：对泊位和基准目标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后的鸟瞰图坐标。

进一步地，所述更新单元23，具体用于根据图片上泊位标注点、基准目标的关键点、各个标注泊位和基准目标分别对应的世界坐标系下的鸟瞰图坐标、基准目标的目标尺寸信息中的高度值，获取基准目标的三维有向包围框坐标，并生成泊位与基准目标之间的2D-3D配准点组；根据所述泊位与基准目标之间的2D-3D配准点组，更新所述扩展成像平面区域的地面深度图和初始相机等价参数。

本发明提供的一种基于单目图片的高位摄像头等价相机参数获取系统，根据已有的目标有向包围框关键点检测结果和几何尺寸信息，可获取到初始相机等价参数和扩展成像平面区域的地面深度图，然后根据初始相机等价参数、扩展成像平面区域的地面深度图、以及泊位几何结构特征，生成各个标注泊位和基准目标的鸟瞰图坐标点，并基于各个标注泊位和基准目标的鸟瞰图坐标点更新所述扩展成像平面区域的地面深度图和初始相机等价参数，可以提升等价相机参数获取的准确率，还降低了特殊应用场景下的人工标注成本和实施的复杂度，提升数据自动化处理率。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(i l lustrat i ve l ogi ca l b l ock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(i nterchangeab i l ity)，上述的各种说明性部件(i l l ustrat i ve components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(AS I C)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于AS I C中，AS I C可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(d i sk)和磁盘(d i sc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。