一种无人车图像采集控制方法及系统

技术领域

本发明涉及图像采集技术领域，具体涉及一种无人车图像采集控制方法及系统。

背景技术

随着传感技术和控制技术的发展，无人车已经在很多场景中得到广泛应用，例如园区巡逻、街景拍摄、治安巡逻等。无人车的图像采集功能是无人车常见的功能之一。

现有技术中，使用无人车采集图像数据的方式有两种，对应的提高采集图像质量的方法也是两种：

第一种由人远程操控无人车到特定地点朝特定目标拍照或录像，这种方式需要由人一直控制无人车，实际上是人工远程控制无人车进行图像采集，这种方式提高采集图像质量的方法是凭借人的经验和主观意识。

第二种由人给无人车下达指令，然后由无人车自主采集图像数据。这种方式主要依赖基于图像的目标识别技术，一般只能完成指定物体的图像采集，这种方式提高采集图像质量的方法主要靠提高采集图像与目标图像的匹配度。

而为了提高匹配度，提供高质量的图像采集参数能够控制摄像头采集符合预期的图像数据，对于采集与图像数据具有十分重要的意义，为满足对目标的精准监测需求，如何生成准确的采集参数是无人车成功采集到预期图像数据的关键。

因此，如何基于采集参数控制无人车自主地调整姿态和位置，从而实现对目标的精准监测，成为亟待解决的问题。

发明内容

本发明目的在于提供一种无人车图像采集控制方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，本发明提供以下技术方案：

一种无人车图像采集控制方法，所述方法包括以下步骤：

获取包含拍摄目标的参考图像；

控制设置于无人车上的摄像头采集包含拍摄目标的初始图像，确定所述摄像头在采集所述初始图像时的第一采集参数，所述第一采集参数包括经度、纬度、方位角、翻转角、以及定位精度；

从所述参考图像中提取得到第一特征点集，从所述初始图像中提取得到第二特征点集，基于所述第一特征点集和第二特征点集确定匹配图像；

基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角；

基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离；

基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数；

采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像。

进一步，所述基于所述第一特征点集和第二特征点集确定匹配图像，包括：

对所述第一特征点集和第二特征点集的进行特征点匹配；

采用特征点匹配优化方法对错误匹配的特征点进行过滤；

将过滤后的特征点形成匹配特征点集合，基于所述特征点集合得到匹配图像。

进一步，所述基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，包括：

设所述初始图像和参考图像的分辨率均为X*Y，对所述初始图像和参考图像进行特征点提取、匹配并过滤错误匹配的特征点后产生n对匹配特征点，作为匹配特征点集合，根据所述n对匹配特征点形成匹配图像，将所述n对匹配特征点形成队列；

其中，List[j]表示n对匹配特征点形成的队列，a表示初始图像的像素点集合，b表示参考图像的像素点集合，j表示匹配特征点集合形成的匹配图像，j∈(a，b)，List[j][i]表示匹配图像j中的第i个匹配特征点，i∈(0，1，2，...，n)，第i个匹配特征点的像素坐标表示为(x

记初始图像中的匹配特征点集合的中心特征点坐标为

其中，(x

记参考图像中的匹配特征点集合的中心特征点坐标为

其中，(x

设所述初始图像和参考图像的平面位移偏差量为(Δx,Δy)，则有：

其中，Δx为所述初始图像和参考图像在水平方向的平面位移偏差量，Δy为所述初始图像和参考图像在垂直方向的平面位移偏差量。

进一步，所述基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角，包括：

将第一采集参数表示为Sensor＝[long，lat，yaw，roll，er]，其中，long为经度、lat为纬度、yaw为方位角、roll为翻转角、er为定位精度；

设无人车图像采集装置在水平方向每旋转一度，所拍摄的图像在水平方向上改变的像素值为h，根据水平方向的平面位移偏差量△x对第一采集参数中的方位角yaw进行更新，记更新后的方位角为new_yaw，则有：

设无人车采集图像装置在竖直方向每旋转一度，所拍摄的图像在竖直方向上改变的像素值为m，根据垂直方向的平面位移偏差量△y对第一采集参数中的翻转角roll进行更新，记更新后的翻转角为new_roll，则有：

进一步，所述基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，包括：

分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例；

根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例。

进一步，所述分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例，包括：

分别选取匹配图像中的第k个特征点和第k+1个特征点，k∈(1，2，...，(n-1))；

分别确定第k个特征点和第k+1个特征点在初始图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在初始图像中的距离：

其中，(x

分别确定第k个特征点和第k+1个特征点在参考图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在参考图像中的距离：

其中，(x

根据以下公式计算第k个特征点和第k+1个特征点的缩放比例：

其中，ε为一个无穷小的数，rate

确定匹配图像中的全部特征点的缩放比例均被选取，共计算得到(n-1)个缩放比例。

进一步，所述根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例，包括：

根据以下方式将所述(n-1)个缩放比例划分为small类，normal类和large类，每个类在初始状态下所包含的缩放比例的数量均为0；

当缩放比例＜0.5时，将该缩放比例划分为small类；

当0.5≤缩放比例≤2时，将该缩放比例划分为normal类；

当缩放比例＞2时，将该缩放比例划分为large类；

当任一个类的个数大于(n-1)/2时，将该类所包含的缩放比例的均值作为匹配图像的整体缩放比例，记为total_rate，计算公式为：

其中，len(p)为第p类所包含的缩放比例的个数，rate

当三个类所包含的缩放比例的数量均小于(n-1)/2，记整体缩放比例total_rate等于1。

进一步，所述基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离，包括：

以设置于无人车上的摄像头方向为正前方，以dist_cross表示无人车的横向移动距离，即无人车向左或者向右移动的距离，当dist_cross大于零时，无人车向右移动|dist_cross|厘米，当dist_cross小于零时，无人车向左移动|dist_cross|厘米；

以dist_line表示无人车的纵向移动距离，即无人车向前或者向后移动的距离，当dist_line大于零时，无人车向前移动|dist_line|厘米，当dist_cross小于零时，无人车向后移动|dist_line|厘米；

假设当无人车横向移动d厘米时，所拍摄的图像相比无人车横向移动前拍摄的图像在水平方向上改变了q个像素点，则当初始图像和参考图像在水平方向上偏差Δx个像素时，有：

确定dist_cross是否在区间[-2*er，2*er]内，根据以下公式将无人车横向移动距离更新为dist_cross′：

当无人车纵向移动d厘米时，记纵向移动移动后拍摄的图像与纵向移动前拍摄的图像相比，重叠区域的像素大小为s*t，设无人车纵向移动前后拍摄图像缩放比例为r，则有：

则当无人车纵向移动d厘米时，所拍摄图像的缩放比例的偏差为|r-1|，所拍摄图像的整体缩放比例的偏差为total_rate-1，有：

确定dist_line是否在区间[-2*er，2*er]内，根据以下公式将无人车纵向移动距离更新为dist_line′：

得到无人车横向移动距离dist_cross′，无人车纵向移动距离dist_line′。

进一步，所述基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数，包括：

将第一采集参数中的方位角和翻转角替换为更新后的方位角和更新后的翻转角，并增加无人车的横向移动距离，作为第二采集参数；

或，将第一采集参数中的翻转角替换为更新后的翻转角，并增加无人车的横向移动距离和纵向移动距离，作为第二采集参数。

一种无人车图像采集控制系统，所述系统包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的无人车图像采集控制方法。

本发明的有益效果是：本发明公开一种无人车图像采集控制方法及系统，本发明通过从参考图像中提取得到第一特征点集，从初始图像中提取得到第二特征点集，基于第一特征点集和第二特征点集确定的匹配图像得到参考图像和初始图像的差异，通过更新第一采集参数，基于第二采集参数控制无人车自主地调整姿态和位置，控制摄像头再次采集图像，使得最终采集的图像比初始图像的图像质量高从而实现对目标的精准监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中无人车图像采集控制方法的流程示意图；

图2是本发明实施例中水平方向偏差图的示意图；

图3是本发明实施例中纵向缩放的示意图。

具体实施方式

以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

参考图1，如图1所示为本申请实施例提供的一种无人车图像采集控制方法，所述方法包括以下步骤：

步骤S100、获取包含拍摄目标的参考图像；

步骤S200、控制设置于无人车上的摄像头采集包含拍摄目标的初始图像，确定所述摄像头在采集所述初始图像时的第一采集参数；其中，所述第一采集参数包括经度、纬度、方位角、翻转角、以及定位精度；

步骤S300、从所述参考图像中提取得到第一特征点集，从所述初始图像中提取得到第二特征点集，基于所述第一特征点集和第二特征点集确定匹配图像；

步骤S400、基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角；

步骤S500、基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离；

步骤S600、基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数；

步骤S700、采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像。

本发明提供的实施例中，无人车上设有控制装置，所述控制装置用于控制设置于无人车上的摄像头的平移和翻转，采集初始图像的姿态由方位角yaw和翻转角roll确定。参考图像可以来源于人工手动拍摄，或者选取无人车已采集的优质图像。本发明根据第一采集参数控制摄像头采集初始图像，分别提取参考图像和初始图像这两张图像的图像特征，以已获取的优质图像为参考，对比设置在无人车上的摄像头采集的初始图像和参考图像在平面位移和整体缩放比例，作为更新第一采集参数的依据，并按照更新得到的第二采集参数最终拍摄得到包含拍摄目标的图像，使无人车能采集到更贴切于参考图像，提高无人车采集图像的质量，其中，所述第二采集参数和第一采集参数采用相同的经度和纬度，即无人车的位置不做改变。本发明提出的无人车图像采集方法，可用于街景变化检测、大型设备群运行状况精准监测、无轨巡逻等场景。

在一个改进的实施例中，步骤S300中，所述基于所述第一特征点集和第二特征点集确定匹配图像，包括：

对所述第一特征点集和第二特征点集的进行特征点匹配；

采用特征点匹配优化方法对错误匹配的特征点进行过滤；

将过滤后的特征点形成匹配特征点集合，基于所述特征点集合得到匹配图像。

本步骤中，提取图像特征的方法包括但不限于SIFT(Scale-invariant-feature-trans form，尺度不变特征变换)、SURF(Speeded-Up-Robust-Features，加速稳健特征)、ORB(Oriented-Fastand-Rotated-Brief，定向快速旋转)；特征点匹配的方法包括但不限于B FMATCH(Brute-Froce-Matcher，暴力匹配方法)、KNN-MATCH(K近邻匹配方法)；特征点匹配优化方法包括但不限于距离度量、交叉匹配、RANSAC(Random-Sample-Consensus，随机抽样一致)。

在一个改进的实施例中，步骤S400中，所述基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，包括：

设所述初始图像和参考图像的分辨率均为X*Y，对所述初始图像和参考图像进行特征点提取、匹配并过滤错误匹配的特征点后产生n对匹配特征点，作为匹配特征点集合，根据所述n对匹配特征点形成匹配图像，将所述n对匹配特征点形成队列；

其中，List[j]表示n对匹配特征点形成的队列，a表示初始图像的像素点集合，b表示参考图像的像素点集合，j表示匹配特征点集合形成的匹配图像，j∈(a，b)，List[j][i]表示匹配图像j中的第i个匹配特征点，i∈(0，1，2，...，n)，第i个匹配特征点的像素坐标表示为(x

记匹配图像j(j∈(a，b))的中心特征点坐标为

其中，(x

本实施例中，j∈(a，b)，j可以是初始图像a，也可以是参考图像b；

记初始图像中的匹配特征点集合的中心特征点坐标为

其中，(x

记参考图像中的匹配特征点集合的中心特征点坐标为

其中，(x

设所述初始图像和参考图像的平面位移偏差量为(Δx,Δy)，则有：

其中，Δx为所述初始图像和参考图像在水平方向的平面位移偏差量，Δy为所述初始图像和参考图像在垂直方向的平面位移偏差量。

在一个改进的实施例中，步骤S400中，所述基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角，包括：

将第一采集参数表示为Sensor＝[long，lat，yaw，roll，er]，其中，long为经度、lat为纬度、yaw为方位角、roll为翻转角、er为定位精度；

设无人车图像采集装置在水平方向每旋转一度，所拍摄的图像在水平方向上改变的像素值为h，根据水平方向的平面位移偏差量△x对第一采集参数中的方位角yaw进行更新，记更新后的方位角为new_yaw，则有：

设无人车采集图像装置在竖直方向每旋转一度，所拍摄的图像在竖直方向上改变的像素值为m，根据垂直方向的平面位移偏差量△y对第一采集参数中的翻转角roll进行更新，记更新后的翻转角为new_roll，则有：

本实施例中，通过更新第一采集参数中的方位角、翻转角，从而调整无人车采集图像的姿态，以达到无人车采集图像质量提高的目的。

在一个改进的实施例中，步骤S500中，所述基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，包括：

分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例；

根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例。

本实施例中，记匹配图像j(j∈(a，b))中的第k个特征点和第k+1个特征点之间的距离为dist_j

在一个改进的实施例中，所述分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例，包括：

分别选取匹配图像中的第k个特征点和第k+1个特征点，k∈(1，2，...，(n-1))；

分别确定第k个特征点和第k+1个特征点在初始图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在初始图像中的距离：

其中，(x

分别确定第k个特征点和第k+1个特征点在参考图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在参考图像中的距离：

其中，(x

根据以下公式计算第k个特征点和第k+1个特征点的缩放比例为rate

其中，rate

在另一实施例中，第k个特征点和第k+1个特征点的缩放比例也可以表示为rate′

确定匹配图像中的全部特征点的缩放比例均被选取，共计算得到(n-1)个缩放比例。

需要说明的是，本发明提供的实施例中，i、k均为变量，用于对匹配图像j中的匹配特征点进行编号，在不同的实施例中，同一个特征点采用变量i、k分别赋值，本领域技术人员可根据具体实施例进行选用。

由于本发明实施例中计算缩放比例的方法极其依赖匹配点对的空间分布，为了避免或减少来自匹配错误对结果的影响，增加了以下的投票策略：

在一个改进的实施例中，所述根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例，包括：

根据以下方式将所述(n-1)个缩放比例划分为small类，normal类和large类，每个类在初始状态下所包含的缩放比例的数量均为0；

当缩放比例＜0.5时，将该缩放比例划分为small类；

当0.5≤缩放比例≤2时，将该缩放比例划分为normal类；

当缩放比例＞2时，将该缩放比例划分为large类；

当任一个类的个数大于(n-1)/2时，将该类所包含的缩放比例的均值作为匹配图像的整体缩放比例，记为total_rate，计算公式为：

其中，len(p)为第p类所包含的缩放比例的个数，rate

当三个类所包含的缩放比例的数量均小于(n-1)/2，记整体缩放比例total_rate等于1。

在一个改进的实施例中，步骤S500中，所述基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离，包括：

以设置于无人车上的摄像头方向为正前方，以dist_cross表示无人车的横向移动距离，即无人车向左或者向右移动的距离，当dist_cross大于零时，无人车向右移动|dist_cross|厘米，当dist_cross小于零时，无人车向左移动|dist_cross|厘米；

以dist_line表示无人车的纵向移动距离，即无人车向前或者向后移动的距离，当dist_line大于零时，无人车向前移动|dist_line|厘米，当dist_cross小于零时，无人车向后移动|dist_line|厘米；

如图2所示，假设当无人车横向移动d厘米时，所拍摄的图像相比无人车横向移动前拍摄的图像在水平方向上改变了q个像素点，则当初始图像和参考图像在水平方向上偏差Δx个像素时，有：

确定dist_cross是否在区间[-2*er，2*er]内，根据以下公式将无人车横向移动距离更新为dist_cross′：

即，当dist_cross不在区间[-2*er，2*er]内时，则根据以下公式将摄像头的横向移动距离更新为dist_cross′：

如图3所示，当无人车纵向移动d厘米时，记纵向移动移动后拍摄的图像与纵向移动前拍摄的图像相比，重叠区域的像素大小为s*t，设无人车纵向移动前后拍摄图像缩放比例为r，则有：

则当无人车纵向移动d厘米时，所拍摄图像的缩放比例的偏差为|r-1|，所拍摄图像的整体缩放比例的偏差为total_rate-1，有：

确定dist_line是否在区间[-2*er，2*er]内，根据以下公式将无人车纵向移动距离更新为dist_line′：

得到无人车横向移动距离dist_cross′，无人车纵向移动距离dist_line′。

在一个改进的实施例中，所述步骤S600包括：

将第一采集参数中的方位角和翻转角替换为更新后的方位角和更新后的翻转角，并增加无人车的横向移动距离，作为第二采集参数；

或，将第一采集参数中的翻转角替换为更新后的翻转角，并增加无人车的横向移动距离和纵向移动距离，作为第二采集参数。

综上所述，得到的第二采集参数可表示为：

Sensor＝[long，lat，new_yaw，new_roll，er，dist_line′]，或

Sensor＝[long，lat，yaw，new_roll，er，dist_cross′，dist_line′]。

本实施例中，通过更新第一采集参数中的方位角、翻转角，从而调整无人车采集图像的姿态，只能修正无人车在平面上的偏差，无法在整体缩放比例的偏差上做出调整；通过调整无人车的横向移动距离和纵向移动距离只能修正无人车在平面水平方向上的偏差和整体缩放比例上的偏差，无法在平面竖直方向上做出调整。本发明提供的实施例将两种方案的优点结合起来，平面水平方向上有更新方位角和增加无人车横向移动距离这个参数两种方法，二者可选其一；平面竖直方向上唯有更新翻转角；整体缩放比例上唯有增加无人车纵向移动距离这个参数。本发明将第一采集参数从平面的水平和竖直方向、空间的缩放比例方向进行全方位调整，以达到无人车采集图像质量提高的目的。

与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有无人车图像采集控制程序，所述无人车图像采集控制程序被处理器执行时实现如上述任意一实施例所述的无人车图像采集控制方法的步骤。

与图1的方法相对应，本发明实施例还提供一种无人车图像采集控制系统，所述系统包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的无人车图像采集控制方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述无人车图像采集控制系统的控制中心，利用各种接口和线路连接整个无人车图像采集控制系统可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述无人车图像采集控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。