一种基于主动感知的车载相机帧率调节方法及装置

技术领域

本申请涉及自动驾驶技术领域，尤其是涉及一种基于主动感知的车载相机帧率调节方法及装置。

背景技术

随着自动驾驶技术和车载相机技术的发展，车载相机在耐高低温、耐湿热、稳定性和像素等方面都取得了长足的进步，能够在各种复杂的交通场景中进行数据的采集。目前车载相机通常使用固定的帧率采集图像，这样容易出现在车辆高速行驶的过程中相机采集速度跟不上的情况，从而造成环境数据的丢失，甚至出现图像拖影现象；而在车辆低速行驶的过程中，又容易造成采集数据的冗余。

发明内容

有鉴于此，本申请提供了一种基于主动感知的车载相机帧率调节方法及装置，以解决上述技术问题。

第一方面，本申请实施例提供一种基于主动感知的车载相机帧率调节方法，应用于配置车速传感器和相机的自动驾驶车辆，包括：

利用车速传感器获取当前时刻的车速；

利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；

将下一时刻的最优相机帧率发送至相机的图像传感器。

进一步地，所述相机帧率与车速的M阶多项式为：

FR＝w

其中：FR为相机帧率；M为多项式阶数；w

利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；包括：

下一时刻的最优相机帧率FR

FR

其中，v

进一步地，所述方法还包括：

对车辆进行N次不同车速的路测实验，其中，车速从最小车速开始，以一定的车速间隔增加直至到达最大车速；

在每个车速下计算车载相机采集图像的模糊度或者目标子图的模糊度，由此获取对应车速的最优相机帧率；

基于N组车速及最优相机帧率，利用损失函数得到M阶多项式的M+1个系数。

进一步地，在每个车速下计算车载相机采集图像的模糊度或者目标子图的模糊度，由此获取对应车速的最优相机帧率；包括：

步骤S1：获取当前车速下车载相机在初始相机帧率下采集的图像，计算图像的图像模糊度；所述初始相机帧率为相机采集到最低需求图像数量的帧率；

步骤S2：判断图像模糊度是否大于阈值θ，若为是，则将当前的相机帧率加上第一增量，得到调整后的相机帧率，进入步骤S3，否则，进入步骤S4；

步骤S3：获取当前车速下车载相机在调整后的相机帧率下采集的图像，计算图像模糊度，转入步骤S2；

步骤S4：利用目标检测模型YOLOV7对图像进行目标检测，得到目标检测框，将图像中的目标检测框裁剪出来，形成目标子图，计算目标子图的图像模糊度；

步骤S5:判断目标子图的图像模糊度是否大于阈值θ，若为是，则将当前的相机帧率加上第二增量，得到调整后的相机帧率，其中，第二增量小于第一增量，进入步骤S3；否则，进入步骤S6；

步骤S6：将最后一次调整得到的相机帧率作为当前车速的最优相机帧率。

进一步地，计算图像的图像模糊度，包括：

将图像缩放到预设的尺寸，然后将缩放后的图像压缩成单通道的灰度图像；

利用Laplacian 3x3卷积核对灰度图像进行卷积运算，得到响应图；

计算响应图的方差，将响应图的方差作为图像模糊度。

进一步地，基于N组车速及最优相机帧率，利用损失函数得到M阶多项式的M+1个系数；包括：

计算m阶多项式对应的损失函数Loss

其中：f

根据损失函数Loss

从0阶多项式、1阶多项式、…和m

第二方面，本申请实施例提供一种基于主动感知的车载相机帧率调节装置，应用于配置车速传感器和相机的自动驾驶车辆，包括：

获取单元，用于利用车速传感器获取当前时刻的车速；

计算单元，用于利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；

控制单元，用于将下一时刻的最优相机帧率发送至相机的图像传感器。

第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的方法。

本申请能够根据车速自动调整车载相机的帧率，由此采集到清晰的环境图像，提升自动驾驶车辆在不同的车速状况下对周围环境的感知能力。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于主动感知的车载相机帧率调节方法的流程图；

图2为本申请实施例提供的基于主动感知的车载相机帧率调节装置的功能结构图；

图3为本申请实施例提供的电子设备的功能结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例涉及的技术用语进行简单介绍。

车速传感器：用来检测自动驾驶汽车的车速。

帧率：单位时间内记录或者播放的图片数量。

车载相机：搭载到车辆上利用光学成像原理形成影像并使用底片记录影像的设备，包括：单目相机、双目相机和三目相机。

图像传感器：一种将光学图像转换成电子信号的设备，是车载相机中的核心部件。

在介绍了本申请涉及的技术用语后，接下来，对本申请实施例的设计思想进行简单介绍。

目前车载相机通常使用固定的帧率采集图像，这样容易出现在车辆高速行驶的过程中相机采集速度跟不上的情况，从而造成环境数据的丢失，甚至出现图像拖影现象；而在车辆低速行驶的过程中，又容易造成采集数据的冗余。在自动驾驶感知模块中，图像传感器获取图像的帧率应该伴随着车速的变化而改变，以提高车载有限资源的利用率。

为此，本申请提供一种基于主动感知的车载相机帧率调节方法，该方法通过路测实验得到多组车速与最优相机帧率的数据集，由此拟合出最优相机帧率与车速的多项式，在实际应用中，利用车速传感器获取当前时刻的车速；利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；将下一时刻的最优相机帧率发送至相机的图像传感器。本申请能够根据车速自动调整车载相机的帧率，由此采集到清晰的环境图像，提升自动驾驶车辆在不同的车速状况下对周围环境的感知能力。

此外，本申请通过对图像进行两次模糊度的计算，分别实现对帧率进行粗调和微调，以快速准确地获取到当前车速下的最优帧率；本申请建立了最优相机帧率与车速的多项式，并使用正则化来解决过拟合问题。

在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。

如图1所示，本申请实施例提供一种基于主动感知的车载相机帧率调节方法，包括：

步骤101：利用车速传感器获取当前时刻的车速；

步骤102：利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；

其中，所述相机帧率与车速的M阶多项式为：

FR＝w

其中：FR为相机帧率；M为多项式阶数；w

利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；包括：

下一时刻的最优相机帧率FR

FR

其中，v

步骤103：将下一时刻的最优相机帧率发送至相机的图像传感器。

此外，所述方法还包括：

对车辆进行N次不同车速的路测实验，其中，车速从最小车速开始，以一定的车速间隔增加直至到达最大车速；

在本实施例中，路测实验车辆的最高速度为120km/h，从1km/h开始进行实验，速度间隔是1km/h，一共进行120次实验。

在每个车速下计算车载相机采集图像的模糊度或者目标子图的模糊度，由此获取对应车速的最优相机帧率；

基于N组车速及最优相机帧率，利用损失函数得到M阶多项式的M+1个系数。

其中，在每个车速下计算车载相机采集图像的模糊度或者目标子图的模糊度，由此获取对应车速的最优相机帧率；包括：

步骤S1：获取当前车速下车载相机在初始相机帧率下采集的图像，计算图像的图像模糊度；所述初始相机帧率为相机采集到最低需求图像数量的帧率；

本实施例使用Laplacian算子计算图像的模糊度，Laplacian算子是一种二阶导数算子，其定义为：

其中，f(x,y)为二维函数，其适用于数字图像处理的离散形式的表达方式为：

由上式可以得到四邻域Laplacian算子，将四邻域Laplacian算子旋转45度后与原算子相加，得到扩展的八邻域Laplacian算子。四邻域算子是对中心像素邻域的四个方向求梯度，而八邻域算子是对八个方向求梯度。算子S定义如下:

通过Laplacian算子可以发现：当本身及邻域内像素灰度值相同时，Laplacian算子处理之后的运算结果为零；当该像素点本身的灰度值高于其邻域内像素点的灰度均值时，其运算结果为负数；反之则为正数。因此可以通过正峰和负峰之间的过零点来确定图像的边缘点。Laplacian算子可以突出显示图像中包含快速梯度变化的区域。因此，可以通过将图像中的某一通道(一般用灰度值)用Laplacian卷积核做卷积运算，然后对响应图计算方差来判断图像的模糊程度。

具体的，计算图像的图像模糊度，包括：将图像缩放到预设的尺寸，然后将缩放后的图像压缩成单通道的灰度图像；利用Laplacian 3x3卷积核对灰度图像进行卷积运算，得到响应图；计算响应图的方差，将响应图的方差作为图像模糊度。

步骤S2：判断图像模糊度是否大于阈值θ，若为是，则将当前的相机帧率加上第一增量，得到调整后的相机帧率，进入步骤S3，否则，进入步骤S4；

步骤S3:获取当前车速下车载相机在调整后的相机帧率下采集的图像，计算图像模糊度，转入步骤S2；

步骤S4：利用目标检测模型YOLOV7对图像进行目标检测，得到目标检测框，将图像中的目标检测框裁剪出来，形成目标子图，计算目标子图的图像模糊度；

步骤S5:判断目标子图的图像模糊度是否大于阈值θ，若为是，则将当前的相机帧率加上第二增量，得到调整后的相机帧率，其中，第二增量小于第一增量，进入步骤S3；否则，进入步骤S6；

步骤S6：将最后一次调整得到的相机帧率作为当前车速的最优相机帧率。

其中，基于N组车速及最优相机帧率，利用损失函数得到M阶多项式的M+1个系数；包括：

对于0≤m≤m

其中：f

根据损失函数Loss

从0阶多项式、1阶多项式、…和m

基于上述实施例，本申请实施例提供了一种基于主动感知的车载相机帧率调节装置，参阅图2所示，本申请实施例提供的基于主动感知的车载相机帧率调节装置200至少包括：

获取单元201，用于利用车速传感器获取当前时刻的车速；

计算单元202，用于利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式，计算出下一时刻的最优相机帧率；

控制单元203，用于将下一时刻的最优相机帧率发送至相机的图像传感器。

需要说明的是，本申请实施例提供的基于主动感知的车载相机帧率调节装置200解决技术问题的原理与本申请实施例提供的方法相似，因此，本申请实施例提供的基于主动感知的车载相机帧率调节装置200的实施可以参见本申请实施例提供的方法的实施，重复之处不再赘述。

基于上述实施例，本申请实施例还提供了一种电子设备，参阅图3所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的基于主动感知的车载相机帧率调节方法。

本申请实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)3023。

存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。

需要说明的是，图3所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的基于主动感知的车载相机帧率调节方法。具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的基于主动感知的车载相机帧率调节方法。

本申请实施例提供的基于主动感知的车载相机帧率调节方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本申请实施例提供的基于主动感知的车载相机帧率调节方法。

本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。