方向盘曲线回归方法、系统、方向盘检测方法及系统

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种方向盘曲线回归方法、系统、方向盘检测方法及系统。

背景技术

在车辆驾驶过程中，为了对驾驶员的驾驶状态进行检测，尤其在自动驾驶过程中，为了保证驾驶员依然对车辆进行控制，需要检测方向盘的状态。其中，在进行方向盘的检测时，现有技术中往往利用常规的目标检测手段进行拍摄的车内图片中的方向盘的检测，其中会设计到对图片中每一个像素点的检测，同时涉及到相同目标的融合问题，真个过程复杂度高，运算量大，另外，当人手对方向盘进行遮挡时，又会出现检测不准确，检测结果准确率不高的问题。

发明内容

针对现有技术中，进行车内方向盘的检测时，计算量大，复杂度高，准确率低的问题，本申请提出一种方向盘曲线回归方法、系统、介质及设备。

在本申请的一个技术方案中，提供一种方向盘曲线回归方法，包括：通过车载相机对车内进行拍摄，得到包含方向盘在内的车内图片；利用预训练的卷积网络模型中的Backbone基础层对图片进行特征提取，得到图片对应的特征图；利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；根据参数确定椭圆曲线。

可选的，利用卷积网络模型中的Backbone基础层对图片进行特征提取，包括：降低卷积网络模型中的Backbone基础层中各个语义阶层的模型通道的数量，使用模型通道对当前帧图片进行特征提取，得到对应的特征图。

可选的，利用卷积网络模型中的单个检测头对特征图，进行方向盘的回归处理，在图片上确定方向盘对应椭圆曲线的参数，包括：通过卷积网络模型根据方向盘的特征对特征图进行方向盘检测，确定方向盘对应椭圆曲线的参数，参数包括中心点坐标、椭圆长轴长度、椭圆短轴长度以及方向盘相对车载相机的旋转角度。

可选的，根据参数确定椭圆曲线，包括：将图片中的椭圆曲线参数信息投影到预建立的3D坐标系中，确定空间中的椭圆曲线参数信息；根据空间中的椭圆曲线参数信息，在3D坐标系上确定椭圆曲线。

在本申请的一个技术方案中，提供一种方向盘曲线回归系统，包括：车载相机，其通过对车内进行拍摄，得到包含方向盘在内的车内图片；卷积网络模型模块，其通过Backbone基础层对图片进行特征提取，得到图片对应的特征图，并利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；曲线确定模块，其根据参数确定椭圆曲线。

在本申请的一个技术方案中，提供一种方向盘检测方法，包括：通过车载相机对车内进行拍摄，得到包含方向盘在内的车内图片；利用预训练的卷积网络模型中的Backbone基础层对图片进行特征提取，得到图片对应的特征图；利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；根据参数确定椭圆曲线；根据椭圆曲线，得到对应的方向盘。

在本申请的一个技术方案中，提供一种方向盘检测系统，包括：车载相机，其通过对车内进行拍摄，得到包含方向盘在内的车内图片；卷积网络模型模块，其通过Backbone基础层对图片进行特征提取，得到图片对应的特征图，并利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；曲线确定模块，其根据参数确定椭圆曲线；以及方向盘确定模块，其根据根据椭圆曲线，得到对应的方向盘。

本申请的有益效果是：本申请利用简化的卷积网络模型对车内图片中的方向盘进行检测，利用方向盘单一的特点，直接进行回归，得到方向盘对应的方向盘曲线，降低计算量和复杂度，同时提高准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请方向盘曲线回归方法的一个实施方式的流程示意图；

图2是一般的目标检测卷积神经网络的基础结构示意图；

图3是本申请方向盘曲线回归系统的一个实施方式的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的产品或设备不必限于清楚地列出的哪些单元，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。

在车辆驾驶过程中，为了对驾驶员的驾驶状态进行检测，尤其在自动驾驶过程中，为了保证驾驶员依然对车辆进行控制，需要检测方向盘的状态。其中，在进行方向盘的检测时，现有技术中往往利用常规的目标检测手段进行拍摄的车内图片中的方向盘的检测，其中会设计到对图片中每一个像素点的检测，同时涉及到相同目标的融合问题，真个过程复杂度高，运算量大，另外，当人手对方向盘进行遮挡时，又会出现检测不准确，检测结果准确率不高的问题。

本申请利用车内只存在一个方向盘的特性，利用卷积网络模型直接对方向盘对应的曲线进行回归，通过缩小卷积网络模型求解的范围，降低卷积网络模型求解的难度，进而更快，更准确的得出方向盘结果。另外，通过曲线的回归，再通过方向盘曲线确定方向盘，能够避免人手对方向盘识别过程的干扰，提高准确率。

针对上述问题，本申请提出一种方向盘曲线回归方法、系统、方向盘检测方法及系统。该方法包括：通过车载相机对车内进行拍摄，得到包含方向盘在内的车内图片；利用预训练的卷积网络模型中的Backbone基础层对图片进行特征提取，得到图片对应的特征图；利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；根据参数确定椭圆曲线。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请方向盘曲线回归方法的一个实施方式的流程示意图。

在图1所示的实施方式中，本申请的方向盘曲线回归方法包括过程S101，通过车载相机对车内进行拍摄，得到包含方向盘在内的车内图片。

在该实施方式中，本申请的车内人体检测方法也是基于对车内相机拍摄的车内图片的检测，通过检测车内图片中的方向盘，完成方向盘的检查判断。其中，车内相机的安装位置，以及车内图片的精度等信息，可根据实际的车内条件进行合理设置，本申请不进行具体限制。

在图1所示的实施方式中，本申请的方向盘曲线回归方法包括过程S102，利用预训练的卷积网络模型中的Backbone基础层对图片进行特征提取，得到图片对应的特征图。

在该实施方式中，本申请利用预训练的卷积网络模型对车内图片进行检测，通过卷积网络模型中的Backbone基础层对车内图片进行特征提取，最终得到车内图片对应的特征图。

图2是一般的目标检测卷积神经网络的基础结构示意图。

如图2所示，基本的卷积网络模型一般包括Backbone基础层，特征金字塔部分(Feature Pyramid)、检测头部分。其中，Backbone基础层包括包括多个语义阶层，通过车内图片的一层层的卷积处理，从C3层到C4层，最终到C5层完成车内图片的更高级语义特征的提取。然后，提取的语音特征图与特征金字塔的对应部分进行融合，并将最终的任何结果输入到对应的检测头。其中检测头在目标检测任务中，主要完成目标的分类和回归处理，最终确定出在图片中识别出目标，完成目标检测。

可选的，利用卷积网络模型中的Backbone基础层对车内图片进行特征提取，包括：降低卷积网络模型中的Backbone基础层中各个语义阶层的模型通道的数量，使用模型通道对当前帧图片进行特征提取，得到对应的特征图。

在该可选实施例中，在利用车内图片对方向盘曲线检测的过程中，不需要过多精确的图片信息便可完成方向盘曲线的检测任务。同时，模型总体通道数越多，对应的数据处理量越大，增加模型的数据处理负担。其中，数据通道对应图片检测的某个特征，例如，纹理、颜色等。因此，在进行方向盘曲线检测时，只需要保留对方向盘曲线检测有用的特征对应的通道即可，在准确完成方向盘曲线检测的同时，降低数据的处理量。因此，与现有技术中，使用标准的卷积网络模型进行方向盘检测不同的是，本申请对卷积网络模型中Backbone基础层的各个语义阶层的数据通道数进行降低，利用较低数量的数据通道完成对车内图片进行特征提取工作。

具体的，本申请的基于座位数目的车内人体检测方法在具体实施时，可对Backbone基础层中各个语义阶层C3-C5层的数据通道数进行减半处理，例如，32个卷积层通道数减半为16。通过模型通道数降低的设置，大大降低卷积网络模型的数据处理量，提高数据的处理速度。

在图1所示的实施方式中，本申请的方向盘曲线回归方法包括过程S103，利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数。

在该实施方式中，在通过Backbone基础层中对个语义阶层的层层处理后，得到车内图片对应的特征图。在得到特征图后，利用卷积网络模型对特征图进行分析，根据图片中只存在一个方向盘的特性，对特征图进行分析，最终确定方向盘对应椭圆曲线的参数。

在该实施方式中，与图2所示的现有技术中，再经过Backbone基础层中对个语义阶层的层层处理后，会将得到的特征图输入到特征金字塔部分中进行特征的扩展融合，然后将扩展融合后的特征图输入到对应的多个检测头中，进行分类回归处理。与现有技术不同的是，本申请利用图片中只存在一个方向盘的特性，直接对得到的特征图进行分析，直接获取方向盘对应的椭圆曲线参数，而不用经过复杂的特征金字塔部分，因此，本申请的方法更加高效，对应的卷积网络模型也更轻量化。

可选的，用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数，包括：通过卷积网络模型根据方向盘的特征对特征图进行方向盘检测，确定方向盘对应椭圆曲线的参数，参数包括中心点坐标、椭圆长轴长度、椭圆短轴长度以及方向盘相对车载相机的旋转角度。

在该可选实施例中，图片中方向盘唯一，对应的椭圆曲线也唯一。根据该特性，卷积网络模型对该特征图进行检测，获得椭圆曲线对应的参数。其中，该参数包括椭圆曲线中心对应的中心点坐标，椭圆曲线的长轴长度、椭圆短轴长度以及该椭圆曲线对应的旋转角度。通过以上参数的限定，可在车内图片中确定出该椭圆曲线。

在图1所示的实施方式中，本申请的方向盘曲线回归方法包括过程S104根据参数确定椭圆曲线。

在该实施方式中，在确定出椭圆曲线的参数后，可根据该参数在车内图片上确定出对应的椭圆曲线。

可选的，根据所述参数确定椭圆曲线，包括：根据参数在图片上确定椭圆曲线的位置和形状，得到椭圆曲线。

在该可选实施例中，在得到椭圆曲线的参数后，根据参数对应的位置信息和形状最终在2D图片上确定出对应的椭圆曲线。其中，椭圆曲线的参数包括椭圆的中心点坐标，其用于确定椭圆曲线的位置；参数中的椭圆长轴长度、椭圆短轴长度以及椭圆在图像坐标系中长轴相对于图像x轴的夹角用于确定椭圆曲线的形状，进而确定方向盘的位置和形状。

本申请利用简化的卷积网络模型对车内图片中的方向盘进行检测，利用方向盘单一的特点，直接进行回归，得到方向盘对应的曲线，降低计算量和复杂度，同时提高准确率。

图3示出了本申请方向盘曲线回归系统的一个实施方式。

在图3所示的实施方式中，本申请的方向盘曲线回归系统包括：车载相机301，其通过对车内进行拍摄，得到包含方向盘在内的车内图片；卷积网络模型模块302，其通过Backbone基础层对图片进行特征提取，得到图片对应的特征图，并利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；曲线确定模块303，其根据参数确定椭圆曲线。

可选的，卷积网络模型模块中，降低Backbone基础层中各个语义阶层的数据通道数，使用较低数量的数据通道对图片进行特征提取。

可选的，在卷积网络模型模块中，通过卷积网络模型根据方向盘的特征对特征图进行方向盘检测，确定方向盘对应椭圆曲线的参数，参数包括中心点坐标、椭圆长轴长度、椭圆短轴长度以及方向盘相对车载相机的旋转角度。

可选的，在曲线确定模块中，将图片中的椭圆曲线参数信息投影到预建立的3D坐标系中，确定空间中的椭圆曲线参数信息；根据空间中的椭圆曲线参数信息，在3D坐标系上确定椭圆曲线。

本申请利用简化的卷积网络模型对车内图片中的方向盘进行检测，利用方向盘单一的特点，直接进行回归，得到方向盘对应的曲线，降低计算量和复杂度，同时提高准确率。

在本申请的一个实施方式中，提供一种方向盘检测方法，包括：通过车载相机对车内进行拍摄，得到包含方向盘在内的车内图片；利用预训练的卷积网络模型中的Backbone基础层对图片进行特征提取，得到图片对应的特征图；利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；根据参数确定椭圆曲线；根据椭圆曲线，得到对应的方向盘。

本申请利用简化的卷积网络模型对车内图片中的方向盘进行检测，利用方向盘单一的特点，直接进行回归，得到方向盘对应的曲线，再通过曲线确定对应的方向盘，降低计算量和复杂度，同时提高准确率。

在本申请的一个实施方式中，提供一种方向盘检测系统，包括：车载相机，其通过对车内进行拍摄，得到包含方向盘在内的车内图片；卷积网络模型模块，其通过Backbone基础层对图片进行特征提取，得到图片对应的特征图，并利用卷积网络模型对特征图进行分析，在图片上确定方向盘对应椭圆曲线的参数；曲线确定模块，其根据参数确定椭圆曲线；以及方向盘确定模块，其根据根据椭圆曲线，得到对应的方向盘。

本申请利用简化的卷积网络模型对车内图片中的方向盘进行检测，利用方向盘单一的特点，直接进行回归，得到方向盘对应的曲线，再通过曲线确定对应的方向盘，降低计算量和复杂度，同时提高准确率。

在本申请的一个实施方式中，一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行任一实施例描述的方向盘曲线回归方法或方向盘检测方法。其中，该存储介质可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

在本申请的一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行任一实施例描述的方向盘曲线回归方法或方向盘检测方法。

在本申请所提供的实施方式中，应该理解到，所揭露的装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。