用于目标朝向识别的目标检测方法及装置、设备及介质

技术领域

本发明涉及交通技术领域，尤其涉及一种用于目标朝向识别的目标检测方法及装置、设备及介质。

背景技术

随着人工智能和计算机视觉的飞速发展，智能交通系统成为了现代交通系统的发展方向，其中车辆检测是智能交通系统的重要组成部分。近年来，随着深度卷积神经网络的流行，许多基于深度卷积网络的目标检测方法都取得了惊人的检测精度。目前最先进的物体检测方法主要分为两类，一类是基于区域提取，如R-CNN，Fast R-CNN和Faster R-CNN等。这些方法是分两个阶段的，所以时间性能较差，难以实时运行。

而且，在现有技术中的检测算法并没有朝向识别的功能模块，而在碰撞预警等领域中，识别车辆的姿态朝向在自动驾驶或辅助驾驶的应用场景中十分重要。

发明内容

本发明实施例提供一种用于目标朝向识别的目标检测方法及装置、设备及介质，能够有效识别目标对象的朝向，便于在车辆驾驶中的预警。

第一方面，本发明实施例提供一种用于目标朝向识别的目标检测方法，包括：

通过车辆上的图像采集设备获取行车过程中目标对象的图像，其中，图像信息包括：不同的朝向姿态；

通过预先训练的目标检测模型，得到所述图像的检测结果，其中，所述目标检测模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签、朝向标签；，

根据所述检测结果，得到所述目标对象的朝向姿态。

进一步地，所述类别标签包括车辆、行人中的至少一种；

所述朝向标签包括：前、后、左、右、左前、右前、左后、右后；

其中，朝向标签中的左前、右前、左后、右后的姿态用于碰撞预警；

其中，朝向标签中的左前、右前、左后、右后的姿态用于预测后车是否会发生变道或拐弯。

进一步地，所述检测结果包括下列至少一种：目标类别信息、朝向信息以及位置信息。

进一步地，所述目标检测模型为Yolo模型；

所述Yolo模型的head层包括：

朝向识别网络层，用于输出目标对象的朝向姿态；

类别位置检测网络层，用于输出目标对象的类别检测结果以及位置识别结果。

进一步地，还包括：

在所述检测结果中的朝向姿态为左前、右前、左后、右后中的任一种的情况下，获取所述目标对象与本车辆的实时距离；

当所述目标对象与本车辆的实时距离越来越小时，发出碰撞预警信号。

进一步地，还包括：在所述检测结果中的朝向姿态为左前、右前、左后、右后中的任一种的情况下，获取所述目标对象与本车辆的实时距离；

当所述目标对象与本车辆的实时距离增大时，确定所述目标对象正在变道或转弯。

第二方面，本发明实施例提供一种用于目标朝向识别的目标检测装置，包括：

图像获取模块，用于通过车辆上的图像采集设备获取行车过程中目标对象的图像，其中，图像信息包括：不同的朝向姿态；

结果得到模块，用于通过预先训练的目标检测模型，得到所述图像的检测结果，其中，所述目标检测模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签、朝向标签；

朝向得到模块，用于根据所述检测结果，得到所述目标对象的朝向姿态。。

进一步地，所述目标检测模型为Yolo模型；

所述Yolo模型的head层包括：

朝向识别网络层，用于输出目标对象的朝向姿态；

类别位置检测网络层，用于输出目标对象的类别检测结果以及位置识别结果。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于目标朝向识别的目标检测方法的步骤。

第四方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于目标朝向识别的目标检测方法的步骤。

本发明实施例提供的一种用于目标朝向识别的目标检测方法及装置、设备及介质，通过目标检测模型对目标对象进行检测，得到检测结果；而目标检测模型是基于行车图像以及预先确定的类别标签和朝向标签进行训练后得到的，从而可以能够有效识别目标对象的朝向，便于在车辆驾驶中的预警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于目标朝向识别的目标检测方法的流程图；

图2为本发明实施例提供的一种用于目标朝向识别的目标检测方法的网络图；

图3为本发明实施例提供的一种用于目标朝向识别的目标检测装置；

图4本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1描述本发明实施例的一种用于目标朝向识别的目标检测方法。图1为本发明实施例提供的一种用于目标朝向识别的目标检测方法的流程图。

在本发明的一种具体实施方式中，本发明实施例提供一种用于目标朝向识别的目标检测方法，该方法包括：

步骤S11：通过车辆上的图像采集设备获取行车过程中目标对象的图像，其中，图像信息包括：不同的朝向姿态。

在本发明实施例中，首先需要采集本车辆上的图像采集设备获取行车过程中的图像，具体地可以使用行车记录仪中的图像，当然为了图像的完整性，也可以在本车辆的顶部安装360°全景照相机，实时拍摄车辆周围的图像，从而可以更加完全地获取到本车辆周围的环境信息。

步骤S12：通过预先训练的目标检测模型，得到所述图像的检测结果，其中，所述目标检测模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签、朝向标签。

在获取到本车辆的周围环境的图像后，可以将该图像输入到预先训练好的目标检测模型中，而目标检测模式是基于行车图像以及预先确定的类别标签、朝向标签训练得到的，因此检测结果中包含有目标对象的类别信息以及朝向信息，并且在目标检测的过程中，还可以得到位置信息，从而可以得到目标对象的类别、位置、朝向三方面的信息。当然，检测结果可以包括下列至少一种：目标类别信息、朝向信息以及位置信息。

步骤S13：根据所述检测结果，得到所述目标对象的朝向姿态。

具体地，在进行训练时，类别标签可以包括车辆、行人、自行车、摩托车中的至少一种；而朝向标签包括：前、后、左、右、左前、右前、左后、右后。其中，朝向标签中的左前、右前、左后、右后的姿态用于碰撞预警；其中，朝向标签中的左前、右前、左后、右后的姿态用于预测后车是否会发生变道或拐弯。当然，在行车过程中当然会有更多的其他类别的物体，例如两轮平衡车、滑板或障碍物等其他的物体。而对于朝向标签的标记，具体地可以以本车辆为远点，本车辆的正前方（也就是驾驶方向）为0°方向，按照顺时针的方向角度依次增大一直到360°，而将0°左右各22.5°的区域标记为前；将180°左右各22.5°的区域标记为后；将270°左右各22.5°的区域标记为左；将90°左右各22.5°的区域标记为右；将315°左右各22.5°的区域标记为左前；将将45°左右各22.5°的区域标记为右前；将225°左右各22.5°的区域标记为左前将135°左右各22.5°的区域标记为右后。在进行训练后，可以实现对应的朝向的目标对象的检测。

进一步地，对于具体的目标检测模型，可以使用YOLOv3目标检测模型，当然也可以使用Yolo目标检测模型的其他类型，例如更新的Yolov4模型，或Yolov2模型、Yolov2模型；而且为了检测目标对象的朝向可以在Yolo模型的head层设置：朝向识别网络层，用于输出目标对象的朝向姿态；类别位置检测网络层，用于输出目标对象的类别检测结果以及位置识别结果。

也就是说，对基于深度学习的目标检测YOLO模型加入姿态分类任务，并引入姿态分类损失函数。基于YOLOv3网路上做了新颖的更改，在每个head网络中多引出一支网络，用来对朝向姿态做分类，这支网络最终输出层的维度为8（分别输出不同的8个朝向）。这支网络设计可以有3层网络，采用Conv + BN + Mish结构，经申请人试验发现Mish激活函数强于其他激活函数，其中，Mish激活函数为 f(x)=xtanh(ln(1+e^x))。而对于边界框回归的损失函数采用CIOU Loss，目标置信度和目标类别置信度的损失函数采用Binary Cross-Entropy Loss，对于新提出的朝向姿态的损失函数采用Categorical Cross-Entropyloss。

具体地，请参考图2，图2为本发明实施例提供的一种用于目标朝向识别的目标检测方法的网络图。

如图2所示，行车过程中周围的目标对象的图像输入到卷积层1中，进行数据处理，得到卷积层数据矩阵，而且使用不同尺度的FPN模型对卷积层数据矩阵进行特征提取，具体地，第一FPN模型输出的尺寸最小，第二FPN模型输出的尺寸次之，第三FPN模型输出的数据尺寸最大。具体地，都是使用单一维度的图片做为输入，不过最终选取用于接下来分类或检测任务时的特征组合时，此方法不只选用了最后一层的high level feature maps，同样也会选用稍靠下的反映图片low level 信息的feature maps。然后将这些不同层次（反映不同level的图片信息）的特征简单合并起来（一般为concat处理），用于最终的特征组合输出。

并且对于每个FPN模型每个尺度下的输出层分为两支Head，其中第一head网络用于目标类别分类和边界框回归任务，第二head网络用于朝向姿态任务。

在上述实施例的基础上，本实施例中，为了实现预警，还可以在所述检测结果中的朝向姿态为左前、右前、左后、右后中的任一种的情况下，获取所述目标对象与本车辆的实时距离；当所述目标对象与本车辆的实时距离越来越小时，发出碰撞预警信号。具体地，可以使用位置检测的方式进行目标兑现关于本车辆的实时距离的获取，例如，可以获取相邻时间的第一图片和第二图片，第一图片早于第二图片，识别目标对象在第一图片中的第一位置和第二图片中的第二位置（以本车辆为坐标原点），对第一位置和第二位置进行比较，如果第一位置比第二位置更远，则说明目标对象与本车辆越来越近，如果第一位置比第二位置更近，则说明目标对象与本车辆越来越远。

在进行了朝向识别，得到朝向姿态后，可以对外界的车辆进行更加精确地识别，例如可以识别来向车、同向车、被超车，拐弯入车等情况，从而可以更加精确地控制本车辆做出应对。

值得说明的是，在所述检测结果中的朝向姿态为左前、右前、左后、右后中的任一种的情况下，获取所述目标对象与本车辆的实时距离；当所述目标对象与本车辆的实时距离增大时，确定所述目标对象正在变道或转弯。从而可以确定周遭环境的目标对象的运动趋势，进而规划本车辆的路线。

本发明实施例提供的一种用于目标朝向识别的目标检测方法及装置、设备及介质，通过目标检测模型对目标对象进行检测，得到检测结果；而目标检测模型是基于行车图像以及预先确定的类别标签和朝向标签进行训练后得到的，从而可以能够有效识别目标对象的朝向，便于在车辆驾驶中的预警。

下面对本发明实施例提供的用于目标朝向识别的目标检测装置进行描述，下文描述的用于目标朝向识别的目标检测装置与上文描述的用于目标朝向识别的目标检测方法可相互对应参照。

请参考图3，图3为本发明实施例提供的一种用于目标朝向识别的目标检测装置

在本发明又一具体实施方式中，本发明实施例提供一种用于目标朝向识别的目标检测装置300，包括：

图像获取模块310，用于通过车辆上的图像采集设备获取行车过程中目标对象的图像，其中，图像信息包括：不同的朝向姿态；

结果得到模块320，用于通过预先训练的目标检测模型，得到所述图像的检测结果，其中，所述目标检测模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签、朝向标签；

朝向得到模块330，用于根据所述检测结果，得到所述目标对象的朝向姿态。

进一步地，所述目标检测模型为Yolo模型；

所述Yolo模型的head层包括：

朝向识别网络层，用于输出目标对象的朝向姿态；

类别位置检测网络层，用于输出目标对象的类别检测结果以及位置识别结果。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行用于目标朝向识别的目标检测方法，该方法包括：通过车辆上的图像采集设备获取行车过程中周围的目标对象的图像；用于输入所述图像到通过预先训练好的目标检测模型中，得到所述图像的检测结果；其中，所述目标检测模型是基于行车图像以及预先确定的类别标签和朝向标签进行训练后得到的；所述检测结果包括朝向信息。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于目标朝向识别的目标检测方法，该方法包括：通过车辆上的图像采集设备获取行车过程中周围的目标对象的图像；用于输入所述图像到通过预先训练好的目标检测模型中，得到所述图像的检测结果；其中，所述目标检测模型是基于行车图像以及预先确定的类别标签和朝向标签进行训练后得到的；所述检测结果包括朝向信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。