基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端。

背景技术

随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。尤其是在辅助驾驶领域中，无人驾驶的障碍物感知方向时，需要识别不同障碍物的类别属性，为后期的功能策略提供基础数据依据。但是，目前的分类方法中，输入信息为灰度图像和RGB彩色图像，在遇到逆光、暗光等特殊环境下，导致障碍物识别的效果下降，影响障碍物识别准确性。

发明内容

为此，本发明实施例提供一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端，以解决现有技术中，在特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于RGB-D融合信息的障碍物目标分类方法，所述方法包括：

采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；

采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；

基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；

根据所述目标视差图计算所述障碍物目标的深度信息；

基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。

进一步地，所述基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，具体包括：

筛选所述视差图中的有效视差点；

计算各所述有效视差点的视差值；

根据所述视差值的聚集程度，获得障碍物目标框。

进一步地，所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，具体包括：

获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；

根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；

将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。

进一步地，所述备选类别的获取，具体包括：

基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；

将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；

针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。

进一步地，所述分类模型包括：

输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；

特征提取主干网络，所述特征提取主干网络用于进行特征提取；

分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。

进一步地，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。

进一步地，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：

将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。

本发明还提供一种基于RGB-D融合信息的障碍物目标分类系统，用于实施如上所述的方法，所述系统包括：

视差图获取单元，用于采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；

RGB图像获取单元，用于采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；

障碍物确认单元，用于基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；

深度信息获取单元，用于根据所述目标视差图计算所述障碍物目标的深度信息；

分类结果获取单元，用于基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的障碍物目标分类方法一种具体实施方式的流程图；

图2为本发明所提供的分类结果获取过程的流程图；

图3为本发明所提供的障碍物目标分类系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的障碍物目标分类方法和系统基于RGB-D融合信息，以RGB-D融合后的信息作为模型的输入数据，使物理空间目标的三维立体信息和色彩空间的颜色轮廓信息相融合，解决了在光照条件较差时模型识别效果变差的问题，从而保证了障碍物分类的准确性和及时性，为自动驾驶或辅助驾驶中的后续功能策略提供的可靠的数据依据。

在一种具体实施方式中，本发明所提供的障碍物目标分类方法基于RGB-D融合信息，如图1所示，所述方法包括以下步骤：

S1：采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；也就是说，利用双目相机的左目相机和右目相机分别得到双目的原始图像，并以原始图像为基础，基于双目立体匹配获得视差图。

S2：采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像，其中，基准相机可以为双目相机的左目相机，也可以为双目相机的右目相机，该实施例以左目相机作为基准相机为例。

S3：基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图。具体地，在通过视差聚类获取障碍物目标时，首先筛选所述视差图中的有效视差点，而后计算各所述有效视差点的视差值，最后根据所述视差值的聚集程度，获得障碍物目标框。

S4：根据所述目标视差图计算所述障碍物目标的深度信息；

S5：基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。

为了提高分类结果的准确性，步骤S5中，所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，如图2所示，具体包括以下步骤：

S501：获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；

S502：根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；

S503：将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。其中，所述备选类别的获取，具体包括：基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。

上述分类模型包括输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；特征提取主干网络，所述特征提取主干网络用于进行特征提取；分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。其中，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。

进一步地，为了提高图像效果，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。

在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

除了上述方法，本发明还提供一种基于RGB-D融合信息的障碍物目标分类系统，用于实施如上所述的方法，在一种具体实施方式中，如图3所示，所述系统包括：

视差图获取单元100，用于采集目标范围内的双目相机的原始图像，并得到原始图像的视差图。在实际使用场景中，利用双目相机的左目相机和右目相机分别得到双目的原始图像，并以原始图像为基础，基于双目立体匹配获得视差图。

RGB图像获取单元200，用于采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像。其中，基准相机可以为双目相机的左目相机，也可以为双目相机的右目相机，该实施例以左目相机作为基准相机为例。

障碍物确认单元300，用于基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图。具体地，在通过视差聚类获取障碍物目标时，首先筛选所述视差图中的有效视差点，而后计算各所述有效视差点的视差值，最后根据所述视差值的聚集程度，获得障碍物目标框。

深度信息获取单元400，用于根据所述目标视差图计算所述障碍物目标的深度信息；

分类结果获取单元500，用于基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。

其中，分类结果获取单元500具体用于：

获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；

根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；

将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。其中，所述备选类别的获取，具体包括：基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。

上述分类模型包括输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；特征提取主干网络，所述特征提取主干网络用于进行特征提取；分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。其中，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。

进一步地，为了提高图像效果，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。

在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。