障碍物检测方法、自移动设备及计算机可读存储介质

技术领域

本申请涉及机器学习技术领域，具体涉及一种障碍物检测方法、自移动设备及计算机可读存储介质。

背景技术

对于自移动设备，如割草机而言，其在移动过程中需要检测出障碍物。目前，主要是通过yolov系列网络识别障碍物。该方式只能检测出事先标记的已知类别的障碍物，无法检测出此前未标记过的未知类别的障碍物，其对障碍物的检测结果较为片面、准确性差。

发明内容

本申请提出了一种障碍物检测方法、装置、自移动设备及计算机可读存储介质，能够检测已知类别和未知类别的障碍物，以提高障碍物检测结果的全面性、准确性。

根据本申请实施例的一个方面，提供一种障碍物检测方法，所述方法包括：

获取自移动设备采集的图像，并搜索所述图像中的第一候选物体框；

提取所述图像中的目标特征图，并根据所述目标特征图识别第二候选物体框；

对所述第一候选物体框以及所述第二候选物体框进行筛选，得到目标物体框；

识别所述目标物体框对应的类别标签，并根据所述目标物体框以及所述目标物体框对应的类别标签，确定障碍物信息。

本申请实施例通过获取自移动设备采集的图像，并搜索图像中的第一候选物体框，从而可搜索得到了图像中各种潜在物体的物体框，第一候选物体框必然包含了未知物体框和已知物体框；进一步通过提取图像中的目标特征图，并根据目标特征图识别第二候选物体框，从而实际上利用了特征图具有更丰富的细节的特点，来针对性识别出了第二候选物体框，其倾向于识别出已知类别的物体框；在此基础上，通过对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框，其中目标物体框包含未知物体框和已知物体框，最后通过识别目标物体框对应的类别标签，并根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息，既可以检测未知类别的障碍物的信息，也可以检测已知类别的障碍物信息。从而相较于相关技术中yolov系列网络仅能识别已知类别的障碍物的特点，本申请能够更容易地检测出未知类别的障碍物，同时也能够对已知类别的障碍物进行检测，提高了障碍物检测的全面性和准确性。

在本申请的一个实施例中，所述识别所述目标物体框对应的类别标签，根据所述目标物体框以及所述目标物体框对应的类别标签，确定障碍物信息，包括：

对各所述目标物体框进行池化处理，得到各所述目标物体框对应的标准物体框；

对各所述目标物体框对应的标准物体框进行特征映射，得到各所述目标物体框对应的目标特征；

在特征空间对各所述目标物体框对应的目标特征进行类别分割，得到各所述目标物体框对应的类别标签；所述类别标签包括已知类别的标签和未知类别的标签；

根据所述目标物体框以及所述目标物体框对应的类别标签，确定障碍物信息。

本申请实施例考虑到目标物体框包含未知物体框和已知物体框，从而想要对目标物体框进行类别区分，需要对各目标物体框进行池化处理，得到各目标物体框对应的标准物体框，可提高后续类别区分的准确度。再对各目标物体框对应的标准物体框进行特征映射，得到各目标物体框对应的目标特征，从而可在特征空间对各目标物体框对应的目标特征进行类别分割，最终得到各目标物体框对应的类别标签。其中，由于目标物体框包含未知物体框和已知物体框，识别目标物体框对应的类别标签必然包括已知类别的标签和未知类别的标签。从而可根据类别标签对目标物体框进行类别区分。再根据目标物体框以及目标物体框对应的类别标签，可确定障碍物信息。以此，既可以检测未知类别的障碍物的信息，也可以检测已知类别的障碍物信息。

在本申请的一个实施例中，所述在特征空间对各所述目标物体框对应的目标特征进行类别分割，得到各所述目标物体框对应的类别标签，包括：

根据预设的能量函数以及所述目标物体框对应的目标特征进行计算，确定所述目标物体框对应的已知类别能量值以及未知类别能量值；

根据所述已知类别能量值以及所述未知类别能量值，确定所述目标物体框对应的类别标签。

本申请实施例通过预设的能量函数以及目标物体框对应的目标特征进行计算，能够确定目标物体框对应的已知类别能量值以及未知类别能量值，再根据已知类别能量值以及未知类别能量值，确定目标物体框对应的类别标签。通过能量值的形式对目标物体框对应的已知类别倾向和未知类别倾向进行准确量化，从而能够直观地根据能量值的大小比较，快速确定出目标物体框对应的类别标签。

在本申请的一个实施例中，所述对各所述目标物体框对应的标准物体框进行特征映射，得到各所述目标物体框对应的目标特征，包括：

使用第一全连接层对各所述目标物体框对应的标准物体框进行特征映射，得到各所述目标物体框对应的中间特征；

使用第二全连接层对各所述目标物体框对应的中间特征进行特征映射，得到各所述目标物体框对应的目标特征。

本申请实施例通过第一全连接层对目标物体框对应的标准物体框进行特征映射，得到中间特征，再利用第二全连接层对中间特征进行特征映射，可得到目标物体框对应的目标特征，使得得到的目标特征中包含了隐藏的特征信息，从而可根据得到的目标特征更为准确地确定出目标物体框对应的类别标签。

在本申请的一个实施例中，所述提取所述图像中的目标特征图的步骤，包括：

按照依次增大的步长依次对所述图像进行特征提取，依次得到第一特征图、第二特征图以及第三特征图；

对所述第一特征图进行最大池化处理，得到池化特征图，所述池化特征图的尺寸与所述第二特征图的尺寸相同；

对所述第三特征图进行上采样处理，得到上采样特征图，所述上采样特征图的尺寸与所述第二特征图的尺寸相同；

对所述池化特征图、所述第二特征图以及上采样特征图进行特征融合，得到融合特征图；

对所述融合特征图进行卷积降维处理，得到所述目标特征图。

本申请实施例通过将不同特征图进行特征融合得到融合特征图，使得融合特征图中能够包含更多的细节信息，从而能够有效提高对较小障碍物的识别率。

在本申请的一个实施例中，所述提取所述图像中的目标特征图的步骤，包括：

对所述图像的特征进行通道分离，得到第一分支特征以及第二分支特征；

对所述第一分支特征进行恒等映射，并对所述第二分支特征进行多次卷积；

合并恒等映射后的所述第一分支特征以及多次卷积后的所述第二分支特征，得到合并特征；

对所述合并特征进行通道混洗和分组卷积，得到所述目标特征图。

本申请实施例通过对图像中的特征进行分离、映射、合并等处理，可准确从图像中提取出目标特征图。目标特征图中可包含大量的细节信息，从而可提高根据目标特征图识别出的第二候选物体框的准确度。

在本申请的一个实施例中，所述根据所述目标特征图识别第二候选物体框的步骤，包括：

对所述目标特征图进行深度逐通道卷积，得到参考特征图；

根据所述参考特征图以及基准点，生成基本候选框；

筛选所述基本候选框中的物体候选框；

对所述物体候选框进行边框回归，得到所述第二候选物体框。

本申请实施例在提取得到目标特征图之后，可进一步根据目标特征图识别得到第二候选物体框。由于提取得到的目标特征图中包含了大量的细节信息，从而能够确保识别得到准确的第二候选物体框。

在本申请的一个实施例中，所述对所述第一候选物体框以及所述第二候选物体框进行筛选，得到目标物体框，包括：

确定各所述第一候选物体框的第一置信度以及各所述第二候选物体框的第二置信度；

将所述第一置信度以及所述第二置信度中最大的N个置信度确定为目标置信度，所述N为预设正整数；

将各所述目标置信度对应的候选物体框确定为目标物体框。

本申请实施例根据各第一候选物体框的第一置信度与各第二候选物体框的第二置信度的比较结果，可准确从各第一候选物体框和各第二候选物体框中筛选出目标物体框，能够确保最终检测得到的障碍物信息的准确度。

根据本申请实施例的一方面，提供了一种障碍物检测装置，所述装置包括：

获取模块，用于获取自移动设备采集的图像，并搜索所述图像中的第一候选物体框；

提取模块，用于提取所述图像中的目标特征图，并根据所述目标特征图识别第二候选物体框；

筛选模块，用于对所述第一候选物体框以及所述第二候选物体框进行筛选，得到目标物体框；

确定模块，用于识别所述目标物体框对应的类别标签，并根据所述目标物体框以及所述目标物体框对应的类别标签，确定障碍物信息。

根据本申请实施例的一方面，提供了一种自移动设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述自移动设备实现本申请任一实施例所述的方法。

根据本申请实施例的一方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行本申请任一实施例所述的方法。

在本申请实施例提供的技术方案中，通过获取自移动设备采集的图像，并搜索图像中的第一候选物体框，从而可搜索得到了图像中各种潜在物体的物体框，第一候选物体框必然包含了未知物体框和已知物体框；进一步通过提取图像中的目标特征图，并根据目标特征图识别第二候选物体框，从而实际上利用了特征图具有更丰富的细节的特点，来针对性识别出了第二候选物体框，其倾向于识别出已知类别的物体框；在此基础上，通过对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框，其中目标物体框包含未知物体框和已知物体框，最后通过识别目标物体框对应的类别标签，并根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息，既可以检测未知类别的障碍物的信息，也可以检测已知类别的障碍物信息。从而相较于相关技术中yolov系列网络仅能识别已知类别的障碍物的特点，本申请能够更容易地检测出未知类别的障碍物，同时也能够对已知类别的障碍物进行检测，提高了障碍物检测的全面性和准确性。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参考附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。

图1是本申请实施例提供的障碍物检测方法的流程图；

图2是本申请实施例提供的提取图像中的目标特征图的步骤流程图；

图3是本申请实施例提供的提取图像中的目标特征图的流程示例图；

图4是本申请实施例提供的提取图像中的目标特征图的另一步骤流程图；

图5是本申请实施例提供的根据目标特征图识别第二候选物体框的步骤流程图；

图6是本申请实施例提供的对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框的步骤流程图；

图7是本申请实施例提供的识别目标物体框对应的类别标签，根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息的步骤流程图；

图8是本申请实施例提供的对各目标物体框对应的标准物体框进行特征映射，得到目标物体框对应的目标特征的步骤流程图；

图9是本申请实施例提供的在特征空间对各目标物体框对应的目标特征进行类别分割，得到各目标物体框对应的类别标签的步骤流程图；

图10是本申请实施例提供的障碍物检测装置的结构示意图；

图11是本申请实施例提供的自移动设备的硬件结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

对于自移动设备，如割草机、送餐机器人、智能机器猫等，其在移动过程中需要检测出障碍物。示例性地，割草机在草地上进行割草作业时，除了要割草之外，在碰到障碍物的时候还需要避障。

目前，相关技术通过目标检测网络进行障碍物识别，比如利用yolov4、yolov5系列网络或者yolov7网络。但是它们都存在一个缺陷，就是只能识别固定种类的障碍物，这些固定种类事先必须经过采集、打标注、训练，才能识别，而对于那些没有采集过的种类类别，则无法识别或者识别出来的概率较低。而实际割草场景下，如果割草机只能识别已知类别的障碍物，对于未知类别的障碍物无法识别的话，就会造成在移动过程中遇到未知类别的障碍物时无法进行有效避障。

基于此，本申请实施例提出一种障碍物检测方法，应用于自移动设备。能够检测已知类别和未知类别的障碍物，以提高障碍物检测结果的全面性、准确性。

参照图1，图1是本申请实施例提供的障碍物检测方法的流程图。参照图1，该方法包括但不限于步骤S101至步骤S104。

步骤S101，获取自移动设备采集的图像，并搜索图像中的第一候选物体框。

本申请实施例需要先获取自移动设备采集的图像，再可通过搜索得到图像中的第一候选物体框。

具体地，自移动设备在移动过程中，为躲避障碍物顺利通行，会通过摄像头实时采集移动方向上的图像。通过对图像进行物体搜索，能够得到图像中可能存在物体的所有物体框。也就是说，通过搜索得到的第一候选物体框包括至少一个物体框。

本申请实施例通过搜索得到的第一候选物体框中可包含已知物体框和未知物体框。

示例性地，以割草机为例。割草机在割草过程中，需要移动进行作业。割草机移动时，安装在割草机上的摄像头会实时采集前进方向上的图像。采集得到的图像能够显示移动方向上可能存在的所有障碍物。此时，通过对图像进行搜索，比如可对采集得到图像进行区域分割，并对分割得到的区域按照相似度进行合并和迭代，从而可得到图像中所有潜在物体对应的第一候选物体框。

本申请实施例可通过选择性搜索(selective search)算法，只选择有潜在目标的区域，抛弃掉大部分没有目标的区域。因此可极大地减少无用功，提高获取第一候选物体框的效率。比如可利用图像中的颜色、纹理、形状等特征对图像进行分割。

步骤S102，提取图像中的目标特征图，并根据目标特征图识别第二候选物体框。

本申请实施例可通过提取图像中的目标特征图，再根据目标特征图识别第二候选物体框。由于目标特征图具有更丰富的细节的特点，从而可针对性地根据目标特征图识别出第二候选物体框。通过目标特征图识别得到的第二候选物体框包括至少一个物体框。

本申请实施例通过目标特征图识别得到的第二候选物体框也可包含已知物体框和未知物体框，但其更倾向于包含已知物体框。

示例性地，将采集得到的原始图像经过卷积层进行特征提取，得到目标特征图。利用神经网络(CNN)提取出目标特征图中的目标候选区域，再对提取的目标候选区域进行精细的微调，可最终识别得到第二候选物体框。具体地，在2维(2D)检测的场景下，确定一个候选框需要4个量，确定一个候选框里有没有目标需要2个量(二分类)。有了这些信息，就能挑选出有目标的潜在区域，从而得到各个第二候选物体框。

在本申请的一个实施例中，参照图2，图2是本申请实施例提供的提取图像中的目标特征图的步骤流程图，包括但不限于步骤S201至步骤S205。

步骤S201，按照依次增大的步长依次对图像进行特征提取，依次得到第一特征图、第二特征图以及第三特征图。

步骤S202，对第一特征图进行最大池化处理，得到池化特征图，池化特征图的尺寸与第二特征图的尺寸相同；

步骤S203，对第三特征图进行上采样处理，得到上采样特征图，上采样特征图的尺寸与第二特征图的尺寸相同；

步骤S204，对池化特征图、第二特征图以及上采样特征图进行特征融合，得到融合特征图；

步骤S205，对融合特征图进行卷积降维处理，得到目标特征图。

本步骤中，先对采集得到的原始图像按照依次增大的步长进行卷积操作，能够依次得到不同步长对应的不同尺度的特征图。考虑到不同步长下的特征图可各自包含相应的细节信息和语义信息。为提高对较小目标物体的识别率，需要将各个特征图进行特征融合。由于步长不同，各特征图对应的尺寸不同。因此，在融合之前，需要将各个特征图的尺寸进行处理，以使得各个特征图的尺寸相同。

具体地，可以第二特征图的尺寸大小为标准，对第一特征图进行最大池化处理，得到池化特征图，使得池化特征图的尺寸与第二特征图的尺寸相同。同时，对第三特征图进行上采样处理，得到上采样特征图，使得上采样特征图的尺寸与第二特征图的尺寸相同。由此，就可将池化特征图、第二特征图以及上采样特征图进行特征融合，得到融合特征图。再对融合特征图进行卷积降维处理，可得到目标特征图。从而使得得到的目标特征图包含了更多的细节信息和语义信息，从而有利于对较小物体的识别。

具体地，对原始图像进行多层卷积操作之后，可得到多个不同步长下的特征图。相关技术直接选用最大步长对应的特征图作为目标特征图进行后续第二候选物体框的识别。由于最大步长对应的特征图语义信息虽然足够，但是细节信息不够。从而会造成虽然便于识别较大的物体，但却不易识别出一些较小物体。本申请实施例通过对不同步长对应的特征图进行特征融合的方式，能够使得融合后的融合特征图包含丰富的语义信息和更多的细节信息。从而不仅可识别出较大的物体，对于较小的物体也能够识别到。

示例性地，参照图3，图3是本申请实施例提供的提取图像中的目标特征图的流程示例图。参照图3，原始图像首先经过卷积处理得到1/4、1/8、1/16和1/32尺度的4种不同分辨率特征图。然后在步长分别为8、16、32的尺度上进行特征融合。具体地，以16步长特征图大小为准，对步长为8的特征图进行最大池化得到池化特征图，池化特征图的大小为16步长特征图的大小。然后对步长为32的特征图进行下采样得到下采样特征图，下采样特征图的大小为16步长特征图的大小。然后将池化特征图、16步长特征图和下采样特征图三个进行特征融合。由于融合之后的融合特征图的通道数是32步长特征图的通道数的3倍，因此，需要再经过1x1的卷积进行降维，保持融合特征图的通道维度和32步长特征图通道的维度一致，然后可得到最终的目标特征图。

本申请实施例将不同层次、不同分辨率的特征图融合，可有效整合不同尺度、不同层次的特征，对图像上下文信息的利用更充分、合理。

在本申请的一个实施例中，参照图4，图4是本申请实施例提供的提取图像中的目标特征图的另一步骤流程图，包括但不限于步骤S401至步骤S404。

步骤S401，对图像的特征进行通道分离，得到第一分支特征以及第二分支特征；

步骤S402，对第一分支特征进行恒等映射，并对第二分支特征进行多次卷积；

步骤S403，合并恒等映射后的第一分支特征以及多次卷积后的第二分支特征，得到合并特征；

步骤S404，对合并特征进行通道混洗和分组卷积，得到目标特征图。

本申请实施例为了能够快速且准确地从采集得到的图像中获取得到目标特征图，将图像特征的通道进行分离得到两个分支，其中一个分支保持恒等映射，另一个分支包括三个具有相同输入输出通道的卷积，以对通过该分支的特征进行多次卷积操作。再将两个分支进行通道级融合操作，最后再进行通道打乱操作，用来增强信息交互能力。从而通过分通道处理的形式，能够快速且准确地得到目标特征图，同时，通过在其中一个通道分支中对特征进行多次卷积操作后再与另一分支的结果进行融合，能够使得得到的目标特征图包含丰富的语义信息和更多的细节信息。从而有利于后续对较大或较小物体的识别。

在本申请的一个实施例中，参照图5，图5是本申请实施例提供的根据目标特征图识别第二候选物体框的步骤流程图。包括但不限于步骤S501至步骤S504。

步骤S501，对目标特征图进行深度逐通道卷积，得到参考特征图；

步骤S502，根据参考特征图以及基准点，生成基本候选框；

步骤S503，筛选基本候选框中的物体候选框；

步骤S504，对物体候选框进行边框回归，得到第二候选物体框。

本申请实施例在得到目标特征图之后，先对目标特征图进行深度逐通道卷积，得到参考特征图。通过采用深度逐通道卷积能够降低卷积参数量和计算量。然后对参考特征图上的每一个点，映射到原始图像对应的一个区域。比如8x8或者16x16，其可取决于神经网路提取目标特征图时下采样的倍数。再以这个区域的中心点为基准点，预先放置一些不同尺度以及不同宽高比的框作为基本候选框。再与预测值进行结合，对基本候选框进行回归偏移(位置及尺寸修正)和分类(二分类，判断是否包含目标物体)，可确定最终的候选区域，即第二候选物体框。

示例性地，在对目标特征图进行深度逐通道卷积，得到参考特征图之后，对于参考特征图上的每一个点(称之为锚点anchor point)生成具有不同尺度和宽高比的锚点框，也就是基本候选框。这个锚点框的坐标(x，y，w，h)是在原始图像上的坐标。然后将这些锚点框输入到两个网络层中去，一个用来分类，即分类这个锚点框里面的特征图是否属于前景框；另外一个输出四个位置坐标(相对于真实物体框的偏移)。

具体地，在模型学习的过程中，将锚点框与人工标注框中的标签框进行IoU(重叠度)对比，如果其IoU高于某个阈值，则该锚点框标定为前景框，否则属于背景框。对于前景框，还要计算其与真实标签框的4个位置偏移；将这个标注好的锚点框(带有前景类别和位置偏移标注)与分类输出损失和位置回归输损失进行比较，从而学习到如何提取前景框。学习到如何提取前景框后，就可根据概率计算后输出的概率值确定前景框。位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标，从而可得至少一个第二候选物体框。

本申请实施例通过对图像进行区域选取的方式，能够将第二候选物体框的提取纳入到端到端的学习中。

步骤S103，对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框。

本申请实施例在对同一图像处理后可分别得到多个第一候选物体框和多个第二候选物体框。其中，第一候选物体框中包含已知物体框和未知物体框。第二候选物体框中倾向于包含已知物体框。此时，第一候选物体框和第二候选物体框中必然存在一些不准确的物体框。且第一候选物体框和第二候选物体框中还会存在一些重复的物体框。此时，需要对各个第一候选物体框以及各个第二候选物体框进行筛选，过滤掉重复的物体框和去除不准确的物体框。

其中，无论是第一候选物体框还是第二候选物体框，在识别到相应的候选物体框时，可以一并获取到候选物体框对应的置信度。

在本申请的一个实施例中，参照图6，图6是本申请实施例提供的对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框的步骤流程图。包括但不限于步骤S601至步骤S603。

步骤S601，确定各第一候选物体框的第一置信度以及各第二候选物体框的第二置信度；

步骤S602，将第一置信度以及第二置信度中最大的N个置信度确定为目标置信度，N为预设正整数；

步骤S603，将各目标置信度对应的候选物体框确定为目标物体框。

本申请实施例通过计算各个第一候选物体框的第一置信度以及计算各个第二候选物体框的第二置信度。然后从计算得到的多个第一置信度和多个第二置信度中选取最大的N个置信度确定为目标置信度。然后将各目标置信度对应的候选物体框确定为目标物体框。通过计算置信度的方式能够准确从各个第一候选物体框和各个第二候选物体框中筛选出包含已知物体或者包含未知物体的候选框。

示例性地，通过对采集到的图像进行选择性搜索得到5个第一候选物体框。通过对采集到的图像进行特征提取和区域选取等处理后选取出6个第二候选物体框。此时，分别计算这5个第一候选物体框和这6个第二候选物体框的置信度，可相应得到11个置信度值。将这11个置信度值按照从大到小或者从小到大的顺序进行排序。再从这个11个置信度中选取较大的前3个置信度对应的候选物体框确定为目标物体框。

可以理解的是，当计算得到的置信度相同时，说明为重复的物体框。此时，可在排序过程中只保留任意一个置信度的值。从而可保证筛选出的目标物体框中不会出现重复的物体框。

本申请实施例通过置信度的方式来筛选目标物体框，使得最终筛选得到的目标物体框包含被标注了类别标签的物体对应的物体框，也包含未标注类别标签的物体对应的物体框。即包含已知物体框和未知物体框。

步骤S104，识别目标物体框对应的类别标签，并根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息。

本申请实施例中，由于目标物体框中包含已知物体框和未知物体框，从而需要从目标物体框进行类别识别，即确定哪些目标物体框是已知物体框，哪些目标物体框是未知物体框。具体可通过识别目标物体框对应的类别标签，再根据目标物体框以及目标物体框对应的类别标签来确定。从而可最终确定出障碍物信息。

示例性地，通过筛选后得到3个目标物体框，分别为1号目标物体框、2号目标物体框和3号目标物体框。此时，这3个目标物体框分别有对应的类别标签。比如1号目标物体框的类别标签为已知物体，2号目标物体框的类别标签为未知物体，3号目标物体框的类别标签为已知物体。从而根据目标物体框对应的类别标签，就能够确定1号目标物体框中对应的目标物体为已知物体，2号目标物体框中对应的目标物体为未知物体，3号目标物体框中对应的目标物体为已知物体。从而可准确检测到障碍物信息。

在本申请的一个实施例中，参照图，图7是本申请实施例提供的识别目标物体框对应的类别标签，根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息的步骤流程图。包括但不限于步骤S701至步骤S704。

步骤S701，对各目标物体框进行池化处理，得到各目标物体框对应的标准物体框。

本步骤先对获得的各个目标物体框进行池化处理，得到各目标物体框对应的标准物体框。能够在保留原始图片(目标物体框)特征不变的情况下，将目标物体框尺寸缩小，从而可减少计算量，提高运算速度。

步骤S702，对各目标物体框对应的标准物体框进行特征映射，得到各目标物体框对应的目标特征。

本步骤通过对各目标物体框对应的标准物体框进行特征映射，得到各目标物体框对应的目标特征，从而使得得到的目标特征中可包含原本隐藏的特征，使得目标特征更全面、更丰富。从而可提高后续对目标特征进行类别分割的准确性。

在本申请的一个实施例中，参照图8，图8是本申请实施例提供的对各目标物体框对应的标准物体框进行特征映射，得到各目标物体框对应的目标特征的步骤流程图。包括但不限于步骤S801至步骤S802。

步骤S801，使用第一全连接层对各目标物体框对应的标准物体框进行特征映射，得到各目标物体框对应的中间特征；

步骤S802，使用第二全连接层对各目标物体框对应的中间特征进行特征映射，得到各目标物体框对应的目标特征。

本申请实施例通过第一全连接层对目标物体框对应的标准物体框进行特征映射，得到中间特征，再利用第二全连接层对中间特征进行特征映射，可得到目标物体框对应的目标特征，使得目标特征可包含原本隐藏的特征信息，从而可根据得到的目标特征更为准确地确定出目标物体框对应的类别标签。

步骤S703，在特征空间对各目标物体框对应的目标特征进行类别分割，得到各目标物体框对应的类别标签；类别标签包括已知类别的标签和未知类别的标签。

本步骤在特征空间对各目标物体框对应的目标特征进行类别分割，从而能够得到各目标物体框对应的类别标签。

在本申请的一个实施例中，参照图9，图9是本申请实施例提供的在特征空间对各目标物体框对应的目标特征进行类别分割，得到各目标物体框对应的类别标签的步骤流程图，包括但不限于步骤S901至步骤S902。

步骤S901，根据预设的能量函数以及目标物体框对应的目标特征进行计算，确定目标物体框对应的已知类别能量值以及未知类别能量值；

步骤S902，根据已知类别能量值以及未知类别能量值，确定目标物体框对应的类别标签。

本申请实施例通过引入能量值来对同一个目标物体框的已知类别倾向和未知类别倾向进行量化。从而可通过比较能量值大小的方式来准确确定出目标物体框对应的类别标签。能量值用于表示目标特征与类别之间的匹配程度。比如，目标特征与已知类别的匹配程度大，则相应计算得到的已知类别能量值也大。如果目标特征与已知类别的匹配程度小，则相应计算得到的已知类别能量值也小。同样地，如果目标特征与未知类别的匹配程度大，则相应计算得到的未知类别能量值也大。如果目标特征与未知类别的匹配程度小，则相应计算得到的未知类别能量值也小。对于同一个目标物体框，比较其对应的已知类别能量值和未知类别能量值的大小，如果已知类别能量值更大，则确定该目标物体框对应的类别标签为已知类别标签。如果未知类别能量值更大，则确定该目标物体框对应的类别标签为未知类别标签。

本申请实施例通过能量值的形式对目标物体框对应的已知类别倾向和未知类别倾向进行准确量化，从而能够直观地根据能量值的大小比较，快速确定出标物体框对应的类别标签。

步骤S704，根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息。

本步骤在确定各个目标物体框分别对应的类别标签后，可根据确定的类别标签，确定出目标物体框中的物体为已知物体还是未知物体。从而可实现对已知物体和未知物体的识别。

本申请实施例中，由于类别标签包括已知类别标签和未知类别标签，从而使得根据类别标签，既可以检测到未知类别的障碍物的信息，也可以检测到已知类别的障碍物信息。

本申请实施例还可通过对比聚类算法来准确对类别标签进行区分。具体地，在得到目标物体框对应的目标特征后，在特征空间上进行类别分割，同类别的实例会尽量的靠近，而不相似的类别则会尽量的远离。通过最小化对比损失来保证特征空间上的类别分割，不同类别实例间的距离要大于相似阈值。其区分原理是，如果类别A和类别B为同一类别，比如都为已知类别，计算得到的距离越小，对应的对比损失越小。而如果类别A和类别B为不同类别，比如类别A为已知类别，而类别B为未知类别。此时，计算得到的距离越小，对应的对比损失越大。通过迭代训练后，不同类别之间计算的距离就会越拉越大。按照这种方式，可将未知类别标签与已知类别标签区分。

需要说明的是，本申请实施例中，未知类别标签的标注可通过将置信度高且与人工标注的框无重叠的目标物体框直接归类为未知物体的形式实现。

请参阅图10，本申请实施例还提供一种障碍物检测装置100可以实现上述障碍物检测方法，该装置包括：

获取模块1001，用于获取自移动设备采集的图像，并搜索图像中的第一候选物体框；

提取模块1002，用于提取图像中的目标特征图，并根据目标特征图识别第二候选物体框；

筛选模块1003，用于对第一候选物体框以及第二候选物体框进行筛选，得到目标物体框；

确定模块1004，用于识别目标物体框对应的类别标签，并根据目标物体框以及目标物体框对应的类别标签，确定障碍物信息。

该障碍物检测装置的具体实施方式与上述障碍物检测方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种自移动设备，自移动设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述障碍物检测方法。该自移动设备可以为包括平板电脑、车载电脑等任意智能终端的设备。

请参阅图11，图11是本申请实施例提供的自移动设备的结构示意图，自移动设备包括：

处理器1101，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器1102，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1102可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1102中，并由处理器1101来调用执行本申请实施例的障碍物检测方法；

输入/输出接口1103，用于实现信息输入及输出；

通信接口1104，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线1105，在设备的各个组件(例如处理器1101、存储器1102、输入/输出接口1103和通信接口1104)之间传输信息；

其中处理器1101、存储器1102、输入/输出接口1103和通信接口1104通过总线1105实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述障碍物检测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。