掌桥专利:专业的专利平台
掌桥专利
首页

一种避障提示方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:14:36


一种避障提示方法、装置、电子设备及存储介质

技术领域

本公开涉及检测技术领域,具体而言,涉及一种避障提示方法、装置、电子设备及存储介质。

背景技术

视障人士损失了正常的视觉,对颜色、形状、距离、运动的理解都很有困难,使得他们的生活在起居、出行等方便都受到了巨大的影响,尤其是在陌生的室外出行环境中。

视障人士的传统出行方式主要依赖盲人手杖、导盲犬引导等方式,但是这两种方式的局限性较大,引导效果不佳,使用过程安全度较低。

因此,亟需提供一种有效导盲方式来辅助视障人士的出行,提高用户出行安全。

发明内容

本公开实施例至少提供一种避障提示方案。

第一方面,本公开实施例提供了一种避障提示方法,包括:

获取用户所在位置的场景图像;

确定所述场景图像中包含的目标对象在所述场景图像中的位置信息;

基于所述目标对象对应的位置信息,确定所述用户与所述目标对象发送碰撞的危险程度;

选择对应的危险程度满足预设条件的目标对象,并根据选择的目标对象的危险程度对所述用户进行避障提示。

本公开实施例中,能够获取用户所在位置的场景图像,然后确定该场景图像中包含的目标对象,比如车辆、行人、树木、栏杆等在场景图像中的位置信息,进一步可以根据该目标对象对应的位置信息,确定出目标对象与用户发生碰撞的危险程度,并选择出的危险程度满足预设条件的目标对象后,按照选择出的目标对象的危险程度对用户进行避障提示,这样可以在提高用户出行安全的基础上,提高避障提示效率。

在一种可能的实施方式中,所述基于所述目标对象对应的位置信息,确定所述用户与所述目标对象发生碰撞的危险程度,包括:

基于所述目标对象对应的位置信息、以及所述场景图像中的目标检测区域,提取所述目标对象在所述目标检测区域内的尺寸;

基于所述目标对象对应的位置信息,确定所述目标对象的第一目标位置点与所述场景图像的第二目标位置点在所述场景图像中的距离;

基于所述尺寸和所述距离,确定所述目标对象对应的危险程度。

本公开实施例中,在采集到场景图像后,可以通过场景图像中包含的目标对象在场景图像中的位置信息,快速确定出目标对象作为障碍物时的体积、和/或,目标对象与用户之间的距离,从而基于此快速确定出目标对象与用户发生碰撞的危险程度。

在一种可能的实施方式中,所述基于所述目标对象对应的位置信息、以及所述场景图像中的目标检测区域,提取所述目标对象在所述目标检测区域内的尺寸,包括:

基于所述目标对象对应的位置信息,确定所述目标对象沿第一方向的第一长度,以及所述目标对象沿第二方向的第二长度;

按照所述第一长度在所述目标检测区域中提取所述目标对象的宽度;

按照所述第二长度在所述目标检测区域中提取所述目标对象的高度。

本公开实施例中,示例性地,场景图像中的目标检测区域可以表示用户的视野范围,通过确定目标对象在目标检测区域内的宽度和高度,可以为确定目标对象与用户发生碰撞的危险程度提供依据,比如目标对象位于用户的视野范围内体积较大,可以反应与目标对象之间的距离较近,进而说明与目标对象发生碰撞的危险程度较高。

在一种可能的实施方式中,所述基于所述尺寸和所述距离,确定所述目标对象对应的危险程度,包括:

按照预先设定的所述宽度、所述高度和所述距离分别对应的危险系数,对所述宽度、所述高度和所述距离进行加权求和,得到所述目标对象对应的危险程度。

本公开实施例中,可以基于目标对象在场景图像中的位置信息,确定出用于表示该目标对象与用户发生碰撞的危险程度的各个指标,这样可以基于预先设定的各个指标的危险系数快速确定出目标对象与用户发生碰撞的危险程度,便于后期基于该危险程度对选择待进行避障提示的目标对象,从而提高避障提示效率。

在一种可能的实施方式中,所述避障提示方法还包括:

基于所述场景图像,确定所述目标对象的属性类别,所述属性类别包含静态属性类别或者动态属性类别;

所述基于所述目标对象对应的位置信息,确定所述用户与所述目标对象发生碰撞的危险程度,包括:

基于所述目标对象对应的位置信息和所述目标对象对应的属性类别,确定所述目标对象对应的危险程度。

本公开实施例中,考虑到动态属性类别的目标对象和静态属性类别的目标对象在与用户发生碰撞时对用户的危险程度不同,因此可以将目标对象对应的位置信息和目标对象的属性类别进行结合,共同确定目标对象对应的危险程度,以挺高危险程度确定的准确度。

在一种可能的实施方式中,所述基于所述目标对象对应的位置信息和所述目标对象对应的属性类别,确定所述目标对象对应的危险程度,包括:

基于所述目标对象对应的属性类别,获取与所述属性类别对应的危险系数,所述动态属性类别对应的危险系数不小于所述静态属性类别对应的危险系数;

基于所述目标对象对应的位置信息,确定所述用户与所述目标对象发送碰撞的初始危险程度;

将所述初始危险程度,和所述目标对象的属性类别对应的危险系数的乘积,作为所述目标对象对应的危险程度。

本公开实施例中,在确定目标对象针对用户的危险程度时,可以通过目标对象在场景图像中的位置信息以及该目标对象对应的属性类别,共同确定目标对象针对用户的危险程度,这样通过结合目标对象与用户的远近、尺寸以及目标对象是否为动态属性类别的目标对象,可以更加准确衡量目标对象针对用户的危险程度。

在一种可能的实施方式中,在根据选择的目标对象的危险程度对所述用户之前,所述避障提示方法还包括:

获取所述用户的运动方向、以及所述场景图像的拍摄方向;

确定所述运动方向和所述拍摄方向之间的角度小于预设角度。

本公开实施例中,通过用户的运动方向、以及场景图像的拍摄方向之间的夹角,来选择有效的场景图像,从而后续可以基于该有效的场景图像确定出用户在前进过程中遇到的障碍物,并进行有效的避障提示。

在一种可能的实施方式中,所述根据选择的目标对象的危险程度对所述用户进行避障提示,包括:

在选择的目标对象包含多个的情况下,基于所述危险程度,确定选择的目标对象的提示顺序;

按照所述提示顺序,对所述用户进行避障提示。

本公开实施例中,在存在多个目标对象的情况下,可以根据每个目标对象对应的危险程度,确定选择的目标对象的提示顺序,从而便于按照危险程度进行有序提示,以提高用户出行安全。

在一种可能的实施方式中,在根据选择的目标对象的危险程度对所述用户进行避障提示之前,所述避障提示方法还包括:

基于所述场景图像,确定选择的目标对象与所述用户之间的距离小于预设距离阈值。

本公开实施例中,在确定用户与目标对象之间的距离小于预设距离阈值的情况下再进行避障提示,以降低无效提示的情况,从而可以提高避障提示的准确度。

第二方面,本公开实施例提供了一种避障提示装置,包括:

图像获取模块,用于获取用户所在位置的场景图像;

第一确定模块,用于确定所述场景图像中包含的目标对象在所述场景图像中的位置信息;

第二确定模块,用于基于所述目标对象对应的位置信息,确定所述用户与所述目标对象发生碰撞的危险程度;

避障提示模块,用于选择对应的危险程度满足预设条件的目标对象,并根据选择的目标对象的危险程度对所述用户进行避障提示。

第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的避障提示方法的步骤。

第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的避障提示方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种避障提示方法的流程图;

图2示出了本公开实施例所提供的一种确定目标对象对应的危险程度的方法流程图;

图3示出了本公开实施例所提供的一种确定场景图像中的目标对象的位置信息和目标检测区域之间的位置关系示意图;

图4示出了本公开实施例所提供的另一种确定目标对象的危险程度的方法流程图;

图5示出了本公开实施例所提供的一种针对选择的目标对象进行避障提示的方法流程图;

图6示出了本公开实施例所提供的一种避障提示装置的结构示意图;

图7示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

针对出行领域,路况信息的准确提示在交通安全领域具有重大意义,传统的视障人士的出行主要依赖盲人手杖、导盲犬引导等方式,通过盲人手杖辅助出行的方式探测范围有限,通过导盲犬引导来辅助出行的方式的使用场景受限,因此,亟需提供一种有效导盲方式来辅助视障人士的出行。

本公开提供了一种避障提示方法,能够获取用户所在位置的场景图像,然后确定该场景图像中包含的目标对象,比如车辆、行人、树木、栏杆等在场景图像中的位置信息,进一步可以根据该目标对象对应的位置信息,确定出目标对象与用户发生碰撞的危险程度,并选择出的危险程度满足预设条件的目标对象后,按照选择出的目标对象的危险程度对用户进行避障提示,这样可以在提高用户出行安全的基础上,提高避障提示效率。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种避障提示方法进行详细介绍,本公开实施例所提供的避障提示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该避障提示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例提供的避障提示方法的流程图,该避障提示方法包括步骤S101~S103,其中:

S101,获取用户所在位置的场景图像;

其中,本公开实施例提供的避障提示方法的执行主体可以为避障设备,也可以为能够与避障设备之间进行通信的服务器,通常情况下,服务器可以与避障设备保持通信连接或是在需要进行数据传输的情况下建立通信连接,在此不进行限定。

示例性地,在本公开实施例提供的避障提示方法应用于导盲领域时,避障设备可以包括避障眼镜和移动设备,或是避障眼镜和服务器/云端设备。当然,也可以单独指代避障眼镜等可穿戴设备。

示例性地,避障设备可以内置摄像头,也可以外接摄像头,这样可以通过摄像头采集的场景图像,该摄像头可以为RGB摄像头,对应采集的场景图像为RGB图像。

S102,确定场景图像中包含的目标对象在场景图像中的位置信息。

示例性地,针对不同的应用场景,目标对象可以包括预先设置的与应用场景匹配的可以作为障碍物的物体或者行人,比如以道路场景为例,目标对象可以包括用户前进过程中可能导致发生碰撞的障碍物,比如车辆、行人、台阶、路障、电线杆、树木等。

示例性地,在采集到场景图像中,可以按照预先训练的目标检测神经网络对该场景图像包含的目标对象进行目标检测,确定该场景图像中包含的目标对象,并确定出目标对象在场景图像中的位置信息。

具体地,该位置信息可以表示目标对象在场景图像中对应的矩形检测框在场景图像对应的图像坐标系下的位置区域。

S103,基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度。

示例性地,当用户佩戴避障设备,由避障设备来拍摄场景图像的情况下,目标对象在场景图像中的位置信息在一定程度上可以反应出目标对象与用户发生碰撞的可能性,比如,在避障设备拍摄的场景图像为用户前进方向的场景图像的情况下,用户前进过程遇到的目标对象会展示在场景图像的中心区域,这样,可以通过对目标对象在场景图像中的位置信息,来确定目标对象对应的危险程度,比如该位置信息指示目标对象越靠近中心区域、尺寸越大,在用户继续前进过程中,与用户发生碰撞造成的危险越严重,因此针对用户的危险程度越高。

S104,选择对应的危险程度满足预设条件的目标对象,并根据选择的目标对象的危险程度对用户进行避障提示。

示例性地,在检测到包含多个目标对象的情况下,在得到每个目标对象对应的危险程度后,可以按照每个目标对象的危险程度,对用户进行选择性提示,比如选择危险程度较高的目标对象对用户进行避障提示,以在保障用户出行安全的同时,提高避障提示的效率。

具体地,在根据选择的目标对象的危险程度对所述用户进行避障提示时,可以包括:

以语音形式、振动形式中的至少一种进行避障提示。

比如通过语音对用户提示“前方存在障碍物,请注意减速避让”,或者通过振动来对用户提示前方存在障碍物。

本公开实施例中,能够获取用户所在位置的场景图像,然后确定该场景图像中包含的目标对象,比如车辆、行人、树木、栏杆等在场景图像中的位置信息,进一步可以根据该目标对象对应的位置信息,确定出目标对象与用户发生碰撞的危险程度,并选择出的危险程度满足预设条件的目标对象后,按照选择出的目标对象的危险程度对用户进行避障提示,这样可以在提高用户出行安全的基础上,提高避障提示效率。

下面将结合具体实施例对上述S101~S104进行具体阐述。

在确定场景图像中包含的目标对象在场景图像中的位置信息时,包括:

基于预先训练的目标检测神经网络,对场景图像进行目标检测,得到目标对象在场景图像中的位置信息。

示例性地,可以预先基于大量样本图像训练能够检测设定的目标对象的目标检测神经网络,比如可以训练能够检测出机动车辆、自行车、行人、交通指示类路障、树木、电线杆、台阶等障碍物的目标检测神经网络。

这样,在得到场景图像中,可以基于该目标检测神经网络检测出场景图像中包含的目标对象,以及目标对象在场景图像中的位置信息,具体可以输出该目标对象的外接矩形框在场景图像中的位置区域来表示目标对象在场景图像中的位置信息。

针对上述S103,在基于目标对象对应的位置信息,确定用户与目标对象发送碰撞的危险程度时,如图2所示,可以包括以下S201~S203:

S201,基于目标对象对应的位置信息、以及场景图像中的目标检测区域,提取目标对象在目标检测区域内的尺寸。

示例性地,目标检测区域可以为根据避障设备的拍摄视野范围在图像中对应的区域预先设定好的,如图3所示,可以将场景图像中位于直线L1和L2之间的区域作为目标检测区域,目标对象在该场景图像中对应的位置信息可以通过该目标对象对应的矩形框在场景图像中的位置区域表示。

这里可以基于目标对象对应的位置信息,提取目标对象在目标检测区域内的尺寸,该尺寸越大,目标对象作为障碍物的体积也越大、和/或,该尺寸越大,目标对象与用户之间的距离也越近,这样后续可以进一步基于该尺寸确定目标对象对应的危险程度。

S202,基于目标对象对应的位置信息,确定目标对象的第一目标位置点与场景图像的第二目标位置点在场景图像中的距离。

示例性地,目标对象的第一目标位置点可以为目标对象对应的矩形框中底边的中心位置点,场景图像的第二目标位置点可以为场景图像底边的中心位置点,在用户佩戴避障设备时,避障设备采集的场景图像底边的中心位置点可以近似表示用户的脚部位置,因此,可以通过第一目标位置点和第二目标位置点在场景图像中的距离来表示目标对象与用户之间距离远近,如图3所示,第一目标位置点为M,第二目标位置点为N,可以通过第一目标位置点M和第二目标位置点N在场景图像中的距离D

S203,基于尺寸和距离,确定目标对象对应的危险程度。

目标对象在场景图像中对应的尺寸和距离,可以用于表示目标对象与用户之间的距离远近,进而可以确定目标对象针对用户的危险程度。

本公开实施例中,在采集到场景图像后,可以通过场景图像中包含的目标对象在场景图像中的位置信息,快速确定出目标对象作为障碍物时的体积、和/或,目标对象与用户之间的距离,从而基于此快速确定出目标对象与用户发生碰撞的危险程度。

具体地,针对上述S201,在基于目标对象对应的位置信息、以及场景图像中的目标检测区域,提取目标对象在目标检测区域内的尺寸时,可以包括以下S2011~S2013:

S2011,基于目标对象对应的位置信息,确定目标对象沿第一方向的第一长度,以及目标对象沿第二方向的第二长度;

S2022,按照第一长度在目标检测区域中提取目标对象的宽度;

S2023,基于第二长度在目标检测区域中提取目标对象的高度。

这里将结合图3来说明如何提取目标对象(对应矩形框ABCD)在目标检测区域(对应矩形框EFGH)内的尺寸,具体地,在场景图像中,目标对象在目标检测区域内的尺寸可以包括目标对象在该目标检测区域内的宽度,和目标对象在该目标检测区域内的高度。

如图3所示,可以针对场景图像建立图像坐标系,以第一方向为图像坐标系的X轴正向指向的方向,以第二方向为图像坐标系的Y轴正向指向的方向,基于此,可以确定目标对象在图像坐标系中沿X轴方向的第一长度(A点到B点的长度),以及确定目标对象在图像坐标系中沿Y轴方向的第二长度(B点到C点的长度)。

进一步地,针对需要关注的目标检测区域,可以根据第一长度和该目标检测区域在X轴方向上的位置区间(E点和F点之间的区间),提取目标对象在该目标检测区域内的宽度,该宽度信息指示如图3中D

本公开实施例中,示例性地,场景图像中的目标检测区域可以表示用户的视野范围,通过确定目标对象在目标检测区域内的宽度和高度,可以为确定目标对象与用户发生碰撞的危险程度提供依据,比如目标对象位于用户的视野范围内体积较大,可以反应与目标对象之间的距离较近,进而说明与目标对象发生碰撞的危险程度较高。

具体地,在基于尺寸和距离,确定目标对象对应的危险程度时,可以包括:

按照预先设定的宽度、高度和距离分别对应的危险系数,对宽度、高度和距离进行加权求和,得到目标对象对应的危险程度。

考虑到宽度越大,对目标对象的危险程度越大,高度越大,对目标对象的危险程度越大,距离越小,对目标对象的危险程度越大,可以对宽度和高度分别对应的危险系数分配正系数,对距离对应的危险系数分配负系数,然后结合宽度、高度和距离分别对应的危险系数,对宽度、高度和距离进行加权求和,具体地,可以通过以下公式(1)来确定目标对象对应的危险程度:

R=a

其中,R为基于宽度、高度和距离得到的危险值,可以通过该危险值来表示目标对象对应的危险程度;D

本公开实施例中,可以基于目标对象在场景图像中的位置信息,确定出用于表示该目标对象与用户发生碰撞的危险程度的各个指标,这样可以基于预先设定的各个指标的危险系数快速确定出目标对象与用户发生碰撞的危险程度,便于后期基于该危险程度对选择待进行避障提示的目标对象,从而提高避障提示效率。

在确定目标对象针对用户的危险程度时,还可以结合目标对象的属性类别一起确定,具体地,本公开实施例提供的避障提示方法还包括:

基于场景图像,确定目标对象的属性类别,属性类别包含静态属性类别或者动态属性类别。

示例性地,按照是否可以移动,可以将目标对象的属性类别分为静态属性类别和动态属性类别,其中,静态属性类别的目标对象可以包括树木、栏杆、指示牌等静止不动的障碍物,动态属性类别的目标对象可以包括行人、车辆等移动的障碍物,静态属性类别的目标对象和动态属性类别的目标对象在和用户碰撞后,针对用户的危险程度并不相同,因此,在考虑目标对象对应的危险程度时,还可以考虑目标对象对应的属性类别。

针对上述S103,在基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度时,可以包括:

基于目标对象对应的位置信息和目标对象对应的属性类别,确定目标对象对应的危险程度。

本公开实施例中,考虑到动态属性类别的目标对象和静态属性类别的目标对象在与用户发生碰撞时对用户的危险程度不同,因此可以将目标对象对应的位置信息和目标对象的属性类别进行结合,共同确定目标对象对应的危险程度,以挺高危险程度确定的准确度。

具体地,在基于目标对象对应的位置信息和目标对象对应的属性类别,确定目标对象对应的危险程度时,如图4所示,可以包括以下S301~S303:

S301,基于目标对象对应的属性类别,获取与属性类别对应的危险系数,动态属性类别对应的危险系数不小于静态属性类别对应的危险系数。

示例性地,比如动态属性类别对应的危险系数为大于1的值,静态属性类别对应的危险系数为1。

S302,基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的初始危险程度。

这里基于目标对象对应的位置信息,确定目标对象对应的初始危险程度,与上文S201~S203的过程相似,即确定出目标对象对应的高度、宽度和距离,然后基于高度、宽度和距离确定出目标对象的初始危险程度,具体过程详见上文,在此不再赘述。

S303,将初始危险程度,和目标对象的属性类别对应的危险系数的乘积,作为目标对象对应的危险程度。

在基于初始危险程度和目标对象的属性类别对应的危险系数确定目标对象的危险程度时,可以按照以下公式(2)来确定目标对象的危险程度:

R=αR

其中,R

本公开实施例中,在确定目标对象针对用户的危险程度时,可以通过目标对象在场景图像中的位置信息以及该目标对象对应的属性类别,共同确定目标对象针对用户的危险程度,这样通过结合目标对象与用户的远近、尺寸以及目标对象是否为动态属性类别的目标对象,可以更加准确衡量目标对象针对用户的危险程度。

考虑到用户在出行场景下,更容易与前方的障碍物发生碰撞,比如针对视障人士,用户在前进过程中,更加需要对前进方向上的目标对象进行危险程度判断,这样,为了提高避障提示效率,在根据选择的目标对象的危险程度对所述用户之前,本公开实施例提供的避障提示方法还包括:

S1031,获取用户的运动方向、以及场景图像的拍摄方向;

S1032,确定运动方向和拍摄方向之间的角度小于预设角度。

示例性地,用户的运动方向可以通过用户携带的避障设备的运动方向来表示,用户正常行驶过程中,避障设备拍摄场景图像时的拍摄方向与前进方向一致,在一种特殊情况下,以避障设备为避障眼镜为例,用户佩戴避障设备向一个方向移动的过程中,头部向另一个方向旋转,此时拍摄的场景图像对应的拍摄方向与避障设备的运动方向不一致,这种情况下,考虑到用户并不向拍摄方向前进,该拍摄方向上的目标对象对用户的危险程度不高,因此可以对这类场景图像进行过滤,只保留拍摄方向与运动方向之间的角度小于预设角度的场景图像,并基于这些场景图像中包含的目标对象进行危险确定。

具体地,避障设备的运动方向可以通过避障设备内置的定位部件来确定,或者通过与避障设备连接的终端设备的定位部件来确定,比如通过与避障设备连接的手机的定位部件来确定;场景图像的拍摄方向可以通过避障设备内置的惯性测量单元来确定,在得到避障设备的运动方向和场景图像的拍摄方向后,通过确定该运动方向和拍摄方向之间的夹角是否小于预设角度,在确定小于预设角度的情况下,再基于该场景图像来确定该场景图像中包含的目标对象针对用户的危险程度。

本公开实施例中,通过用户的运动方向、以及场景图像的拍摄方向之间的夹角,来选择有效的场景图像,从而后续可以基于该有效的场景图像确定出用户在前进过程中遇到的障碍物,并进行有效的避障提示。

在另一种实施方式中,针对上述S104,在根据选择的目标对象的危险程度对用户进行避障提示时,如图5所示,可以包括以下S401~S402:

S401,在选择的目标对象包含多个的情况下,基于危险程度,确定选择的目标对象的提示顺序;

S402,按照提示顺序,对用户进行避障提示。

示例性地,比如选择危险程度高于预设危险程度的目标对象进行避障提示的情况下,在选择的目标对象包含多个时,可以根据选择的目标对象分别对应的危险程度,按照由高至低的顺序对目标对象进行排序,然后按照目标对象的提示顺序依次对用户进行避障提示。

本公开实施例中,在存在多个目标对象的情况下,可以根据每个目标对象对应的危险程度,确定选择的目标对象的提示顺序,从而便于按照危险程度进行有序提示,以提高用户出行安全。

在一种实施方式中,在根据选择的目标对象的危险程度对用户进行避障提示之前,本公开实施例提供的避障提示方法还包括:

基于场景图像,确定选择的目标对象与用户之间的距离小于预设距离阈值。

具体地,可以基于单张场景图像,来预估选择的目标对象与用户之间在世界坐标系下的距离,比如根据选择的目标对象在场景图像中的尺寸与距离的映射关系、以及选择的目标对象在场景图像中的尺寸,预估出选择的目标对象与用户之间的距离;或者根据连续两张场景图像,确定选择的目标对象与用户之间的距离,在此不进行限定。

示例性地,考虑到用户行驶过程中,在与选择的目标对象相距较远的位置提前更改路线,或者停止不再前进,此时选择的目标对象对用户不再具有危险,可以无需再进行避障提示,针对此,本公开实施例提出了在选择的目标对象与用户之间的距离小于预设距离阈值的情况下,再进行避障提示,其中,可以将用户在遇到紧急情况下能够紧急调整行走状态所需的距离作为这里的预设距离阈值,预设距离阈值的设定可以根据大数据预先统计得到。

本公开实施例中,在确定用户与目标对象之间的距离小于预设距离阈值的情况下再进行避障提示,以降低无效提示的情况,从而可以提高避障提示的准确度。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思,本公开实施例中还提供了与避障提示方法对应的避障提示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述避障提示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图6所示,为本公开实施例提供的一种避障提示装置500的示意图,该避障提示装置500包括:

图像获取模块501,用于获取用户所在位置的场景图像;

第一确定模块502,用于确定场景图像中包含的目标对象在场景图像中的位置信息;

第二确定模块503,用于基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度;

避障提示模块504,用于选择对应的危险程度满足预设条件的目标对象,并根据选择的目标对象的危险程度对用户进行避障提示。

在一种可能的实施方式中,第二确定模块503在用于基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度时,包括:

基于目标对象对应的位置信息、以及场景图像中的目标检测区域,提取目标对象在目标检测区域内的尺寸;

基于目标对象对应的位置信息,确定目标对象的第一目标位置点与场景图像的第二目标位置点在场景图像中的距离;

基于尺寸和距离,确定目标对象对应的危险程度。

在一种可能的实施方式中,第二确定模块503在用于基于目标对象对应的位置信息、以及场景图像中的目标检测区域,提取目标对象在目标检测区域内的尺寸时,包括:

基于目标对象对应的位置信息,确定目标对象沿第一方向的第一长度,以及目标对象沿第二方向的第二长度;

按照第一长度在目标检测区域中提取目标对象的宽度;

按照第二长度在目标检测区域中提取目标对象的高度。

在一种可能的实施方式中,第二确定模块503在用于基于尺寸和距离,确定目标对象对应的危险程度时,包括:

按照预先设定的宽度、高度和距离分别对应的危险系数,对宽度、高度和距离进行加权求和,得到目标对象的危险程度。

在一种可能的实施方式中,第一确定模块502还用于:

基于场景图像,确定目标对象的属性类别,属性类别包含静态属性类别或者动态属性类别;

第二确定模块503在用于基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度时,包括:

基于目标对象对应的位置信息和目标对象对应的属性类别,确定目标对象对应的危险程度。

在一种可能的实施方式中,第二确定模块503在用于基于目标对象对应的位置信息和目标对象对应的属性类别,确定目标对象对应的危险程度时,包括:

基于目标对象对应的属性类别,获取与属性类别对应的危险系数,动态属性类别对应的危险系数不小于静态属性类别对应的危险系数;

基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的初始危险程度;

将初始危险程度,和目标对象的属性类别对应的危险系数的乘积,作为目标对象对应的危险程度。

在一种可能的实施方式中,在根据选择的目标对象的危险程度对用户之前,避障提示模块504还用于:

获取用户的运动方向、以及场景图像的拍摄方向;

确定运动方向和拍摄方向之间的角度小于预设角度。

在一种可能的实施方式中,避障提示模块504在用于根据选择的目标对象的危险程度对用户进行避障提示时,包括:

在选择的目标对象包含多个的情况下,基于危险程度,确定选择的目标对象的提示顺序;

按照提示顺序,对用户进行避障提示。

在一种可能的实施方式中,在根据选择的目标对象的危险程度对用户进行避障提示之前,避障提示模块504还用于:

基于场景图像,确定选择的目标对象与用户之间的距离小于预设距离阈值。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

对应于图1中的避障提示方法,本公开实施例还提供了一种电子设备600,如图7所示,为本公开实施例提供的电子设备600结构示意图,包括:

处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当电子设备600运行时,处理器61与存储器62之间通过总线63通信,使得处理器61执行以下指令:获取用户所在位置的场景图像;确定场景图像中包含的目标对象在场景图像中的位置信息;基于目标对象对应的位置信息,确定用户与目标对象发生碰撞的危险程度;选择对应的危险程度满足预设条件的目标对象,并根据选择的目标对象的危险程度对用户进行避障提示。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的避障提示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的避障提示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的避障提示方法的步骤,具体可参见上述方法实施例,在此不再赘述。

本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 一种避障提示方法、装置、电子设备及存储介质
  • 无人机避障提示方法及装置、存储介质、终端
技术分类

06120112858685