掌桥专利:专业的专利平台
掌桥专利
首页

悬浮装置控制方法、装置、设备及存储介质

文献发布时间:2023-06-19 19:28:50


悬浮装置控制方法、装置、设备及存储介质

技术领域

本发明涉及车辆控制技术领域,尤其涉及一种悬浮装置控制方法、装置、设备及存储介质。

背景技术

车辆已经成为人们出行的一种重要的交通工具之一,在日常生活行驶过程中中,可能遇到山洪、暴雨积水或者交通事故冲下河流、湖泊等情况,导致车辆被水淹没,且当车辆被水淹没时,由于外部水压较大,车门车窗往往门难以正常打开,目前采取的应对方法主要有:车窗击碎法。然而,车窗击碎法对驾乘人员的素质要求较高,使得驾乘人员存在安全隐患。

发明内容

本发明提供一种悬浮装置控制方法、装置、设备及存储介质,旨在解决当车辆被水淹没时,导致驾乘人员存在安全隐患的技术问题。

本发明提供一种悬浮装置控制方法,包括:

获取环境图像数据以及音频数据;

对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;

基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

根据本发明提供的一种悬浮装置控制方法,所述基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置,包括:

基于所述图像识别结果和所述音频识别结果,确定所述目标车辆对应的车辆环境信息;

若所述车辆环境信息是涉水环境信息,则触发打开所述悬浮装置。

根据本发明提供的一种悬浮装置控制方法,所述基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置之后,还包括:

获取所述目标车辆的预设时间内的车内图像数据;

对各所述车内图像数据进行图像识别,得到状态识别结果,其中,所述状态识别结果用于表征所述目标车辆内驾乘人员的状态;

确定所述状态识别结果属于预设识别结果,生成救援提示信息。

根据本发明提供的一种悬浮装置控制方法,所述对所述车内图像数据进行图像识别,得到状态识别结果,包括:

基于姿态检测模型,对各所述车内图像数据进行姿态检测,得到得到姿态检测结果;

对各所述车内图像数据中的眼部图像区域进行颜色识别,得到眼部识别结果;

基于所述姿态检测结果和所述眼部识别结果,确定所述状态识别结果。

根据本发明提供的一种悬浮装置控制方法,所述基于所述图像识别结果和所述音频识别结果,确定所述目标车辆对应的车辆环境信息,包括:

若所述图像识别结果是涉水识别结果,且所述音频识别结果是涉水识别结果,则判定所述车辆环境信息是涉水环境信息;

若所述图像识别结果不是涉水识别结果,或者所述音频识别结果不是涉水识别结果,则判定所述车辆环境信息是非涉水环境信息。

根据本发明提供的一种悬浮装置控制方法,所述对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果,包括:

将所述环境图像数据输入至图像识别模型,得到所述图像识别模块输出的图像识别结果;

将所述音频数据输入至音频识别模型,得到所述音频识别模型输出的音频识别结果;

所述图像识别模型是基于若干张图像样本以及各所述图像样本对应的样本标签进行训练得到;

所述音频识别模型是基于各个音频数据样本以及各所述音频数据样本对应的音频类别标签进行训练得到。

根据本发明提供的一种悬浮装置控制方法,所述获取环境图像数据以及音频数据,包括:

响应于涉水感应器的涉水信号,控制图像采集设备以及音频采集设备处于打开状态;

获取所述图像采集设备拍摄到的环境图像数据,以及所述音频采集设备采集到的音频数据。

本发明还提供一种悬浮装置控制装置,包括:

获取模块,用于获取环境图像数据以及音频数据;

识别模块,用于对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;

控制模块,用于基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述悬浮装置控制方法。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述悬浮装置控制方法。

本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述悬浮装置控制方法。

本发明提供的悬浮装置控制方法、装置、设备及存储介质,通过对目标车辆的环境图像数据以及音频数据进行识别,以结合图像识别结果以及音频识别结果准确判断目标车辆当前是否处于涉水环境,从而自动控制打开目标车辆的悬浮装置,提高驾乘人员在事故发生后的生还率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图逐一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的悬浮装置控制方法的流程示意图之一;

图2是本发明提供的悬浮装置控制方法的流程示意图之二;

图3是本发明提供的悬浮装置控制系统的时序示意图;

图4是本发明提供的悬浮装置控制装置的结构示意图;

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。

车辆已经成为人们出行的一种重要的交通工具之一,在日常生活行驶过程中中,可能遇到山洪、暴雨积水或者交通事故冲下河流、湖泊等情况,导致车辆被水淹没,且当车辆被水淹没时,由于外部水压较大,车门车窗往往门难以正常打开,目前采取的应对方法主要有:车窗击碎法。然而,车窗击碎法对车乘人员的素质要求较高,使得驾乘人员存在安全隐患。

针对上述问题,本发明提出以下各实施例。图1是本发明提供的悬浮装置控制方法的流程示意图之一。如图1所示,该悬浮装置控制方法包括:

步骤11,获取环境图像数据以及音频数据;

需要说明的是,所述环境图像数据表示目标车辆当前所处环境的图像数据,由于车辆处于涉水环境以及车辆正常行驶过程中的环境图像中的灰度值不同,因此,可收集车辆当前所处的环境图像来判断车辆是否处于涉水环境,可选地,可在目标车辆的左后视镜以及右后视镜位置处安装有图像采集设备,所述图像采集设备包括摄像头和相机等设备,此外,还可在车前和/或车后安装图像采集设备,从而全面收集各个图像采集设备拍摄到的车辆当前所处的环境图像数据。

另外地,由于在车辆行驶至较深的积水或河流时,会撞击发出较大的水声,因此也可收集音频数据来判断目标车辆是否处于涉水环境,可选地,所述音频数据是通过预先安装在目标车辆外部的音频检测设备收集得到。

具体地,在一实施例中,当检测到涉水感应器的涉水信号时,可只获取图像采集设备拍摄的图像数据或者获取音频采集设备采集到的音频数据。为了提高判定车辆所处环境的准确性,在另一个实施例中,实时监测涉水感应器发送的涉水信号,以当检测到涉水感应器的涉水信号时,控制图像采集设备以及音频采集设备处于打开状态,进而获取各个图像采集设备采集的环境图像数据以及音频检测设备收集到的音频数据,从而使得根据涉水感应器,结合图像数据和音频数据来准确判断车辆所处环境。需要说明的是,所述涉水感应器选取材料型传感器,从而使得目标车辆在被水淹没后也能够正常发射出涉水信号,此外,在车辆行驶过程中,当目标车辆处于水位在引擎盖以下的涉水环境,行驶人员通常还能够正常打开车门或车窗,而当目标车辆处于水位在引擎盖以上的涉水环境,外部水压较大,车门车窗往往门难以正常打开,因此,优选地,将所述涉水感应器安装在所述目标车辆的引擎盖内部,从而使得当水位淹没至引擎盖位置处,即可触发涉水感应器发射涉水信号。在另一个实施例中,为了防止车前引擎盖内部的涉水感应器出现故障等情况,除了在车前引擎盖内部安装一个的涉水感应器之外,还可根据引擎盖的高度,在车左、车右和/或车后各安装一个涉水感应器,从而能够准确检测目标车辆的涉水信号。

步骤12,对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;

需要说明的是,图像识别结果和音频识别结果表示目标车辆是否处于涉水环境的识别结果。具体地,在对环境图像数据进行图像识别时,可以将环境图像数据输入至图像识别模型,以根据所述图像识别模型输出的结果,确定所述图像识别结果,其中,所述图像识别模型是基于各个图像样本以及各所述图像样本对应的样本标签进行训练得到。另外地,将所述音频数据输入至音频识别模型,以根据所述音频识别模型输出的结果,确定所述音频识别结果,其中,所述音频识别模型是基于各个音频数据样本以及各所述音频数据样本对应的音频类别标签进行训练得到。

步骤13,基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

需要说明的是,目标车辆安装有悬浮装置,当悬浮装置打开时,能够让目标车辆悬浮于水面上。

具体地,基于所述图像识别结果以及所述音频识别结果,判断目标车辆是否处于涉水环境,可选地,若所述图像识别结果是车辆处于涉水环境的识别结果,且音频识别结果是车辆处于涉水环境的识别结果,则判定目标车辆是处于涉水环境,进而触发打开目标车辆的悬浮装置,从而让目标车辆悬浮于水面上,确保行驶人员的生命安全。另外地,若图像识别结果为车辆不是处于涉水环境的识别结果,或者音频识别结果为车辆不是处于涉水环境的识别结果,则判定目标车辆当前不是处于涉水环境,可能水滴溅到车辆引擎盖,误触发涉水传感器,此时,则无需触发打开目标车辆的悬浮装置。

本发明实施例通过上述方案,也即,获取环境图像数据以及音频数据;对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。实现对目标车辆的环境图像数据以及音频数据进行识别,以结合图像识别结果以及音频识别结果准确判断目标车辆当前是否处于涉水环境,从而自动控制打开目标车辆的悬浮装置,提高驾乘人员在事故发生后的生还率。

图2是本发明提供的悬浮装置控制方法的流程示意图之二。如图2所示,在本发明的一个实施例中,所述基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置之后,还包括:

步骤21,获取所述目标车辆的预设时间内的车内图像数据;

步骤22,对各所述车内图像数据进行图像识别,得到状态识别结果,其中,所述状态识别结果用于表征所述目标车辆内驾乘人员的状态;

步骤23,确定所述状态识别结果属于预设识别结果,生成救援提示信息。

需要说明的是,所述车内图像数据是利用安装在车辆内部的摄像头采集得到的,可选地,当触发打开所述悬浮装置后,控制车辆内部的摄像头处于打开状态,从而开始采集目标车辆的车内图像数据,进一步地,所述预设识别结果表示驾乘人员处于昏迷状态的识别结果。

在一实施例中,可收集预先时间内的各个车内图像数据,其中,预先时间可根据实际情况设置,在此不做具体限制,进而对各个车内图像数据中的目标人物进行姿态检测,得到各个车内图像数据对应的姿态检测结果,从而根据各所述车内图像数据对应的姿态检测结果,确定目标人物对应的状态识别结果,进一步地,若姿态检测结果中目标人物的姿态没有发生变化,则判定所述状态识别结果是属于预设识别结果,也即,目标车辆的驾乘人员处于昏迷状态,进而生成救援提示信息,以向外界发出救援提示,例如,将救援提示信息发送至至相关救援部门。

在另一实施例中,需要说明的是,需要说明的是,睁眼状态存在眼球白和眼球黑的两种颜色,而闭眼状态只有眼皮,因此,可对眼部车内图像数据中的图像区域进行颜色识别,得到状态识别结果,具体地,将预先时间内的各个车内图像数据进行截取得到眼部图像区域,进而将各个眼部图像区域进行颜色识别,得到眼部识别结果,基于各所述眼部图像区域对应的眼部识别结果,确定状态识别结果。若所有的眼部识别结果均不存在眼球白和眼球黑的两种颜色,则判定驾乘人员可能存在长时间闭眼状态,此时可以确定驾乘人员长时间处于闭眼状态,也即,判定驾乘人员对应的状态识别结果是驾乘人员处于昏迷状态,进一步地,生成救援提示信息,以向外界发出救援提示信息。

此外,在另一实施例中,考虑到车内摄像头会发生故障或者存在拍摄死角,无法拍摄得到包含驾驶人员的图像,在一实施例中,可利用心率检测装置和呼吸检测装置检测驾乘人员的心跳频率以及呼吸频率,根据心跳频率以及呼吸频率,确定状态识别结果,可选地,所述心率检测装置和呼吸检测装置安装在安全带上靠近胸部心脏的侧壁上,若检测到心跳频率与呼吸频率短时间内发生剧烈波动,则判定状态识别结果属于预设识别结果,也即,驾乘人员处于昏迷状态,进而生成救援提示信息,以向外界发出救援提示信息。

另外地,为了提高检测状态识别结果的准确性,可将上述三种情况相结合,也即,若姿态检测结果、眼部识别结果以及心跳频率以及呼吸频率分别对应的状态识别结果均属于所述预设识别结果,则生成救援提示信息,若姿态检测结果、眼部识别结果以及心跳频率以及呼吸频率分别对应的状态识别结果中存在一个或多个不属于预设识别结果,则无需生成救援提示信息。

本发明实施例通过上述方案,也即,获取车内图像数据;对所述车内图像数据进行图像识别,得到状态识别结果;若所述状态识别结果是所述驾乘人员处于昏迷状态,则发出救援提示信息。实现了当目标车辆处于涉水环境时,开启车内摄像头采集车内图像数据,以实时检测驾乘人员是否处于昏迷状态,从而及时救援提示信息,降低驾乘人员的安全隐患。

在本发明的一个实施例中,所述对所述车内图像数据进行图像识别,得到状态识别结果,包括:

基于姿态检测模型,对各所述车内图像数据进行姿态检测,得到得到姿态检测结果;

对各所述车内图像数据中的眼部图像区域进行颜色识别,得到眼部识别结果;

基于所述姿态检测结果和所述眼部识别结果,确定所述状态识别结果。

具体地,利用预先训练好的姿态估计模型对各个车内图像数据中的目标人物进行姿态检测,得到各个车内图像数据对应的姿态检测结果,可选地,所述姿态估计模型是基于若干个图像样本以及各所述图像样本对应的姿态标签训练得到,从而根据各个车内图像数据对应的姿态检测结果。需要说明的是,若各个车内图像数据中姿态检测结果是车内图像数据中目标人物的姿态均相同,则可初步判定目标车辆内的驾乘人员处于昏迷状态。

另外地,在各个车内图像数据中,提取得到眼部图像区域,进而将各个眼部图像区域分割为若干个碎片图像,进一步地,对所有碎片图像进行颜色识别,以识别所有碎片图像是否存在眼球白和眼球黑的两种颜色,得到眼部识别结果。若所述眼部识别结果不存在眼球白和眼球黑的两种颜色,则判定车内图像数据中目标人物均处于闭眼状态,进而可驾乘人员处于闭眼状态。另外地,在一实施例中,为了提高检测眼部识别结果的准确性,在初步判定驾乘人员处于闭眼状态后,进一步地,在各个碎片图像中查找得到若干张眼皮碎片图像,进而将所有眼部图像区域中相同位置处的眼皮碎片图像进行对比,以判断是否有无眨眼的眼皮运动,从而得到有无眨眼眼皮运动对应的眼部识别结果,从而通过眼球颜色识别以及眼皮运动检测,准确识别得到驾乘人员对应的眼部识别结果。

进一步地,结合姿态检测结果以及所述眼部识别结果,确定所述状态识别结果,也即,若各个车内图像数据中姿态检测结果是车内图像数据中目标人物的姿态均相同,且眼部识别结果是车内图像数据中目标人物均处于闭眼状态,则判定所述状态识别结果是驾乘人员处于昏迷状态;若各个车内图像数据中姿态检测结果是车内图像数据中目标人物的姿态不相同,或者眼部识别结果是车内图像数据中目标人物不处于闭眼状态,则判定状态识别结果是驾乘人员不处于昏迷状态。

本发明实施例通过上述方案,对各车内图像数据进行姿态检测,得到得到姿态检测结果;对各车内图像数据中的眼部图像区域进行颜色识别,从而根据姿态检测结果和眼部识别结果,准确判定目标车辆内驾乘人员的状态,降低驾乘人员的安全隐患。

在本发明的一个实施例中,上述步骤13:基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置,包括:

基于所述图像识别结果和所述音频识别结果,确定所述目标车辆对应的车辆环境信息;若所述车辆环境信息是涉水环境信息,则触发打开所述悬浮装置。

具体地,若图像识别结果和音频识别结果均是涉水识别结果,其中,所述涉水识别结果是车辆处于涉水环境的识别结果,也即,若图像识别结果是车辆处于涉水环境的识别结果,且音频识别结果车辆处于涉水环境的识别结果,则判定所述车辆环境信息是涉水环境信息,进而下发打开信号,以触发打开所述悬浮装置,另外地,若所述图像识别结果不是涉水识别结果,或者所述音频识别结果不是涉水识别结果,也即,若图像识别结果为车辆不是处于涉水环境的识别结果,或者音频识别结果为车辆不是处于涉水环境的识别结果,则判定所述车辆环境信息不是涉水环境信息,也即,目标车辆当前不处于涉水环境,此时,无需控制打开悬浮装置。

本发明实施例通过上述方案,也即,基于所述图像识别结果和所述音频识别结果,确定所述目标车辆对应的车辆环境信息;若所述车辆环境信息是涉水环境信息,则触发打开所述悬浮装置。实现根据图像识别结果和音频识别结果,准确判断出目标车辆是否处于涉水环境,从而触发打开悬浮装置,降低驾乘人员的安全隐患。

在本发明的一个实施例中,上述步骤12:对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果,包括:

将所述环境图像数据输入至图像识别模型,得到所述图像识别模块输出的图像识别结果;将所述音频数据输入至音频识别模型,得到所述音频识别模型输出的音频识别结果;所述图像识别模型是基于若干张图像样本以及各所述图像样本对应的样本标签进行训练得到;所述音频识别模型是基于各个音频数据样本以及各所述音频数据样本对应的音频类别标签进行训练得到。

具体地,将所述环境图像数据输入至图像识别模型,以提取环境图像数据中图像灰度值特征,进而基于所述图像灰度值特征,识别得到所述环境图像数据对应的图像识别结果。另外地,所述音频识别模型包括特征提取模块以及预测输出模块,将音频数据输入至所述特征提取模块中,以利用所述特征提取模块提取得到所述音频数据对应的音频特征,进而将所述音频特征输入至所述预测输出模块,得到所述预测输出模块输出的音频识别结果,可选地,音频数据可以是音频的原始时域波形或者时域波形的片段数据,其中,从时域波形中提取音频特征可以减少信息丢失,提高音频识别效果。通过结合对环境图像数据以及音频数据进行识别,得到图像识别结果以及音频识别结果,从而结合图像识别结果以及音频识别结果,准确判断目标车辆是否处于涉水环境。

在一个实施例中,所述图像识别模型是基于如下步骤训练得到:

获取若干张图像样本,其中,所述图像样本标注有样本标签;对于任意一张所述图像样本,将所述图像样本输入至待训练图像识别模型,得到所述待训练图像识别模型输出的预测结果;基于所述图像样本对应的预测结果以及样本标签,计算得到模型损失值;根据每一次迭代得到的模型损失值,对所述待训练图像识别模型中的模型参数进行更新,得到所述图像识别模型。

具体地,预先收集若干张图像样本,需要说明的是,所述图像样本包括车辆行驶至积水较深、河流对应的涉水环境、较浅的积水以及正常行驶等场景下的图像,其中,每一张图像样本均标注有样本标签,进一步地,对于任意一张所述图像样本,将所述图像样本输入至待训练图像识别模型,以根据所述待训练图像识别模型的输出,确定所述预测结果,进而基于所述图像样本对应的预测结果以及样本标签,利用目标损失函数计算得到模型损失值,目标损失函数包括等L1损失函数和dice损失函数等,此处不做具体限定。在计算获得模型损失值之后,再利用误差反向传播算法更新待训练图像识别模型中的模型参数,本次训练过程结束,之后再进行下一次训练。在训练的过程中,判断更新后的待训练图像识别模型是否均满足预设训练结束条件,若满足,则将更新后的待训练图像识别模型作为图像识别模型,若不满足,则继续训练模型,其中,所述预设训练结束条件包括损失收敛和达到最大迭代次数阈值等。实现通过根据各个场景下的图像样本,对图像识别模型进行训练,有利于将图像识别模型的损失值控制在预设的范围内,确保图像识别模型能够正确识别出涉水场景,从而有利于提高图像识别模型进行图像识别的精度。

在一个实施例中,所述音频识别模型是基于如下步骤训练得到:

获取若干个音频数据样本,其中,所述音频数据样本标注有音频类别标签;基于各所述音频数据样本以及各所述音频数据样本对应的音频类别标签,对待训练音频识别模型进行迭代训练,得到所述音频识别模型。

具体地,预先收集若干个音频数据样本,需要说明的是,音频数据样本包括车辆涉水以及车辆正常行驶等场景下的音频数据,所述音频数据样本标注有音频类别标签,进一步地,对于任意一个音频数据样本,将所述音频数据样本输入至待训练音频识别模型,以根据所述待训练音频识别模型的输出,确定所述音频数据样本对应的预测结果,进而基于所述音频数据样本对应的预测结果以及样本标签,计算得到损失值,在计算获得损失值之后,再利用误差反向传播算法更新待训练音频识别模型中的模型参数,本次训练过程结束,之后再进行下一次训练。在训练的过程中,判断更新后的待训练音频识别模型是否均满足预设训练结束条件,若满足,则将更新后的待训练音频识别模型作为音频识别模型,若不满足,则继续训练模型。通过根据音频数据样本,对图像识别模型进行训练,有利于将音频识别模型的损失值控制在预设的范围内,确保音频识别模型能够正确识别出涉水场景,从而有利于提高音频识别模型进行音频识别的精度。

图3是本发明提供的悬浮装置控制系统的时序示意图,如图3所示,悬浮装置控制系统包括安装在车外的摄像头(也即,本实施例中的图像采集设备)、安装在车内的摄像头、涉水感应器、音频采集设备、智能判断模块、悬浮装置、悬浮控制模块以及安全监控模块,其中:

所述涉水感应器,用于发送涉水信号至智能判断模块;

所述智能判断模块,用于响应于涉水感应器的涉水信号,控制音频采集设备以及车外的摄像头处于打开状态;

所述车外的摄像头,用于将拍摄到的环境图像数据发送至所述智能判断模块;

所述音频采集设备,用于将采集到的音频数据发送至所述智能判断模块;

所述智能判断模块,还用于对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;

所述智能判断模块,还用于基于所述图像识别结果和所述音频识别结果,若确定目标车辆的车辆环境信息是涉水环境信息,则将打开信号发送至悬浮控制模块;

所述悬浮控制模块,用于基于所述打开信号,触发打开目标车辆的悬浮装置;

所述车内的摄像头,用于在打开目标车辆的悬浮装置后,采集车内图像数据,并将采集到的车内图像数据发送至安全监控模块;

所述安全监控模块,用于基于所述车内图像数据,判断所述目标车辆内的驾乘人员处于昏迷状态,若是,则发出救援提示信息。

下面对本发明提供的悬浮装置控制装置进行描述,下文描述的悬浮装置控制装置与上文描述的悬浮装置控制方法可相互对应参照。

图4是本发明提供的悬浮装置控制装置的结构示意图,如图4所示,本发明实施例的一种悬浮装置控制装置,该装置包括:

获取模块41,用于获取环境图像数据以及音频数据;

识别模块42,用于对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;

控制模块43,用于基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

所述控制模块43还用于:

基于所述图像识别结果和所述音频识别结果,确定所述目标车辆对应的车辆环境信息;

若所述车辆环境信息是涉水环境信息,则触发打开所述悬浮装置。

所述识别模块42还用于:

将所述环境图像数据输入至图像识别模型,得到所述图像识别模块输出的图像识别结果;

将所述音频数据输入至音频识别模型,得到所述音频识别模型输出的音频识别结果;

所述图像识别模型是基于若干张图像样本以及各所述图像样本对应的样本标签进行训练得到;

所述音频识别模型是基于各个音频数据样本以及各所述音频数据样本对应的音频类别标签进行训练得到。

所述悬浮装置控制装置还用于:

获取所述目标车辆的预设时间内的车内图像数据;

对各所述车内图像数据进行图像识别,得到状态识别结果,其中,所述状态识别结果用于表征所述目标车辆内驾乘人员的状态;

确定所述状态识别结果属于预设识别结果,生成救援提示信息。

所述悬浮装置控制装置还用于:

基于姿态检测模型,对各所述车内图像数据进行姿态检测,得到得到姿态检测结果;

对各所述车内图像数据中的眼部图像区域进行颜色识别,得到眼部识别结果;

基于所述姿态检测结果和所述眼部识别结果,确定所述状态识别结果。

所述悬浮装置控制装置还用于:

若所述图像识别结果是涉水识别结果,且所述音频识别结果是涉水识别结果,则判定所述车辆环境信息是涉水环境信息;

若所述图像识别结果不是涉水识别结果,或者所述音频识别结果不是涉水识别结果,则判定所述车辆环境信息是非涉水环境信息。

所述获取模块41还用于:

响应于涉水感应器的涉水信号,控制图像采集设备以及音频采集设备处于打开状态;

获取所述图像采集设备拍摄到的环境图像数据,以及所述音频采集设备采集到的音频数据。

在此需要说明的是,本发明实施例提供的上述装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同技术效果,在此不再对本实施例中与方法实施例相同部分及有益效果进行具体赘述。

图5是本发明提供的电子设备的结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540,其中,处理器510,存储器520,通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令,以执行悬浮装置控制方法,该方法包括:获取环境图像数据以及音频数据;对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

此外,上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的悬浮装置控制方法,该方法包括:获取环境图像数据以及音频数据;对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的悬浮装置控制方法,该方法包括:获取环境图像数据以及音频数据;对所述环境图像数据进行图像识别,得到图像识别结果;以及对所述音频数据进行音频识别,得到音频识别结果;基于所述图像识别结果和所述音频识别结果,控制打开目标车辆的悬浮装置。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

相关技术
  • 一种浴室加热装置和用于控制浴室加热装置的方法、设备、电子设备及计算机可读存储介质
  • 设备的控制方法及装置、存储介质和电子装置
  • 送风设备及送风装置的控制方法、装置和存储介质
  • 家电设备的控制方法及装置、存储介质和电子装置
  • 一种家居设备控制方法、装置、控制设备及可读存储介质
  • 磁悬浮装置、磁悬浮装置的悬浮控制方法、车辆和存储介质
  • 磁悬浮设备的控制方法、装置、电子设备及存储介质
技术分类

06120115919749