车载交互系统的控制方法、存储介质和车载电子设备

技术领域

本申请涉及汽车智能控制技术领域，具体地，涉及一种车载交互系统的控制方法、存储介质和车载电子设备。

背景技术

随着汽车电动化、网联化、智能化、共享化的新四化越来越成熟，车载处理单元的处理能力也越来越高，逐渐可以支撑起更多适于人机交互的应用程序的运行，例如电子游戏。

目前乘客与车载处理单元的交互方式难以普及，主要是由于交互操作体验较差。以车载游戏为例，目前的车载游戏更多的是基于现有手机游戏或主机游戏的移植作品，现有车载游戏的输入方式主要有触摸中控屏幕和外接游戏手柄等。无论哪种方式，都只是乘客单方面的输出操作，之后依靠视觉观察显示屏幕的显示画面是否变化来判断自己输入的操作是否被响应到，如此会对乘客何时执行下一步操作产生影响，降低了乘客与车载处理单元之间的交互效果以及交互效率。

发明内容

本申请实施例旨在提供一种车载交互系统的控制方法、存储介质和车载电子设备以解决现有乘客与车载处理单元交互过程中存在的交互效果较差以及交互效率较低的技术问题。

为此，本申请一些实施例中提供一种车载交互系统的控制方法，包括如下步骤：

响应于交互场景的启动信号，输出交互场景的视频画面至显示部件，所述视频画面中包括至少一个被操作对象；

获取操作信号，根据所述操作信号控制所述视频画面中的至少一个被操作对象执行动作；

获取手掌的实时位置，根据所述手掌的实时位置生成反馈波发射信号，发送所述反馈波信号至反馈波发生器，以控制所述反馈波发生器向所述手掌的方向发射反馈波信号。

本申请一些实施例中所述的车载交互系统的控制方法，获取操作信号，根据所述操作信号控制所述视频画面中的至少一个被操作对象执行动作的步骤包括：

获取手势识别信号，根据所述手势识别信号得到所述操作信号；或者，获取声音识别信号，根据所述声音识别信号得到所述操作信号。

本申请一些实施例中所述的车载交互系统的控制方法，获取操作信号，根据所述操作信号控制所述视频画面中的至少一个被操作对象执行动作的步骤还包括：

获取预设车辆部件的动作信号，根据所述预设车辆部件的动作信号得到所述操作信号。

本申请一些实施例中所述的车载交互系统的控制方法，还包括如下步骤：

根据所述交互场景从车辆部件中选定场景配合部件，并得到场景配合部件应执行的配合动作；

向所述场景配合部件发送场景配合控制信号，以控制所述场景配合部件执行所述配合动作。

本申请一些实施例中所述的车载交互系统的控制方法，还包括如下步骤：

根据所述操作信号从所述场景配合部件中选定场景变换配合部件，以及所述场景变换配合部件应执行的变换动作；

向所述场景变换配合部件发送场景变换控制信号，以控制所述场景变换配合部件执行所述变换动作。

本申请一些实施例中提供一种存储介质，所述存储介质中存储有程序信息，计算机读取所述程序信息后执行以上任一项方案所述的车载交互系统的控制方法。

本申请一些实施例中还提供一种车载电子设备，包括至少一个处理器和至少一个存储器，至少一个所述处理器与至少一个所述存储器通信连接，至少一个所述存储器中存储有程序信息，至少一个所述处理器读取所述程序信息后执行以上任一项方案所述的车载交互系统的控制方法。

本申请一些实施例中所述的车载电子设备，还包括：

显示部件，所述显示部件包括车载中控屏幕和/或配置有光波导透明屏幕的车辆前风挡玻璃，所述车载中控屏幕和/或所述光波导透明屏幕与所述处理器连接，接收并显示所述处理器发送的视频画面；

摄像头，用于识别操作者的手掌的实时位置和手势，并将所述手掌的实时位置和手势识别信号发送至所述处理器；

反馈波发生器，用于接收所述处理器发送的反馈波发射信号，根据所述反馈波发射信号的控制向手掌的方向发射反馈波信号。

本申请一些实施例中所述的车载电子设备，还包括：

麦克风，用于识别操作者的声音，并将声音识别信号发送至所述处理器；或者，

预设车辆部件，其输出端与所述处理器连接；所述预设车辆部件在操作者的操作下生成动作信号并将所述动作信号发送至所述处理器。

本申请一些实施例中所述的车载电子设备，还包括：

场景配合部件，用于接收所述处理器发送的场景配合控制信号，根据所述场景配合信号执行配合动作；

所述场景配合部件中的一部分作为场景变换配合部件；所述场景变换配合部件用于接收所述处理器发送的场景变换控制信号，根据所述场景变换控制信号执行变换动作。

本申请提供的上述技术方案，与现有技术相比，至少具有如下有益效果：当车载交互系统工作在交互场景下时，车载交互系统能够在响应到操作者发出的操作信号后，控制交互场景的视频画面中的至少一个被操作对象执行动作，同时还能够实时获取手掌位置，从而在控制被操作对象执行动作的同时控制反馈波发生器向手掌方向发送反馈波信号，使操作者的手掌感受到操作信号已经被执行的反馈信息，操作者接受到这一反馈信息后即可清楚地了解到自己发出的操作信号已经被响应，此时可进行下一步控制，本申请中的方案提高了车载交互系统的交互效果以及交互效率。

附图说明

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图1为本申请一个实施例所述的车载交互系统的控制方法的流程图；

图2为本申请另一个实施例所述车载交互系统的控制方法的流程图；

图3为本申请又一个实施例所述车载交互系统的控制方法的流程图；

图4为本申请一个实施例所述车载电子设备的硬件结构连接示意图；

图5为本申请另一个实施例所述的车载电子设备的硬件结构连接示意图。

具体实施方式

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请的简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。另外，本申请以下实施例中提供的方案，在彼此不会冲突的情况下可以相互组合。

本申请一些实施例中提供一种车载交互系统的控制方法，可以应用于车辆中具有处理功能的车载处理单元中，如图1所示，包括如下步骤：

S101：响应于交互场景的启动信号，输出交互场景的视频画面至显示部件，所述视频画面中包括至少一个被操作对象。本步骤可以由乘客作为操作者对车载处理单元进行操作来实现，例如启动车载游戏模式(本申请以下实施例中的描述多以车载游戏为例进行描述)，则车载处理单元能够依据启动的具体游戏应用程序进入到对应的交互场景下，并将游戏界面显示到显示部件，显示部件可以为车辆的中控显示屏幕或者车辆前风挡玻璃上安装的光波导透明显示屏等。例如，操作者选择了切水果的游戏，则显示部件会显示切水果游戏界面，在该界面上会显示掉落的各类水果，每一水果则作为被操作对象。操作者选择了赛车游戏，则显示部件会显示赛车场景的游戏界面，在该界面上赛车的方向盘、油门以及刹车等则作为被操作对象。

S102：获取操作信号，根据所述操作信号控制所述视频画面中的至少一个被操作对象执行动作。操作信号由操作者发出，可以使用手势或声音等，例如在切水果的游戏场景下，当识别到操作者左右挥动双手时可以判定为对水果进行切削操作，在赛车游戏场景下，识别到声音信号包含“加速”、“左转45°”等语音时即可控制赛车油门和方向盘执行对应的动作。在本步骤中，预先将手势或者语音信号所对应的操作指令进行存储，使得当识别到手势或声音时能够准确地对被操作对象进行操作。而这些对应关系可以启动游戏时就显示出来以提示给操作者。

S103：获取手掌的实时位置，根据所述手掌的实时位置生成反馈波发射信号，发送所述反馈波信号至反馈波发生器，以控制所述反馈波发生器向所述手掌的方向发射反馈波信号。本步骤中，手掌的实时位置可以通过车载摄像头采集得到。通过为车载摄像头的拍摄区域建立空间坐标系的方式，准确定义拍摄区域内每一个位置的坐标点，当检测到手掌所在位置后，将手掌所在区域包含的坐标位置发送给车载处理单元。反馈波发生器的信号发射区域也对应于摄像头的拍摄区域，二者对应的空间坐标系可以认为是重合的，当摄像头拍摄到手掌位置坐标确定后，就能控制反馈波发生器朝向手掌区域发射反馈波了。反馈波发生器可以选择为超声波发生器，反馈波为低频超声波，低频超声波发射到手掌上后能够使手掌感受到轻微的振动触感。

本申请以上实施例中的方案，当车载交互系统工作在交互场景下时，车载交互系统能够在响应到操作者发出的操作信号后，控制交互场景的视频画面中的至少一个被操作对象执行动作，同时还能够实时获取手掌位置，从而在控制被操作对象执行动作的同时控制反馈波发生器向手掌方向发送反馈波信号，使操作者的手掌感受到操作信号已经被执行的反馈信息，操作者接受到这一反馈信息后即可清楚地了解到自己发出的操作信号已经被响应，此时可进行下一步控制，本申请中的方案提高了车载交互系统的交互效果以及交互效率。

在本申请一些实施例中，如图2所示，步骤S102可以包括如下各步骤，通过S1021、S1022或S1023的方式得到操作信号，之后执行步骤S1024：根据所述操作信号控制所述视频画面中的至少一个被操作对象执行动作。具体地：

S1021：获取手势识别信号，根据所述手势识别信号得到所述操作信号。本步骤可以通过车辆上已有的摄像头对操作者的手掌的移动轨迹进行检测，从而得到手势识别信号。如前所述，手势识别信号与操作信号具有对应关系，例如左滑为向左切割水果，上滑代表向上切割水果、OK手势表示确认等。本步骤中，场景显示时显示平的平面坐标系与摄像头检测区域的空间坐标系进行关联，从而能够使操作者的手掌在摄像头检测区域内的任意位置处时都能够对应到显示部件中的一个位置进行显示。通过车内摄像头手势/动作识别的方式进行游戏控制，降低了在座舱内玩游戏操作难度，而且使用手势来玩游戏的时候可以提供更加优秀的反馈体验。

S1022:获取声音识别信号，根据所述声音识别信号得到所述操作信号。本步骤可以通过车辆上已有的麦克风来实现，通过对操作者发出的语音进行解析，得到其中所包含的操作命令进而能够得到操作信号。麦克风可以接收用户声音指令，其既可以单独使用来控制被操作对象，也可以与手势指令结合共同控制被操作对象。通过语音控制的方式进行人机交互更方便用户操作。

S1023：获取预设车辆部件的动作信号，根据所述预设车辆部件的动作信号得到所述操作信号。预设车辆部件可以为方向盘，例如当进行赛车游戏时，可以通过设置将车辆的实际方向盘与游戏场景中的方向盘进行统一关联，将车辆的加速踏板和游戏场景中的油门踏板进行统一设置，将车辆的刹车踏板和游戏场景中的刹车踏板进行统一设置，具体实现时，通过采集方向盘角度传感器的信号确定方向盘转角，通过采集加速踏板的角度传感器的信号确定加速踏板被踩下的程度，通过采集刹车踏板的角度传感器的信号确定刹车踏板被踩下的程度，将上述各传感器的信号作为游戏场景下的方向盘、油门以及刹车的控制输入即可。

本方案通过对车辆已有的各个部件进行调用，辅助人机交互的实现，能够更进一步加强交互效果，提升用户在与车载设备交互过程中的体验。

如图3所示，在本申请一些实施例中的车载交互系统的控制方法，还可以包括如下步骤：

S104：根据所述交互场景从车辆部件中选定场景配合部件，并得到场景配合部件应执行的配合动作。场景配合部件可以包括音响、空调、座椅、氛围灯和方向盘等。

S105：向所述场景配合部件发送场景配合控制信号，以控制所述场景配合部件执行所述配合动作。例如，当在赛车游戏场景下时，音响播放游戏场景中的动感音乐，氛围灯闪烁以增强沉浸式效果，座椅中的马达振动以模拟车辆真实行驶状态，空调向外吹风以模拟开车时的吹风效果等。

本实施例中的方案，通过氛围灯、座椅震动、方向盘震动、车载空调和/或车内音响播放等模拟交互场景所对应的真实环境可以为操作者提供相应的沉浸感体验。

在一些实施例中的车载交互系统的控制方法，如图3所示，还可以包括如下步骤：

S106：根据所述操作信号从所述场景配合部件中选定场景变换配合部件，以及所述场景变换配合部件应执行的变换动作。

S107：向所述场景变换配合部件发送场景变换控制信号，以控制所述场景变换配合部件执行所述变换动作。

例如，在赛车场景下，当操作信号对应于车辆加速行驶时，此时可以将场景变换配合部件选择为氛围灯、座椅马达和空调，加速时提高氛围灯闪烁频率，加大座椅马达的振动幅度和振动频率，增大空调出风速率等。显然，通过对控制场景变换配合部件执行变换动作能够使操作者体验到真正的沉浸式感受。在一些实施例中，也可以同步地对反馈波发生器进行控制，根据操作信号的变化来调整反馈波信号的强度或频率等。例如，在切水果游戏场景下，当切中水果得分越高时反馈波信号越强烈。

在以上实施例中，针对各类交互场景，所需要的场景配合部件和场景变换配合部件都预先存储在系统中，操作信号、场景变换和部件的控制信号之间都具有对应关系，在确定的交互场景下检测到确定的操作信号后就能够准确地控制对应部件执行动作，使车内空间与交互场景做到最大化的一致，提升用户体验。

本申请一些实施例中还提供一种存储介质，所述存储介质中存储有程序信息，计算机读取所述程序信息后执行以上任意方案所述的车载交互系统的控制方法。

本申请一些实施例中提供一种车载电子设备，如图4所示，包括至少一个处理器101和至少一个存储器102，至少一个所述存储器102中存储有程序指令，至少一个所述处理器101读取所述程序指令后执行以上任一方案所述的车载交互系统的控制方法。上述车载电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接。上述系统可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。关于未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

在本申请一些实施例中所述的车载电子设备，如图5所示，还可以包括：

显示部件105，所述显示部件105包括车载中控屏幕和/或配置有光波导透明屏幕的车辆前风挡玻璃，所述车载中控屏幕和/或所述光波导透明屏幕与所述处理器101连接，接收并显示所述处理器101发送的视频画面；当通过处理器101提供显示信号，通过光波导透明显示车前窗玻璃来展示游戏画面时，可以将整个车内座舱变为游戏空间，提供环绕式游戏体验。摄像头106，用于识别操作者的手掌的实时位置和手势，并将所述手掌的实时位置和手势识别信号发送至所述处理器101。反馈波发生器107，用于接收所述处理器101发送的反馈波发射信号，根据所述反馈波发射信号的控制向手掌的方向发射反馈波信号。采用本实施例中的方案，可以通过摄像头106获取操作者的手掌当前所在的位置，同时反馈波发生器107(以超声波发生器为例)向对应方向发射低频超声波，让手掌感受到震动反馈，如切水果时切中水果的同时向手掌发出声波，感受到切中水果时的反馈，震动力度也可以根据切中的不同水果类型做相应调整。

在一些实施例中的车载电子设备，还可以包括麦克风108，用于识别操作者的声音，并将声音识别信号发送至所述处理器101；或者，预设车辆部件109，其输出端与所述处理器101连接；所述预设车辆部件109在操作者的操作下生成动作信号并将所述动作信号发送至所述处理器101。预设车辆部件109可以为方向盘、加速踏板或刹车踏板等，通过设置在预设车辆部件109检测其动作信号并将其发送至处理器101。在一些实施例中，以上设备还可以包括场景配合部件110，用于接收所述处理器101发送的场景配合控制信号，根据所述场景配合信号执行配合动作；所述场景配合部件110中的一部分作为场景变换配合部件；所述场景变换配合部件用于接收所述处理器101发送的场景变换控制信号，根据所述场景变换控制信号执行变换动作。场景配合部件110可以包括音响、空调、座椅、氛围灯和方向盘等。

本申请一个具体实现方案中，能够通过光波导透明显示玻璃将整个座舱前车窗变成了显示屏，通过超声波发生器产生远程震动反馈，在输入和输出上都更加的多元化，充分利用智能驾舱内丰富的可感知配件，提供更加简便、更加符合车机系统的操作方式和更具有沉浸感的输出，让车载游戏可以提供远超手机游戏的游戏体验。例如当用户在玩切水果游戏时，整个前车窗可以展示游戏画面，让用户能有更加沉浸感的视觉体验，通过摄像头识别当前手势来切水果，操作简单。切中水果时摄像头识别当前手掌位置，同时超声波发生器根据水果类型向手掌发对应频率和强度的出声波，手掌感受到对应的震动反馈。同时配合音响音效和氛围灯闪烁，整体游戏方式更加具有沉浸感。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。