一种基于手机互联和语音识别的车载环视显示系统及方法

技术领域

本发明属于汽车电子领域，具体涉及一种基于手机互联和语音识别的车载环视显示系统，还涉及一种基于手机互联和语音识别的车载环视显示方法。

背景技术

随着我国汽车工业的快速发展和居民生活水平的显著提高，汽车普及率也越来越高，安全行车与人车交互体验成为用户越来越关注的问题。通过在汽车前、后、左、右视场范围内安装4个广角摄像头来采集多路视频，再将视频处理合成为360°的视图，可协助驾驶员获取车辆周围环境，实现安全行车。

随着驾驶场景的改变，驾驶员需要切换不同的视角来辅助驾驶，但是驾驶时又需要较高的专注度，不便动手操作显示屏来进行切换，通过语音控制来代替手动操作是解决上述问题的一个思路。

目前车载环境中的语音识别主要通过车载终端来完成，但是市场上现有车载终端的功能都有局限性，语音识别效率不高，车载终端本身升级更新的周期也较长，无法满足实际使用中不断更新的用户需求。

发明内容

本发明的目的是针对现有技术存在的上述问题，提供一种基于手机互联和语音识别的车载环视显示系统，还涉及一种基于手机互联和语音识别的车载环视显示方法。

为实现以上目的，本发明提供了以下技术方案：

一种基于手机互联和语音识别的车载环视显示系统，包括360°环视摄像头，还包括智能手机端和车载终端，

车载终端包括语音收集模块、通信模块、图像采集模块、图像处理模块和图像显示模块，

所述语音收集模块，通过麦克风采集音频，并将音频数据发送到通信模块；

所述通信模块，采用USB或蓝牙或WIFI方式来实现与智能手机端互联，向智能手机端发送音频数据，并接受智能手机端反馈的语音识别结果并反馈至图像显示模块；

所述图像采集模块，获取到360°环视摄像头拍摄的各个视角的环境图像，并将各个视角的环境图像传送至图像处理模块；

所述图像处理模块，对采集到的各个视角的环境图像进行处理后发送到图像显示模块；

所述图像显示模块，根据语音识别结果显示经过图像处理模块处理的环境图像。

一种基于手机互联和语音识别的车载环视显示方法，包括以下步骤：

步骤S101：用户发出语音指令，车载终端的语音收集模块采集音频数据，语音收集模块对音频数据进行降噪处理；

步骤S102：语音收集模块经过车载终端的通信模块将降噪处理后的音频数据传输到智能手机端；

步骤S103：智能手机端接收音频数据，通过音频识别应用软件或将音频数据传至云端对音频数据进行识别处理获得语音识别结果，并将语音识别结果通过车载终端的通信模块发送至车载终端的图像显示模块；

步骤S104：车载终端的图像显示模块接收语音识别结果；

步骤S105：车载终端的图像采集模块获取360°环视摄像头拍摄到的不同视角的环境图像并传输到图像处理模块；

步骤S106：图像处理模块对采集到的不同视角的环境图像进行解析、格式转换、合并、缩放；

步骤S107：车载终端的图像显示模块根据语音识别结果显示经过图像处理模块处理的环境图像。

所述步骤S101中降噪处理包括以下步骤：

采集不同行驶速度、不同开关窗状态、不同空调档位构成的噪音条件下的车内噪声，

获取当前行驶速度、当前开关窗状态、当前空调档位，找到对应的噪音条件下的车内噪音，将语音收集模块采集音频数据中去除车内噪音。

所述智能手机端对音频数据的识别处理包括以下步骤：

步骤S401：智能手机端通过音频识别应用软件对音频数据进行解析、识别，得到第一语音识别结果S1，第一语音识别结果S1对应的第一置信度T1由音频识别应用软件自动生成；

步骤S402：在进行步骤S401的同时，智能手机端将音频数据上传至普强千语语音云平台，普强千语语音云平台对音频数据进行解析、识别后，将第二语音识别结果S2返回至智能手机端，第二语音识别结果S2对应的第二置信度T2由普强千语语音云平台自动生成；

步骤S403：比较第一置信度T1与第二置信度T2，以置信度高的语音识别结果作为最终的语音识别结果。

所述图像处理模块对采集到的不同视角的环境图像进行解析、格式转换、合并、缩放包括以下步骤：

步骤S501：图像采集模块通过360°环视摄像头实时采集车周的不同视角的YUV格式的环境图像；

步骤S502：图像处理模块将采集到的YUV格式的环境图像转化为RGB格式的环境图像；

步骤S503：将车前、车后、车左、车右四路环境图像进行拼接，并合并成360°环境图像；

步骤S504：进一步对合并后的360°环境图像进行裁剪、压缩、缩放，使360°环境图像适应图像显示模块的显示屏尺寸；

步骤S505：在车载终端的图像显示模块上显示处理后的360°环境图像。

本发明提供的技术方案带来的有益效果为：

第一、本发明将语音识别和智能手机端互联相结合，加快了语音识别的速度，也大大提高了准确率；

第二、驾驶员通过语音就可以控制车载终端的图像显示模块进行画面切换，实时获取车辆周围环境的同时，也保障了行车安全。

附图说明

图1为一种基于手机互联和语音识别的车载环视显示系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实例和附图对本发明实施方式作进一步地描述。需要强调的是，虽然本发明将结合实例进行阐述，这并非指本发明限定于这些实例，这些实例仅仅用于表明本发明的技术方案的可实施性。

本发明提供一种基于手机互联和语音识别的车载环视显示系统，如图1所示，它包括车载终端、智能手机端以及360°环视摄像头。

所述车载终端通过内置麦克风收集用户的音频数据，并将音频数据发送至智能手机端，然后接收智能手机端返回的语音识别结果，提取语音识别结果中的视角显示信息，根据视角显示信息切换显示对应视角的环境图像；

所述智能手机端，接收音频数据，并通过应用软件对音频数据进行识别获得语音识别结果，再将语音识别结果发送至车载终端；

所述360°环视摄像头，分别安装在车辆的前、后、左、右方，实时采集车辆四周环境图像。

所述车载终端，完成与智能手机端和360°环视摄像头的交互，具体包括：语音收集模块、通信模块、图像采集模块、图像处理模块以及图像显示模块。

所述语音收集模块，通过麦克风采集音频，并将音频数据发送到通信模块；

所述通信模块，采用USB或蓝牙或WIFI方式来实现与智能手机端互联，向智能手机端发送音频数据，并接受智能手机端反馈的语音识别结果并反馈至图像显示模块；

所述图像采集模块，获取到360°环视摄像头拍摄的各个视角的环境图像，并将各个视角的环境图像传送至图像处理模块；

所述图像处理模块，对采集到的各个视角的环境图像处理后发送到图像显示模块；

所述图像显示模块，即显示屏，根据语音识别结果显示经过图像处理模块处理的环境图像。

基于手机互联和语音识别的车载360°环视显示方法，具体过程为：

S101：用户发出语音指令，车载终端的语音收集模块采集音频数据，语音收集模块对音频数据进行降噪处理；

S102：由于车载终端自身语音识别存在使用授权费用较高车载终端不标配、识别算法版本较低及软件升级不便导致的识别率不高等局限性，故车载终端的语音收集模块经过通信模块将降噪处理后的音频数据传输到智能手机端，实现车载终端与智能手机端互联；

S103：智能手机端接收音频数据，通过音频识别应用软件或将音频数据传至云端对音频数据进行识别处理获得语音识别结果，并将语音识别结果通过车载终端的通信模块发送至车载终端的图像显示模块；

S104：车载终端的图像显示模块接收语音识别结果，并依据语音识别结果切换显示不同视角(前方视角、后方视角、左方视角、右方视角)的环境图像；

S105：车载终端的图像采集模块获取360°环视摄像头拍摄到的不同视角的环境图像并传输到图像处理模块；

S106：图像处理模块对采集到的不同视角的环境图像进行解析、格式转换、合并、缩放等操作；

S107：车载终端的图像显示模块根据语音识别结果显示经过图像处理模块处理的实时环境图像。语音识别结果指定显示前方视角或后方视角或左方视角或右方视角或上述四个视角的任意组合的环境图像。

语音收集模块对采集到的音频数据进行降噪包括以下步骤：

S201：采集不同行驶速度、不同开关窗状态、不同空调档位构成的噪音条件下的车内噪声，例如：

在闹市中以0～40km/h速度行驶，开窗，关空调，采集0.5～1小时；

在闹市中以60～70km/h速度行驶，关窗，空调开中档，采集0.5～1小时；

在闹市中以60～70km/h速度行驶，开窗，采集0.5～1小时；

在高架上以60～80km/h速度行驶，开窗，采集0.5～1小时；

在高架上以60～70km/h速度行驶，关窗，空调开5档，采集0.5～1小时；

在闹市中以60～70km-/h速度行驶，关窗，关空调，采集0.5～1小时；

在高架上以60～70km/h速度行驶，关窗，关空调，采集0.5～1小时；

在高速上以100～120km/h速度行驶，关窗，关空调，采集0.5～1小时；

S202：获取当前行驶速度、当前开关窗状态、当前空调档位，找到对应的噪音条件下的车内噪音，将语音收集模块采集音频数据中去除车内噪音。

所述车载终端与所述智能手机端互联包括以下步骤：

S301：通信模块加载并运行车载端互联程序；

S302：车载端互联程序轮询检测USB/蓝牙/WIFI的状态，并实时更新智能手机端连接状态；

S303：若检测到智能手机端连接，则车载端互联程序通过USB/蓝牙/WIFI启动手机端互联程序，并发送授权；

S304：若手机端互联程序启动成功，则验证授权，完成与车载端互联程序间的互联；若启动不成功，则在智能手机端安装手机端互联程序并返回步骤S301；

S305：通信模块收到语音收集模块输出的音频数据，音频数据由车载端互联程序通过USB/蓝牙/WIFI发送到手机端互联程序；

S306：智能手机端对手机端互联程序获得的音频数据进行识别，获得语音识别结果，

S307：手机端互联程序将语音识别结果通过USB/蓝牙/WIFI发送到车载端互联程序，再由通信模块发送到图像显示模块。

所述智能手机端对音频数据的识别处理流程包括以下步骤：

S401：智能手机端通过音频识别应用软件(本实施例采用“讯飞听见”)对音频数据进行解析、识别，得到第一语音识别结果S1，记对应的第一置信度为T1，第一置信度T1由音频识别应用软件自动生成；

S402：在进行S401步骤的同时，智能手机端将音频数据上传至普强千语语音云平台，普强千语语音云平台对音频数据进行解析、识别后，将第二语音识别结果S2返回至智能手机端，记对应的第二置信度为T2，第二置信度T2由普强千语语音云平台自动生成；

S403：比较第一置信度T1与第二置信度T2，以置信度高的语音识别结果作为最终语音识别结果。即若T1>T2，则将第一语音识别结果S1发送至车载终端；若T1

图像处理模块对采集到的环境图像进行解析、格式转换、合并、缩放包括以下步骤：

S501：图像采集模块通过360°环视摄像头实时采集车周的不同视角的环境图像；

图像采集模块通过360°环视摄像头实时采集车周的环境图像为YUV格式的环境图像；

S502：图像处理模块将采集到的YUV格式的环境图像转化为RGB格式的环境图像；

RGB与YUV之间的变换依据以下公式进行：

S503：将车前、车后、车左、车右四路环境图像通过现有图像处理技术进行拼接，并合并成360°环境图像；

S504：进一步对合并后的360°环境图像进行裁剪、压缩、缩放等操作，使360°环境图像适应图像显示模块的显示屏尺寸；

S505：在车载终端的图像显示模块上显示处理后的360°环境图像。

在本文中，所涉及的前、后、左、右等方位词是以附图中各装置位于图中以及设备相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。