一种基于VR驾驶的数字人交互驾驶培训系统

技术领域

本申请涉及机动车驾驶培训技术领域，特别是涉及一种驾驶培训系统。

背景技术

随着道路交通状况的日益复杂，传统的驾校训练及考试模式暴露出了一系列的问题：训练周期长、成本高；多名学员共用一辆车，单一学员的训练时间短、学车体验差；驾校素质参差不齐，教学质量难以保证。基于此，利用虚拟现实技术搭建驾驶场景进行驾驶培训的方式越来越多。

然而，现有的利用VR驾驶培训一般都是只提供复杂的驾驶场景，在学员进行驾驶时并不与学员进行有效交互，限制学员的参与度和实战体验感。例如，中国专利文献CN108091203 A《一种基于虚拟现实技术的应激交通场景驾驶培训系统》中提到，借助虚拟现实技术生成汽车驾驶过程中能够造成驾驶员应激反应的紧急交通场景，通过头盔显示器、音响与力反馈装置对应激交通场景进行真实重现，而驾驶结束时，获取操控数据，据此对驾驶员进行驾驶技能评价。因此，可以知道现有的基于VR驾驶培训过程中，仅仅只在驾驶结束后对驾驶员的驾驶技能进行评价；因此，无法及时纠正驾驶错误，使得驾驶培训效果差，学员无法VR驾驶培训系统更好地进行学习。

发明内容

基于此，针对上述技术问题，提供一种基于VR驾驶的数字人交互驾驶培训系统，能够提高培训过程中的培训效果。

一种基于VR驾驶的数字人交互驾驶培训系统，所述系统包括：数据采集模块、中心处理模块、语音输出模块；

所述数据采集模块包括摄像机、语音采集装置、眼动仪以及设置在VR驾驶操纵装置上的多个传感器；

所述数据处理模块包括语音分析模块、情感分析模块、驾驶行为分析模块、驾驶状态分析模块；所述语音分析模块用于对语音采集装置获取的驾驶员的问题进行分析，并根据分析结果给出相应的问题解决方案；所述情感分析模块用于对摄像机所采集的驾驶员脸部图像进行分析，判断驾驶员的情感状态，并生成相应的情感回应；所述驾驶行为分析模块用于根据所述VR驾驶操纵装置上的传感器获取的数据进行驾驶行为的推演，并将推演出的驾驶行为与对应路段的标准驾驶行为进行比对，若比对结果不一致，则给出驾驶动作调整方案，若比对结果一致，则计算该驾驶行为相关数据；所述驾驶状态分析模块根据所述眼动仪和摄像机动态获取的驾驶员眼球动作、手部动作、肩位置姿态进行驾驶状态分析，并给出相应的驾驶状态调整方案；

所述语音输出模块用于对所述问题解决方案、情感回应、驾驶动作调整方案、驾驶行为数据以及驾驶状态调整方案进行语音输出。

上述方案中，可选地，所述摄像机和语音采集装置设置在VR驾驶座位正前方。

上述方案中，可选地，所述VR驾驶操纵装置包括汽车方向盘、换挡手柄、刹车踏板与油门踏板。

上述方案中，可选地，所述眼动仪设置在头戴显示器中。

上述方案中，可选地，还包括显示模块，用于对问题解决方案、情感回应、驾驶动作调整方案、驾驶状态调整方案以及驾驶行为数据以文字形式进行输出。

上述方案中，可选地，所述调整方案包括驾驶动作操作步骤。

上述方案中，可选地，所述计算该驾驶行为相关数据包括：速度、准确度以及安全性评估。

本申请至少具有以下有益效果：

本申请通过在模拟驾驶过程中，通过语音分析模块对驾驶员提出的问题进行并给出相应回答，对驾驶过程中驾驶员的情绪进行监测，给出相应的情绪抚慰，对于驾驶过程中的驾驶员的状态进行监控，提醒学员保持良好的驾驶状态，还对驾驶过程中驾驶行为的判断，提供正确的驾驶行为，以及反馈驾驶数据。

附图说明

图1为本申请一个实施例提供的一种基于VR驾驶的数字人交互驾驶培训系统架构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于VR驾驶的数字人交互驾驶培训系统，包括数据采集模块、中心处理模块以及语音输出模块。

所述数据采集模块包括摄像机、语音采集装置、设置在VR驾驶操纵装置上的多个传感器以及佩戴于驾驶员眼部的头戴显示器；所述头戴显示器内部设置有眼动仪，用于追踪驾驶员眼球的位置和移动轨迹；

具体地，摄像机设置在驾驶座位正前方，以使得能够清晰地采集驾驶员脸部图像以及手部操作。

语音采集装置设置同样设置在驾驶座位正前方，驾驶座位和语音采集装置的距离不宜过大，以保证语音采集装置清晰地采集驾驾驶员所提出的问题。

传感器设置在VR驾驶操纵装置上，包括汽车方向盘、换挡手柄、刹车踏板与油门踏板。其可在汽车方向盘上设置旋转角度传感器，以通过检测汽车方向盘的旋转角度判断车辆的转弯情况；可在换挡手柄处设置档位检测传感器，以通过档位检测传感器判断车辆的所处档位；可在刹车踏板与油门踏板设置压力传感器。当然，在驾驶操纵装置上所设置的传感器包括但不限于以上所述内容。

头戴显示器中不仅显示驾驶场景，其中还设置于眼动仪，以此当头戴显示器佩戴在眼睛处时，能够追踪眼球的位置和移动轨迹。

所述数据处理模块包括语音分析模块、情感分析模块、驾驶行为分析模块、驾驶状态分析模块；

所述语音分析模块用于对语音采集装置获取的驾驶员的问题进行分析，并根据分析结果给出相应问题的解决方案；

具体地，可设置具体的语音识别标志，当驾驶员进行说出该语音识别内容时，后面的内容即为提问内容。语音分析模块根据所提出的问题进行分析，给出相应解决的方案。例如，在模拟驾驶培训中，学员使用本发明的系统与数字人进行对话。学员可以向数字人提问，如"我应该如何正确变道？”或“我在刹车时感到有些失控，该怎么办？”。数字人通过语音识别技术理解学员的问题，并针对性地给出指导和建议。

所述情感分析模块用于对摄像机所采集的驾驶员脸部图像进行分析，判断驾驶员的情感状态，并生成相应的情感回应；

具体地，根据摄像机采集的图像，识别脸部表情，并对脸部表情的情感状况进行分析，给出相应的情感回复。比如，可使用摄像头等外部设备采集信息并使用相应分析技术识别学员的情感状态，如紧张、焦虑或兴奋等。基于学员的情感状态，系统能够生成相应的情感回应，例如鼓励、安慰或积极反馈，以提供人性化的教学体验。

所述驾驶行为分析模块用于根据所述VR驾驶操纵装置上的传感器获取的数据进行驾驶行为的推演，并将推演出的驾驶行为与对应路段的标准驾驶行为进行比对，若比对结果不一致，则给出驾驶动作调整方案，若比对结果一致，则计算该驾驶行为相关数据；

具体地，所述驾驶分析行为模块先进行驾驶行为的判断，并在驾驶分析行为模块中储存驾驶场景中所有路段的标准驾驶行为，对所述行为进行判断之后，如判断出车辆正在进行倒车操作，而所述驾驶场景对应的路段标准驾驶场景为直行，因此，立刻给出警示，且给出调整方案。该调整方案包括调整方向盘、换挡手柄、刹车踏板与油门踏板等等操作步骤。若比对结果一致，说明操作正确，可进行驾驶行为数据的获取，比如倒车的准确度、倒车速度，反馈给驾驶员以此用来驾驶员对驾驶行为进行调整。

所述驾驶状态分析模块根据所述眼动仪和摄像机动态获取的驾驶员眼球动作、手部动作、肩位置姿态进行驾驶状态分析，并给出相应的驾驶状态调整方案；

具体地，根据眼动仪动态追踪眼球位置和移动轨迹，以此用来判断驾驶员的注意力是否集中，如驾驶员在极短的时间内，眼球位置不断变化，说明驾驶员的注意力未能注视前方，因此给出提示。根据摄像机拍摄的照片中识别手部位置、以及肩颈位置给出对应调整方案。例如，若手不在方向盘上，提醒驾驶员调整手的位置。

所述语音输出模块用于对所述问题解决方案、情感回应、驾驶动作调整方案、驾驶行为数据以及驾驶状态调整方案进行语音输出。

具体地，语音输出单元将上述处理模块给出的处理办法进行语音输出，以提示驾驶员正确操作。

上述基于VR驾驶的数字人交互驾驶培训系统方法中，本申请通过在模拟驾驶过程中，通过语音分析模块对驾驶员提出的问题进行并给出相应回答，对驾驶过程中驾驶员的情绪进行监测，给出相应的情绪抚慰，对于驾驶过程中的驾驶员的状态进行监控，提醒学员保持良好的驾驶状态，还对驾驶过程中驾驶行为的判断，提供正确的驾驶行为，以及反馈驾驶数据。

在一个实施例中还包括显示模块，用于对问题解决方案、情感回应、驾驶动作调整方案、驾驶状态调整方案以及驾驶行为数据以文字形式进行输出。

具体地，该显示模块可与头戴显示器中，直接将文字输出结果输出至VR显示器上。且可在该界面体现为一个呈现在显示屏上的虚拟人物，并配备自然语言输入输出的功能，实现数字人与学员之间的交互。

在一个实施例中，所述调整方案包括驾驶动作操作步骤。

在一个实施例中，所述计算该驾驶行为相关数据包括：速度、准确度以及安全性评估。

本申请利用高度逼真的驾驶场景模拟技术，为学员提供真实的驾驶体验。学员在模拟环境中进行驾驶操作时，系统能够实时采集、分析和反馈驾驶数据，如操作准确度、反应时间和安全性评估等。同时基于学员的驾驶表现和需求，系统中的数字人能够提供人性化的驾驶指导和实时的教学反馈。数字人通过对学员的驾驶行为进行监测和分析，发现潜在的错误或改进点，并及时给出指导和建议，以帮助学员纠正错误、改进技能。还用先进的语音识别技术，将学员的口头指令和问题转化为可理解的文本形式，然后，自然语言处理技术对这些文本进行分析和理解，以便数字人能够准确理解学员的意图和需求。还可使用摄像头等外部设备采集信息并使用相应分析技术识别学员的情感状态，如紧张、焦虑或兴奋等。基于学员的情感状态，系统能够生成相应的情感回应，例如鼓励、安慰或积极反馈，以提供人性化的教学体验。并为了实现数字人与学员之间的交互，系统提供了一个直观友好的人机交互界面，该界面体现为一个呈现在显示屏上的虚拟人物，并配备上文所述自然语言输入输出的功能。

因此，本申请能够提供更加逼真和人性化的驾驶培训体验，增强学员的参与度和实战感；实时提供教学反馈和指导，帮助学员及时纠正驾驶错误，提高学习效果；减少学员在驾驶模拟器中的孤独和恐慌感，创造更好的学习氛围；通过数字人的实际驾驶经验和安全技巧分享，提高学员的驾驶技能和自信心。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。