车载情感化交互平台及交互方法

技术领域

本发明涉及汽车零部件领域，更具体地说，涉及汽车的智能座舱零部件领域。

背景技术

目前，传统车厂提供的驾舱交互设计，偏重于对车内各电子控制单元和传感器的数据分析，提供给用户的服务响应偏机械化和流程化，受制于外部数据收集与分享的限制，在人性化和个性化方面凸显不足。而新兴车厂的驾舱交互设计，则偏重于互联网新技术的引入和服务/内容供应商的数据，对座舱内及驾驶场景下的特殊性分析不足，服务的智能化和准确度不高。

发明内容

根据本发明的一实施例，提出一种车载情感化交互平台，车内组件和车外组件。车内组件包括：车内交互模块、车内单元适配模块、车内数据处理模块、车内用户数据库、数据通信模块、用户模型更新模块、用户模型数据库、车内状态管理模块、服务场景管理模块和车内单元控制模块。车内交互模块收集车辆信息以及驾乘人员的信息。车内单元适配模块对车内交互模块进行适配，建立与车内交互模块的连接。车内数据处理模块从车内交互模块获取车辆信息和驾乘人员信息的元数据，将元数据转换成关系型数据。车内数据处理模块生成的关系型数据保存到车内用户数据库中。数据通信模块与车外组件通信。用户模型更新模块通过数据通信模块获取用户模型机器学习服务器所生成并更新的用户模型。用户模型更新模块获取的更新的用户模型保存在用户模型数据库中，作为当前用户模型。车内状态管理模块根据车内用户数据库中的关系型数据确定车内状态。服务场景管理模块根据用户模型数据库中的当前用户模型和车内状态管理模块中的车内状态确定服务场景模式。车内单元控制模块根据服务场景管理模块确定的服务场景模式控制车载部件执行对应的动作。车外组件包括：内容服务器、人员数据服务器和用户模型机器学习服务器。内容服务器提供多媒体内容数据。人员数据服务器提供驾乘人员的基本信息。用户模型机器学习服务器为驾乘人员生成用户模型，并通过数据通信模块获取车内用户数据库中更新的关系型数据，基于关系型数据对用户模型进行更新。

在一个实施例中，车内交互模块包括：信息娱乐设备、驾乘人员监测设备、控制器及传感器。信息娱乐设备收集导航数据、媒体数据、语音数据、驾舱控制命令。驾乘人员监测设备获取驾乘人员的表情信息、行为信息和健康信息。控制器及传感器获取油门信息、制动信息、轮速信息、转角信息、灯光信息、空调信息和座椅信息。

在一个实施例中，驾乘人员监测设备包括：数个车内摄像头和毫米波雷达。数个车内摄像头获取车内的全景图像，并从全景图像中提取驾乘人员的面部图像和身体图像，从面部图像中获取表情信息，从身体图像中获取行为信息。毫米波雷达安装在座椅上，毫米波雷达获取驾乘人员的心率数据作为健康信息。

在一个实施例中，内容服务器提供的多媒体内容数据包括：天气数据、日历、音频数据、视频数据、图文数据。人员数据服务器提供的驾乘人员的基本信息包括驾乘人员的姓名、年龄、性别、家庭信息、兴趣爱好信息。

在一个实施例中，用户模型机器学习服务器包括：泛型用户模型学习模块和个性化用户模型学习模块。泛型用户模型学习模块根据海量车内用户数据生成泛型用户模型。个性化用户模型学习模块基于泛型用户模型，根据本车的车内用户数据生成适用于本车的驾乘人员的个性化用户模型。

在一个实施例中，车内单元控制模块根据服务场景管理模块确定的服务场景模式控制车载部件执行对应的动作包括：车内控制单元控制信息娱乐设备进行目的地推送、路线推送、媒体推送或者服务推送。车内控制单元控制控制器进行空调调整、灯光调整、座椅调整、驾驶辅助系统参数调整。

根据本发明的一实施例，提出一种车载情感化交互方法，包括如下的步骤：

模块适配及信息采集步骤，对车内交互模块进行适配，建立与车内交互模块的连接并由车内交互模块收集车辆信息以及驾乘人员的信息；

数据处理步骤，将车内交互模块获取的车辆信息和驾乘人员信息的元数据转换成关系型数据并保存到车内用户数据库中；

用户模型机器学习及生成步骤，通过数据通信模块与车外的用户模型机器学习服务器通信，用户模型机器学习服务器为驾乘人员生成用户模型，并通过数据通信模块获取车内用户数据库中更新的关系型数据，基于所述关系型数据对用户模型进行更新；

用户模型更新步骤，通过数据通信模块获取用户模型机器学习服务器所生成并更新的用户模型，将该更新的用户模型保存在用户模型数据库中，作为当前用户模型；

车内状态确定步骤，根据车内用户数据库中的关系型数据确定车内状态；

服务场景确定步骤，根据用户模型数据库中的当前用户模型和车内状态确定服务场景模式；

场景执行步骤，根据确定的服务场景模式控制车载部件执行对应的动作。

在一个实施例中，由车内交互模块收集车辆信息以及驾乘人员的信息包括：

由信息娱乐设备收集导航数据、媒体数据、语音数据、驾舱控制命令；

由驾乘人员监测设备获取驾乘人员的表情信息、行为信息和健康信息；

由控制器及传感器获取油门信息、制动信息、轮速信息、转角信息、灯光信息、空调信息和座椅信息。

在一个实施例中，由驾乘人员监测设备获取驾乘人员的表情信息、行为信息和健康信息包括：

通过数个车内摄像头获取车内的全景图像，并从全景图像中提取驾乘人员的面部图像和身体图像，从面部图像中获取表情信息，从身体图像中获取行为信息；

通过安装在座椅上的毫米波雷达获取驾乘人员的心率数据作为健康信息。

在一个实施例中，用户模型机器学习及生成步骤中，

先根据海量车内用户数据生成泛型用户模型；

再基于泛型用户模型，根据本车的车内用户数据生成适用于本车的驾乘人员的个性化用户模型，其中生成个性化用户模型还使用由车外的人员数据服务器提供的驾乘人员的基本信息，包括驾乘人员的姓名、年龄、性别、家庭信息、兴趣爱好信息。

在一个实施例中，场景执行步骤包括：

控制信息娱乐设备进行目的地推送、路线推送、媒体推送或者服务推送，所述媒体推送的内容包括由车外的内容服务器提供的多媒体内容数据，包括：天气数据、日历、音频数据、视频数据、图文数据；

控制单元控制控制器进行空调调整、灯光调整、座椅调整、驾驶辅助系统参数调整。

本发明的车载情感化交互平台和交互方法为了克服现有技术中交互服务的不足，结合传统车厂和互联网技术的优势，提出了一种新的交互平台架构系统，该平台整合了车内数据资源和车外用户信息，从而为用户提供主动式情感化的交互服务，该服务能够更精准地满足用户实时的需求。

附图说明

图1揭示了根据本发明的一实施例的车载情感化交互平台的结构框图。

图2a和图2b揭示了根据本发明的一实施例的车载情感化交互平台的工作流程。

图3揭示了根据本发明的一实施例的车载情感化交互方法的流程图。

具体实施方式

为了解决现有技术中存在的不足，本发明引入机器学习技术，用于车用环境下的用户模型建立。机器学习作为一种实现人工智能的方法，是使用算法来解析数据并从中学习，从而对真实世界中的事件做出决策和预测。目前该技术已经广泛应用于各互联网企业及专业商用领域，例如推荐系统，个性化服务，预测规划，精准营销等。但将其应用于车内为用户服务，必须结合车内场景，及车内可获得的数据类型，由于其数据的特殊性及不易获得性，因此需要全新的平台架构进行技术支撑。本发明着眼于车辆软件架构系统的搭建及应用，可适用并单独部署于整车架构中各类具备较大运算能力的控制器或电子单元，也可以功能拆解后分布式部署于多个控制器或电子单元。

图1揭示了根据本发明的一实施例的车载情感化交互平台的结构框图。参考图1所示，该车载情感化交互平台包括车内组件101和车外组件102。车内组件101包括：车内交互模块111、车内单元适配模块112、车内数据处理模块113、车内用户数据库114、数据通信模块115、用户模型更新模块116、用户模型数据库117、车内状态管理模块118、服务场景管理模块119和车内单元控制模块110。车外组件102包括：内容服务器121、人员数据服务器122和用户模型机器学习服务器123。

车内交互模块111收集车辆信息以及驾乘人员的信息。在图示的实施例中，车内交互模块111包括：信息娱乐设备131、驾乘人员监测设备132、控制器及传感器133。信息娱乐设备131收集导航数据、媒体数据、语音数据、驾舱控制命令等车内的环境数据信息。驾乘人员监测设备132获取驾乘人员的表情信息、行为信息和健康信息。在一个实施例中，驾乘人员监测设备132包括：数个车内摄像头和毫米包雷达。数个车内摄像头获取车内的全景图像，并从全景图像中提取驾乘人员的面部图像和身体图像，从面部图像中获取表情信息，从身体图像中获取行为信息。数个车内摄像头可以包括设置在车辆前方的摄像头，以获取驾乘人员的面部图像和正面身体图像，还可以包括设置在车顶的摄像头，获取车内的全景图像以及驾乘人员的手部图像。毫米波雷达可以安装在座椅上，毫米波雷达获取驾乘人员的心率数据、呼吸数据等作为健康信息。控制器及传感器133获取油门信息、制动信息、轮速信息、转角信息、灯光信息、空调信息和座椅信息等车辆信息。

车内单元适配模块112对车内交互模块进行适配，建立与车内交互模块的连接。在一个实施例中，车内单元适配模块112对信息娱乐设备131、驾乘人员监测设备132、控制器及传感器133进行适配并建立与这些设备之间的连接。

车内数据处理模块113从车内交互模块获取车辆信息和驾乘人员信息的元数据，将元数据转换成关系型数据。车内交互模块111所获取车辆信息和驾乘人员信息的数据通常是元数据格式，不能被机器学习模块所识别，所以无法直接用于机器学些。车内数据处理模块113将这些元数据转换为机器学习模块所能识别的关系型数据。由车内数据处理模块113生成的关系型数据被保存到车内用户数据库114中。

数据通信模块115与车外组件通信。数据通信模块115实现车内组件101和车外组件102之间的数据交换。

用户模型更新模块116通过数据通信模块115获取用户模型机器学习服务器123所生成并更新的用户模型。用户模型机器学习服务器123后面会详细介绍。用户模型更新模块116获取的更新的用户模型保存在用户模型数据库117中，并被作为当前用户模型共其他的模块使用。

车内状态管理模块118根据车内用户数据库中的关系型数据确定车内状态。车内状态管理模块118使用到的关系型数据是诸如驾乘人员的心率数据、呼吸数据等的健康信息，以及诸如油门信息、制动信息、轮速信息、转角信息、灯光信息、空调信息和座椅信息等的车辆信息。综合评估车辆信息和驾乘人员的健康信息后，能够确定当前的车内状态，比如驾驶员的情绪、健康状况以及当前车辆的行驶状态。

服务场景管理模块119根据用户模型数据库117中的当前用户模型和车内状态管理模块中的车内状态确定服务场景模式。这种服务模式场景是综合考虑了驾乘人员的情绪和健康状况，以及车辆的行驶状态，评估当前的安全风险，然后对车辆的各种设备下达控制指示，以希望调节驾驶员的情绪，或者调整车辆的行驶状态。比如，可以对于车内用户的状态进行实时的反馈，例如注意力不集中，疲劳驾驶，情绪兴奋，路怒状态等，从而达到提升驾驶体验，提高驾驶安全性的作用。这种反馈是主动式的关怀，无需用户发出指令。

车内单元控制模块110根据服务场景管理模块119确定的服务场景模式控制车载部件执行对应的动作。在一个实施例中，车内单元控制模块110根据服务场景管理模块119确定的服务场景模式控制车载部件执行对应的动作包括：车内控制单元119控制信息娱乐设备131进行目的地推送、路线推送、媒体推送或者服务推送。车内控制单元119控制控制器进行空调调整、灯光调整、座椅调整、驾驶辅助系统参数调整。车内单元控制模块110对车内设备进行各种控制，以期望获得服务场景管理模块119所设定的调整驾乘人员情绪或者调整车辆行驶状态的效果。

继续参考图1所示，车外组件102包括：内容服务器121、人员数据服务器122和用户模型机器学习服务器123。

内容服务器121提供多媒体内容数据。在一个实施例中，内容服务器121提供的多媒体内容数据包括：天气数据、日历、音频数据、视频数据、图文数据。内容服务器121提供的多媒体内容数据可以在车内控制单元119控制信息娱乐设备131进行各种推送时使用。

人员数据服务器122提供驾乘人员的基本信息。在一个实施例中，人员数据服务器122提供的驾乘人员的基本信息包括驾乘人员的姓名、年龄、性别、家庭信息、兴趣爱好信息。人员数据服务器122提供的驾乘人员的基本信息在个性化用户模型学习模块生成本车的驾乘人员的个性化用户模型时使用。

用户模型机器学习服务器123为驾乘人员生成用户模型，并通过数据通信模块获取车内用户数据库中更新的关系型数据，基于关系型数据对用户模型进行更新。在图示的实施例中，用户模型机器学习服务器123包括：泛型用户模型学习模块124和个性化用户模型学习模块125。泛型用户模型学习模块124根据海量车内用户数据生成泛型用户模型。泛型用户模型学习模块124使用的海量车内用户数据通常是来自互联网的大数据，即所有装备类似平台的车辆所采集的各自车辆的车内用户数据的集合。根据海量大数据得出大类用户的特征，即泛型用户模型。在一个实施例中，泛型用户模型会将用户分为几个基本大类。个性化用户模型学习模块125基于泛型用户模型，根据本车的车内用户数据生成适用于本车的驾乘人员的个性化用户模型。个性化用户模型学习模块125从泛型用户模型中挑选与本车的用户最为匹配的用户大类作为基础模型，进一步结合本车的车内用户数据以及车外的人员数据服务器122提供的驾乘人员的基本信息来生成适用于本车的驾乘人员的个性化用户模型。适用于本车的驾乘人员的个性化用户模型作为更新的用户模型被反馈给用户模型更新模块116并保存在用户模型数据库117中。

图2a和图2b揭示了根据本发明的一实施例的车载情感化交互平台的工作流程。本发明的车载情感化交互平台具有两种工作模式：学习模式和服务模式。首先参考图2a，图2a揭示了根据本发明的一实施例的车载情感化交互平台在学习模式下的工作过程。学习模式应包括以下过程：

(1)信息娱乐设备收集数据，收集的数据包括但不限于：导航数据，媒体数据，语音数据，驾舱控制命令等。

(2)驾乘人员监测设备收集数据，收集的数据包括但不限于：表情，动作，心率等。

(3)控制器及传感器收集数据，收集的数据包括但不限于：油门，制动，轮速，转角，灯光，空调，座椅等。

(4)车内单元适配模块整理各个部件所收集的元数据。

(5)车内数据处理模块将元数据转换成机器学习服务器所能够识别和使用的关系型数据。

(6)车内状态管理模块根据车内用户数据库中的关系型数据确定车内状态。

(7)关系型数据保存到车内用户数据库中。

(8)数据通信模块与车外组件通信，将关系型数据发送给泛型用户模型学习模块和个性化用户模型学习模块。

(9)内容服务器提供多媒体内容数据，所提供的多媒体数据包括但不限于：天气，日历，媒体，服务等。

(10)人员数据服务器提供驾乘人员的基本信息，驾乘人员的基本信息包括但不限于：姓名，年龄，性别，家庭，爱好等。

(11)泛型用户模型学习模块根据海量车内用户数据生成泛型用户模型。

(12)个性化用户模型学习模块基于泛型用户模型，根据本车的车内用户数据生成适用于本车的驾乘人员的个性化用户模型，并将适用于本车的驾乘人员的个性化用户模型作为更新的用户模型反馈给数据通信模块。

(13)数据通信模块将更新的用户模型提供给用户模型更新模块。

(14)更新的用户模型保存在用户模型数据库中。

参考图2b，图2b揭示了根据本发明的一实施例的车载情感化交互平台在服务模式下的工作过程。服务模式主要根据已更新的用户模型及用户实时车内数据进行决策，并控制各控制器进行响应，为用户提供主动式情感化的服务。服务模式仅涉及车内组件，服务模式应包括以下过程：

(1)信息娱乐设备收集数据，收集的数据包括但不限于：导航数据，媒体数据，语音数据，驾舱控制命令等。

(2)驾乘人员监测设备收集数据，收集的数据包括但不限于：表情，动作，心率等。

(3)控制器及传感器收集数据，收集的数据包括但不限于：油门，制动，轮速，转角，灯光，空调，座椅等。

(4)车内单元适配模块整理各个部件所收集的元数据。

(5)车内数据处理模块将元数据转换成机器学习服务器所能够识别和使用的关系型数据。

(6)车内状态管理模块根据车内用户数据库中的关系型数据确定车内状态。

(7)关系型数据保存到车内用户数据库中。

(1)、(2)、(3)、(4)、(5)、(6)、(7)与前述的学习模式相同，用于生成用户车内行为/情绪数据。

(8)用户模型数据库提供个性化的用户模型，描述特定用户的特征模型。

(9)服务场景管理模块依据实时用户车内数据及用户特征模型决策的响应数据。

(10)车内单元控制模块输出针对车内各控制器的控制参数，并通过车内单元适配模块反馈给各个车内控制器。

(11)信息娱乐设备收到控制参数，包括但不限于：目的地推送，路线推送，媒体推送，服务推送等。

(12)控制器及传感器收到控制数据，包括但不限于：空调调整，灯光调整，座椅调整，驾驶辅助系统参数调整等。

本发明还提出一种车载情感化交互方法，该方法由前述的车载情感化交互平台实现。图3揭示了根据本发明的一实施例的车载情感化交互方法的流程图。参考图3所示，该车载情感化交互方法包括如下的步骤：

S1、模块适配及信息采集步骤。模块适配及信息采集步骤S1中对车内交互模块进行适配，建立与车内交互模块的连接并由车内交互模块收集车辆信息以及驾乘人员的信息。在一个实施例中，由车内交互模块收集车辆信息以及驾乘人员的信息包括：

由信息娱乐设备收集导航数据、媒体数据、语音数据、驾舱控制命令。

由驾乘人员监测设备获取驾乘人员的表情信息、行为信息和健康信息。在一个实施例中，由驾乘人员监测设备获取驾乘人员的表情信息、行为信息和健康信息包括：通过数个车内摄像头获取车内的全景图像，并从全景图像中提取驾乘人员的面部图像和身体图像，从面部图像中获取表情信息，从身体图像中获取行为信息。以及通过安装在座椅上的毫米波雷达获取驾乘人员的心率数据作为健康信息。

由控制器及传感器获取油门信息、制动信息、轮速信息、转角信息、灯光信息、空调信息和座椅信息。

S2、数据处理步骤。数据处理步骤S2中将车内交互模块获取的车辆信息和驾乘人员信息的元数据转换成关系型数据并保存到车内用户数据库中。

S3、用户模型机器学习及生成步骤。用户模型机器学习及生成步骤S3中通过数据通信模块与车外的用户模型机器学习服务器通信，用户模型机器学习服务器为驾乘人员生成用户模型，并通过数据通信模块获取车内用户数据库中更新的关系型数据，基于关系型数据对用户模型进行更新。在一个实施例中，用户模型机器学习及生成步骤S3中，

先根据海量车内用户数据生成泛型用户模型。

再基于泛型用户模型，根据本车的车内用户数据生成适用于本车的驾乘人员的个性化用户模型，其中生成个性化用户模型还使用由车外的人员数据服务器提供的驾乘人员的基本信息，包括驾乘人员的姓名、年龄、性别、家庭信息、兴趣爱好信息。

S4、用户模型更新步骤。用户模型更新步骤S4中通过数据通信模块获取用户模型机器学习服务器所生成并更新的用户模型，将该更新的用户模型保存在用户模型数据库中，作为当前用户模型。

S5、车内状态确定步骤。车内状态确定步骤S5中根据车内用户数据库中的关系型数据确定车内状态。

S6、服务场景确定步骤。服务场景确定步骤S6中根据用户模型数据库中的当前用户模型和车内状态确定服务场景模式。

S7、场景执行步骤。场景执行步骤S7中根据确定的服务场景模式控制车载部件执行对应的动作。在一个实施例中，场景执行步骤S7包括：

控制信息娱乐设备进行目的地推送、路线推送、媒体推送或者服务推送，所述媒体推送的内容包括由车外的内容服务器提供的多媒体内容数据，包括：天气数据、日历、音频数据、视频数据、图文数据。

控制单元控制控制器进行空调调整、灯光调整、座椅调整、驾驶辅助系统参数调整。

本发明的车载情感化交互平台和交互方法解决了车内用户数据与车外用户数据的融合问题，采用机器学习机制形成驾乘人员独有的用户模型，并将该模型用于提供车内服务的决策依据，满足驾舱发展智能化、人性化、情感化、主动式服务的趋势要求，是实现车内人工智能的基础架构系统。

本发明的车载情感化交互平台和交互方法为了克服现有技术中交互服务的不足，结合传统车厂和互联网技术的优势，提出了一种新的交互平台架构系统，该平台整合了车内数据资源和车外用户信息，从而为用户提供主动式情感化的交互服务，该服务能够更精准地满足用户实时的需求。

还需要注意的是，以上所列举的实施例仅为本发明的具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。