一种悬浮式多功能车载交互机器人的控制方法及装置

技术领域

本发明涉及一种智能网联汽车技术领域，特别是关于一种悬浮式多功能车载交互机器人的控制方法及装置。

背景技术

随着智能化、网联化、体验化、个性化等发展趋势推动汽车向最大的智能终端快速转变，用户对设备智能化的接受度不断提高，并在万物互联时代背景下，用户对汽车个性化人车交互等需求日益旺盛，为了满足用户上述要求，构建人车互交的核心渠道，一体化处理用户万物互联的要求，当前个性化人机交互主要采用屏幕交互及全息形态交互为主，屏幕交互为辅的方式。

屏幕交互作为较为传统的人机交互方式，由车载显示大屏，通过触摸，图形和文字方式与驾驶人员进行直接交互，而随着当前车内显示屏幕不断增大，数量不断增多，导致其信息交互碎片化程度增强，在交互完整性及行驶安全性方面都存在较多的潜在风险。因此，当前为解决上述问题，提出采用通过全息技术为主的交互方式，并辅以车载屏幕，在提升驾驶安全，降低交互碎片化的同时，进一步提升交互体验性，但该种方式并未从根本上解决驾驶安全及交互碎片化的问题，并由于采用全息方式会受到光线的影响，由此导致新的交互信息传达障碍，从而引发新的问题。

因此，为解决一方面传统汽车人机交互设备主要由仪表板、中控、车载信息娱乐(IVI)终端等显示大屏构成，其采用功能分区方式导致交互功能碎片化的问题，另一方面，汽车交互加速向人工智能转变，要求全新的汽车人机交互方式更加人性化、表现立体化、接触真实感，注重互动性的问题，第三方面，保证驾驶过程中，驾驶人员保证其视线始终处于车辆正前方，减少脱离前向视线时间，增强驾驶安全性的问题。

发明内容

针对上述问题，本发明的目的是提供一种悬浮式多功能车载交互机器人的控制方法及装置，其能保证交互信息完整性、具有良好的交互体验，并能增强驾驶安全性。

为实现上述目的，第一方面，本发明采取以下技术方案：一种悬浮式多功能车载交互机器人的控制方法，其包括：智能网联汽车启动时，将车载交互机器人悬浮在空中，判定当前驾驶者是否为车主，并进行车主面部表情识别，进行友好交互；由车主发出语音指令，与车载交互机器人进行语音交互，根据车主所在方向使车载交互机器人正面面向车主；获取车辆速度信息，根据车辆速度信息调整车载交互机器人的磁悬浮力场，避免车载交互机器人从磁悬浮动力控制模块上方飞出造成意外伤害。

进一步，所述判定当前驾驶者是否为车主，包括：通过图像识别判定当前驾驶者是否为车主，并通过5G网络与物联网服务后台交互，上传驾驶者信息，若驾驶者信息与物联网服务后台内信息不符，则通知车主车辆开启情况；相符，则进行面部表情识别。

进一步，所述语音交互包括：

车主向车载交互机器人发送语音指令，进行语音交互；

车载交互机器人对语音命令完成解析，向车辆其他控制器发送相应控制指令，控制车辆其他控制器完成命令要求，并根据声场定位方法确定车主所在方向。

进一步，对车主面部表情识别及声场定位方法包括：

驾驶者向悬浮式多功能车载交互机器人发出语音指令；

判断指令信息是否包括驾驶者的语音和图像信息，如果包含图像信息就则进行图像处理，如果包含语音信息则进行声场定位；

将驾驶者脸部图像及声音中反应情绪的部分信息打包，通过5G网络统一发送给物联网服务后台，进行人脸识别大数据处理，核对该驾驶员是否为本车车主；

物联网服务后台的人类情绪大数据处理，将根据物联网服务后台的面部情绪图库进行智能匹配，判断交互驾驶员的情绪状态，并辅以驾驶员语音，语调能反应情绪的部分，来综合判定当前驾驶者的情绪，并将当前驾驶者的情绪结果返回给机器人；

机器人采用相应的交互表情及语气与驾驶者交流，来提升交互友好性；

通过短信方式告知车辆的车主，当前有非车主驾驶车辆，是否进行服务授权；

将当前未授权结果发回给机器人，机器人给出语音提示未授权给驾驶者，完成本次交互动作。

进一步，所述图像处理包括：

通过图像滤波算法对驾驶者图像进行过滤，根据预先对车载交互机器人的摄像头进行标定后，对图像识别的背景去除，并修正由于摄像头采用仰视摄录所导致的人脸图像变形，判定所采集的人脸图像是否完整，在不完整或完整程度不够的情况下，先行完成一半的人脸图像的识别，并以此数据为基础补全完整人脸图像，获取驾驶者面部图像区域；

对驾驶者面部图像进行特征提取，提取能反应驾驶者情绪的部分。

进一步，所述声场定位包括：

通过音频滤波算法对驾驶者声音的杂音进行过滤，去除背景音干扰源；

采用音频放大算法放大驾驶者声音到达机器人两个麦克的时间差，判断声音发出的音源方向在机器人的左侧、右侧或者正前方，并指示机器人向音源方向旋转，机器人显示屏将根据指示进行转动；

对驾驶者声音进行特征提取，获取能反应驾驶者情绪的部分。

进一步，所述根据车主所在方向使车载交互机器人正面面向车主，包括：根据车主所在方向，经转向控制处理将车载交互机器人正面面向用户。

进一步，所述调整车载交互机器人的磁悬浮力场，包括：若车辆速度达到预先设定速度预置，则降低磁悬浮力量，降低交互控制器悬浮高度，使车载交互机器人复位。

第二方面，本发明采取以下技术方案：一种悬浮式多功能车载交互机器人的控制装置，该控制装置用于实现上述控制方法，所述控制装置包括：

磁悬浮动力控制模块，与人工智能控制器连接，接收人工智能控制器传输至的控制指令，控制车载交互机器人的磁悬浮力场，将车载交互机器人悬浮到空中或复位；

语音识别模块，用于识别驾驶员语音指令，传输至人工智能控制器，与驾驶员进行语音交互；

图像识别模块，用于识别驾驶员面部表情，传输至人工智能控制器，根据识别到的表情与车主进行友好交互；

转向控制模块，与人工智能控制器连接，根据人工智能控制器传输至的控制指令，控制悬浮在空中的车载交互机器人进行转向，使其面向驾驶员；

车身数据模块，用于获取车辆的当前状态信息，并传输至人工智能控制器；

人工智能控制器，与物联网服务后台经5G通信模块连接，将当前设备、车辆、车主身份识别信息与物联网服务后台交互。

第三方面，本发明采取以下技术方案：一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明将GPS定位技术、电磁悬浮技术、CAN总线采集技术、5G通信技术、语音识别技术、定向声场技术、图像识别技术、情绪识别技术及物联网技术进行融合，为智能网联汽车提供更加人性化的新型智能人机交互。

2、本发明基于电磁悬浮技术，通过控制电流所产生悬浮磁力的大小并结合自带位置传感器及控制器对磁场控制，使悬浮式多功能车载交互机器人可稳定悬浮在空中，由此一方面解决在车辆行驶过程中降低悬浮式多功能车载交互机器人悬浮高度，避免由于车速突变产生惯性所导致机器人飞出而引发驾驶危险，另一方面解决在车辆行驶过程中悬浮式多功能车载交互机器人受惯性影响自行旋转的问题。

3、本发明基于定向声场技术，可对语音指令的声音来源进行判定，从而由转向控制模块控制机器人的显示屏转向，以达到面对面交互的目的，提升交互互动性。

4、本发明基于图像识别技术和情绪识别技术，对驾驶员及其他交互人员的情绪进行识别，特别是根据物联网服务后台的数万张亚洲人种的面部情绪图库进行智能匹配，从而精确判断交互人员，尤其是驾驶员的情绪状态，提升交互体验性。

综上该装置解决了整合交互信息，保证交互信息完整性；使汽车人机交互方式更加人性化、表现立体化、接触真实感，注重互动性，给予驾驶员良好的交互体验；保证驾驶过程中，驾驶人员保证其视线始终处于车辆正前方，减少脱离前向视线时间，增强驾驶安全性。

附图说明

图1是本发明一实施例中悬浮式多功能车载交互机器人的控制方法流程图；

图2是本发明一实施例中悬浮式多功能车载交互机器人的控制装置结构示意图；

图3是本发明一实施例中悬浮式多功能车载交互机器人的人工智能融合算法流程。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明将GPS定位技术、电磁悬浮技术、CAN总线采集技术、5G通信技术、语音识别技术、定向声场技术、图像识别技术、情绪识别技术及物联网技术进行融合，为智能网联汽车提供更加人性化的新型智能人机交互。智能网联汽车在启动过程中，悬浮式多功能车载交互机器人的磁悬浮动力控制模块上电，提供电流从而生成磁场提供磁悬浮力场，并结合自带位置传感器判定当前交互机器人在水平方向是否处于自旋转状态及所旋转的方向，并根据其旋转方向由磁悬浮动力控制模块生成一个抵消旋转方向的磁场力，使车载交互机器人可稳定悬浮在空中；同时，图像及语音识别能力开启，在经过预先对车载交互机器人的摄像头及左右麦克矩阵进行标定后，优先进行驾驶者图像采集，但由于悬浮式多功能车载交互机器人为保证可面向车内所有乘员，因此其安装位置主要处在车辆中控台中央位置，由此将导致车载交互机器人采集图像过程中可能无法直接获取交互人员，尤其是驾驶员的完整面部图像，因此，在获取的人脸图像不完整或完整程度不够的情况下，先行对其中一半的人脸图像进行重点处理，并以此数据为基础补全完整人脸图像，与预存的驾驶员图像比较之后，判定当前驾驶者是否为车主，并通过5G网络与物联网服务后台交互，在发现不是车主情况下会通知车主车辆开启情况。在驾驶者采用语音方式与交互控制器交流时，交互控制器首先通过定向声场技术判定声音来源，并由转向控制模块控制交互控制器的显示屏转向，使显示屏朝向驾驶者，之后进行人脸图像识别，重点对能标明人类情绪的眼角，嘴角，面部等进行采集，并通过5G网络与物联网服务后台交互，上传人脸及重点部位信息，并根据后台反馈的当前声源所在人员的面部情绪判断，在显示屏显示各种表情，给交互者体现友好的面部交互感觉，并通过语音识别技术理解驾驶者通过语音发出的指令，并执行。当车辆在行驶过程中，为防止因为车辆紧急制动产生惯性，导致交互控制器从磁悬浮动力控制模块上方飞出造成意外伤害，通过车身数据模块获取车辆速度信息，在达到一定速度阈值情况下，通过降低电流输出的方式调整磁悬浮动力控制模块提供的磁悬浮力场，降低磁悬浮力量，降低交互控制器悬浮高度，使交互控制器进入磁悬浮动力控制模块下部限位凹槽内。

本发明将显示，语音，图像有效融合，将原有碎片化功能整合，并引入个性化，立体化，互动性的交互方式，使汽车人机交互方式更加人性化、方便与快捷，同时采用语音为主交互方式，保证驾驶过程中，驾驶人员保证其视线始终处于车辆正前方，减少脱离前向视线时间，增强驾驶安全性。

在本发明的一个实施例中，提供一种悬浮式多功能车载交互机器人的控制方法。

本实施例中，如图1所示，该方法包括以下步骤：

1)智能网联汽车启动时，将车载交互机器人悬浮在空中，判定当前驾驶者是否为车主，并进行车主面部表情识别，进行友好交互；

2)由车主发出语音指令，与车载交互机器人进行语音交互，根据车主所在方向使车载交互机器人正面面向车主；

3)获取车辆速度信息，根据车辆速度信息调整车载交互机器人的磁悬浮力场，避免车载交互机器人从磁悬浮动力控制模块上方飞出造成意外伤害。

上述步骤1)中，判定当前驾驶者是否为车主，具体为：通过图像识别判定当前驾驶者是否为车主，并通过5G网络与物联网服务后台交互，上传驾驶者信息，若驾驶者信息与物联网服务后台内信息不符，则通知车主车辆开启情况；相符，则进行面部表情识别。

上述步骤1)中，对用户当前的面部表情进行识别，判断用户情绪，显示出表情，形成友好的交互感受。

上述步骤2)中，语音交互的方法具体包括以下步骤：

2.1)车主向车载交互机器人进行语音交互时，先发送语音指令，车载交互机器人利用分别部署在其左右两侧的麦克分别接收到车主的声源信号；

2.2)车载交互机器人对语音命令完成解析，向车辆其他控制器发送相应控制指令，控制车辆其他控制器完成命令要求，并根据声场定位方法，车主声源信号到达两个麦克风的时间延迟情况，对测量到的声信号进行处理，仅在水平方向判定车主声源相对于麦克风方向和距离，从而得出车主所在方向。

上述步骤2)中，根据车主所在方向使车载交互机器人正面面向车主，具体为：根据车主所在方向，经转向控制处理将车载交互机器人正面面向用户。

优选的，上述步骤中，如图3所示，悬浮式多功能车载交互机器人对车主面部表情识别及声场定位方法包括以下步骤：

2.2.1)驾驶者向悬浮式多功能车载交互机器人发出语音指令；

2.2.2)判断指令信息是否包括驾驶者的语音和图像信息，如果包含图像信息就执行步骤2.2.3)，如果包含语音信息就执行步骤2.2.4)；

2.2.3)悬浮式多功能车载交互机器人通过摄像头采集驾驶者的面部图像，进行图像处理；

具体的，图像处理包括以下步骤：

2.2.3.1)通过图像滤波算法对驾驶者图像进行过滤，根据预先对车载交互机器人的摄像头进行标定后，对图像识别的背景去除，并修正由于摄像头采用仰视摄录所导致的人脸图像变形，之后判定所采集的人脸图像是否完整，在不完整或完整程度不够的情况下，先行完成一半的人脸图像的识别，并以此数据为基础补全完整人脸图像，从而获取驾驶者面部图像区域；

2.2.3.2)对驾驶者面部图像进行特征提取，重点获取眼角，嘴角，脸颊等能反应驾驶者情绪的部分；

2.2.4)悬浮式多功能车载交互机器人通过麦克采集驾驶者的声音，进行声场定位；

具体的，声场定位包括以下步骤：

2.2.4.1)通过音频滤波算法对驾驶者声音的杂音进行过滤，去除背景音等干扰源；

2.2.4.2)采用音频放大算法放大驾驶者声音到达机器人两个麦克的时间差，判断声音发出的音源方向在机器人的左侧、右侧或者正前方，并指示机器人向音源方向旋转，机器人显示屏将根据指示进行转动；

2.2.4.3)对驾驶者声音进行特征提取，重点获取语音，语调等能反应驾驶者情绪的部分；

2.2.5)将驾驶者脸部图像及声音中反应情绪的部分信息打包，通过5G网络统一发送给物联网服务后台，进行人脸识别大数据处理，核对该驾驶员是否为本车车主，如果是车主则执行下一步，如果不是车主则执行步骤2.2.9)；

2.2.6)物联网服务后台的人类情绪大数据处理，将根据物联网服务后台的数万张中国人及亚洲人种的面部情绪图库进行智能匹配，从而精确判断交互人员，尤其是驾驶员的情绪状态，并辅以驾驶员语音，语调等能反应情绪的部分，来综合判定当前驾驶者的情绪，并将当前驾驶者的情绪结果通过5G通信返回给机器人；

2.2.7)机器人采用相应的交互表情及语气与驾驶者交流，来提升交互友好性；

2.2.8)通过短信等方式告知车辆的车主，当前有非车主驾驶车辆，是否进行服务授权；如果进行授权则执行步骤2.2.6)，如果不进行授权则执行下一步；

2.2.9)将当前未授权结果通过5G通信发回给机器人，机器人给出语音提示未授权给驾驶者，完成本次交互动作。

上述步骤3)中，当车辆在行驶过程中，为防止因为车辆紧急制动产生惯性，导致车载交互机器人从上方飞出造成意外伤害，故需调整车载交互机器人的磁悬浮力场，具体为：若车辆速度达到预先设定速度预置，则降低磁悬浮力量，降低交互控制器悬浮高度，使车载交互机器人复位。

在本发明的一个实施例中，提供一种悬浮式多功能车载交互机器人的控制装置，该控制装置用于实现上述各实施例中的控制方法，如图2所示，该控制装置包括：

磁悬浮动力控制模块，与人工智能控制器连接，接收人工智能控制器传输至的控制指令，控制车载交互机器人的磁悬浮力场，将车载交互机器人悬浮到空中或复位；

语音识别模块，用于识别驾驶员语音指令，传输至人工智能控制器，与驾驶员进行语音交互；

图像识别模块，用于识别驾驶员面部表情，传输至人工智能控制器，根据识别到的表情与车主进行友好交互；例如，当前情绪是高兴，悲伤，疲劳等，并做出相应的功能反应；

转向控制模块，与人工智能控制器连接，根据人工智能控制器传输至的控制指令，控制悬浮在空中的车载交互机器人进行转向，使其面向驾驶员；

车身数据模块，用于获取车辆的当前状态信息，并传输至人工智能控制器；

上述实施例中，控制装置还包括人机交互显示屏；根据图像识别模块获取驾驶员当前情绪传输至人机交互显示屏，由人机交互显示屏给出对应的表情，显示出车辆相应数据。

上述实施例中，控制装置还包括GPS定位模块，与人工智能控制器连接，GPS定位模块将采集到的本车定位数据及车辆行驶方向传输至人工智能控制器。

本发明在使用时，智能网联汽车在启动过程中，人工智能控制器控制磁悬浮动力控制模块，使车载交互机器人悬浮空中，并同步开启定位，通信，语音识别，图像识别功能，打开人机交互显示屏，显示初始问候画面及机器人表情；并根据车辆速度信息调整磁悬浮动力控制模块提供的磁悬浮力场，避免车载交互机器人从上方飞出造成意外伤害。

本实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

在本发明一实施例中提供的计算设备，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种悬浮式多功能车载交互机器人的控制方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：

智能网联汽车启动时，将车载交互机器人悬浮在空中，判定当前驾驶者是否为车主，并进行车主面部表情识别，进行友好交互；由车主发出语音指令，与车载交互机器人进行语音交互，根据车主所在方向使车载交互机器人正面面向车主；获取车辆速度信息，根据车辆速度信息调整车载交互机器人的磁悬浮力场，避免车载交互机器人从磁悬浮动力控制模块上方飞出造成意外伤害。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以理解，上述计算设备示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：智能网联汽车启动时，将车载交互机器人悬浮在空中，判定当前驾驶者是否为车主，并进行车主面部表情识别，进行友好交互；由车主发出语音指令，与车载交互机器人进行语音交互，根据车主所在方向使车载交互机器人正面面向车主；获取车辆速度信息，根据车辆速度信息调整车载交互机器人的磁悬浮力场，避免车载交互机器人从磁悬浮动力控制模块上方飞出造成意外伤害。

在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：智能网联汽车启动时，将车载交互机器人悬浮在空中，判定当前驾驶者是否为车主，并进行车主面部表情识别，进行友好交互；由车主发出语音指令，与车载交互机器人进行语音交互，根据车主所在方向使车载交互机器人正面面向车主；获取车辆速度信息，根据车辆速度信息调整车载交互机器人的磁悬浮力场，避免车载交互机器人从磁悬浮动力控制模块上方飞出造成意外伤害。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。