一种机器人的头部机构、机器人及机器人的控制方法

技术领域

本发明涉及智能机器人技术领域，尤其涉及一种机器人的头部机构、机器人及机器人的控制方法。

背景技术

创造出可以类比真人的机器人一直是机器人研究领域的焦点课题之一，吸引着众多学者和科研机构的目光。传统的人形机器人面部多为静态表情的塑料或金属体，某些型号拥有额外的可张合的嘴部机构，用以表现某些动作；规模量产型的人形机器人多为硅胶或TPE倒模的软体娃娃，除了拥有较为真实的人类面庞以及可类比真实皮肤触感的材料外，其外形依旧为静态形象。

近些年，拥有动态面部控制的人形机器人已经出现，它们有的以压缩空气作为动力源配合复杂的启动设备来模拟面部运动，有的采用纯舵机作为动作控制器，或者采用舵机与气动设备混合的方式进行面部动作控制。上述不论哪一种技术方案，在进行人形机器人的面部控制时，机器人均无法自主做出表达，都需要针对场景，事先进行大量的人工动作编排。同时由于人形机器人没有视觉、听觉及声觉功能，也就无法与人类进行智能化的交互，缺乏情感互动的基础。

现有技术中的机器人无法自主表达以及缺乏与人类智能化交互。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种机器人的头部机构、机器人及机器人的控制方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种机器人的头部机构，包括面部单元、覆盖在所述面部单元外部的硅胶头罩以及控制单元；所述面部单元包括依序设置的模块区域和用于支撑所述模块区域的支撑组件，所述模块区域依序包括头盖部、眉毛部、眼球部和嘴部；所述支撑组件包括支撑母板和水平固定基板；所述支撑母板用于垂直方向上的固定所述头盖部、所述眉毛部、所述眼球部和所述嘴部；所述水平固定基板与所述支撑母板相互垂直且固定连接，设置在所述眼球部下方，用于固定所述眼球部；所述硅胶头罩与所述头盖部、所述眉毛部和所述嘴部有接触区域，所述接触区域随所述头盖部、所述眉毛部和/或所述嘴部联动；所述控制单元，与所述面部单元电连接，用于控制所述面部单元与用户交互。

优选地，所述头盖部包括头盖；所述头盖为人类额骨弧度的片状体，所述片状体的一端与所述支撑母板固定连接。

优选地，所述眉毛部包括左右对称设置的两个眉毛组件，所述眉毛组件包括眉毛动作舵机、眉毛连接摇臂以及舵机固定杆；所述眉毛连接摇臂为半臂摇臂且和所述眉毛动作舵机连接，所述舵机固定杆为可调长度的、一字型连接固定部件，用于将所述眉毛动作舵机固定于所述支撑母板上。

优选地，所述眼球部包括左右对称设置的两个眼球单元，所述眼球单元包括眼球集合体、万向支撑单元和运动控制单元；所述眼球集合体，用于采集视觉数据；所述万向支撑单元，用于固定所述眼球集合体；所述运动控制单元，与所述万向支撑单元连接，用于控制所述眼球集合体在水平和/或垂直方向的运动；所述眼球集合体包括眼球体、晶状体摄像头模块和眼球体基座，所述眼球体，为中间含有圆形凹槽的半球形；所述晶状体摄像头模块，与所述眼球体通过所述圆形凹槽连接；所述眼球体基座，为前端外直径L、后端外直径R且后端含有4个上下左右对称的定位孔的凸状圆筒结构，其中L为所述眼球体的内径，R为所述眼球体的外径；通过所述凸状圆筒结构与所述眼球体连接；所述万向支撑单元包括万向支撑架和万向支撑基，所述万向支撑架与所述眼球体基座连接，所述万向支撑基与所述万向支撑架连接并固定在所述水平固定基板上。

优选地，所述万向支撑架包括1个万向节和4个垂直连接于万向节前端的螺栓柱，所述螺栓柱通过所述眼球体基座的4个所述定位孔固定所述万向支撑架和所述眼球体基座；所述运动控制单元包括水平运动控制单元和垂直运动控制单元；所述水平运动控制单元包括眼球水平运动控制连杆、眼球水平运动摇臂、眼球水平运动舵机；所述眼球水平运动摇臂为一字摇臂，与所述眼球水平运动舵机连接，所述眼球水平运动控制连杆为可调长度一字型连杆，包括左眼球水平运动控制连杆和右眼球水平运动控制连杆，所述左眼球水平运动控制连杆一端连接左万向支撑架的右边水平螺栓柱，一端连接所述眼球水平运动摇臂的左端；所述右眼球水平运动控制连杆一端连接右万向支撑架的左边水平螺栓柱，一端连接所述眼球水平运动摇臂的右端；所述垂直运动控制单元包括眼球垂直运动控制连杆、眼球垂直运动摇臂、眼球垂直运动舵机；所述眼球垂直运动摇臂为半臂摇臂，包括左眼球垂直运动摇臂和右眼球垂直运动摇臂；所述眼球垂直运动舵机包括左眼球垂直运动舵机和右眼球垂直运动舵机，所述左眼球垂直运动舵机和所述左眼球垂直运动摇臂连接，所述右眼球垂直运动舵机和所述右眼球垂直运动摇臂连接；所述眼球垂直运动控制连杆为Z字型可调长度连杆，包括左眼球垂直运动控制连杆和右眼球垂直运动控制连杆，所述左眼球垂直运动控制连杆一端连接所述左万向支撑架的上部垂直螺栓柱，一端连接所述左眼球垂直运动摇臂；所述右眼球垂直运动控制连杆一端连接所述右万向支撑架的上部垂直螺栓柱，一端连接所述右眼球垂直运动摇臂；所述眼球水平运动舵机、所述左眼球垂直运动舵机和右眼球垂直运动舵机均固定在所述水平固定基板上。

优选地，所述嘴部包括上颚板、上牙模块、下牙模块、嘴部运动舵机、嘴部连接摇臂以及扬声器模块；所述上颚板与所述上牙模块连接，所述下牙模块与所述嘴部连接摇臂连接，所述嘴部连接摇臂为半臂摇臂且与所述嘴部运动舵机连接；所述上颚板通过固定件与所述支撑母板连接；所述嘴部运动舵机和所述扬声器模块分别与所述支撑母板直接连接。

优选地，还包括阵列麦克风板，设置在所述支撑母板上，用于获取语音数据。

本发明还提供一种机器人，包括如上任一所述的机器人的头部机构。

本发明再提供一种机器人的控制方法，用于控制如上所述的机器人进行离线交互或在线交互；所述离线交互是所述机器人与交互对象之间进行交互；所述在线交互是第一控制对象远程控制所述机器人和第二控制对象进行交互。

优选地，控制所述机器人进行离线交互包括如下步骤：S1：控制所述机器人获取所述交互对象的多模态数据，所述多模态数据包括面部数据、语音数据；S2：根据所述多模态数据计算应答交互动作，并依据所述应答交互动作发出控制信号；S3：控制所述机器人接收所述控制信号并执行与所述控制信号对应的交互动作，完成与所述交互对象的离线交互。

优选地，根据如下公式通过所述多模态数据计算应答交互动作：

(S

其中，V是交互对象的面部数据，A

优选地，控制所述机器人进行在线交互，包括如下步骤：T1：获取所述第一控制对象的实时面部信息；T2：根据所述实时面部信息获取所述第一控制对象的动作关键点；T3：根据所述第一控制对象的动作关键点计算应答交互动作，并依据所述应答交互动作发出控制信号；T4：控制所述机器人接收所述控制信号并执行与所述控制信号对应的交互动作，完成与所述交互对象的在线交互。

优选地，通过智能终端的摄像头采集所述第二控制对象的带有深度信息的实时面部数据；基于所述实时面部数据获取所述第一控制对象的动作关键点，所述动作关键点为基于所述实时面部数据所标定的脸部特征锚点，基于所述脸部特征锚点计算所述机器人的所述交互动作的参数。

优选地，所述脸部特征锚点为14个，包括：左眉尾，记为DF(X

Δ＝1/3∑

Ω＝1/3∑

其中，(S

本发明的有益效果为：提供一种机器人的头部机构、机器人及机器人的控制方法，通过模块化分区理念，即头盖部、眉毛部、眼球部、嘴部和控制单元的分区设计，降低了情感模拟机器人头部设计的复杂性，显著降低了机器人产业的成本；同时通过控制单元控制机器人头部机构实现人类面部表情的多样性。

附图说明

图1是本发明实施例中机器人的头部机构的示意图。

图2是本发明实施例中眉毛部的正视图及舵机运动示意图。

图3是本发明实施例中眼球部的45°视角示意图及舵机运动示意图。

图4是本发明实施例中嘴部侧视图(不含扬声器模块)及舵机运动示意图。

图5是本发明实施例中机器人的头部机构的爆炸图。

图6(a)是本发明实施例中离线交互的方法示意图。

图6(b)是本发明实施例中在线交互的方法示意图。

图7是是本发明实施例中人脸动作关键点示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明提供机器人的头部机构，优选地的适用于是特指人形机器人的概念，是物理化的机器人且类人是其外形特征，不同于语音类型的助手、音响、pad等的机器人。本发明的机器人的头部机构包括面部单元和覆盖在所述面部单元外部的硅胶头罩；

所述面部单元包括依序设置的模块区域和用于支撑所述模块区域的支撑组件，所述模块区域依序包括头盖部、眉毛部、眼球部和嘴部；

所述支撑组件包括支撑母板和水平固定基板；

所述支撑母板用于垂直方向上的固定所述头盖部、所述眉毛部、所述眼球部和所述嘴部；

所述水平固定基板与所述支撑母板相互垂直且固定连接，设置在所述眼球部下方，用于固定所述眼球部；

所述硅胶头罩与所述头盖部、所述眉毛部和所述嘴部有接触区域，所述接触区域随所述头盖部、所述眉毛部和/或所述嘴部联动。

本发明提供的机器人的头部机构通过模块化分区理念，即头盖部、眉毛部、眼球部、嘴部和控制单元的分区设计，降低了情感模拟机器人头部设计的复杂性，显著降低了机器人产业的成本；同时为机器人头部机构实现人类面部表情的多样性提供硬件支持。

可以理解的是，人形机器人的面部设计与情感表达难点是人类面部表情的多样性导致设计复杂度在进行精细控制时是平方级增加的，因此需要在控制与表达的效果上进行权衡；进一步地，人类进行情感表达的面部表情区是多样的，确定核心区域并设定实施合适的控制结构是非常重要的。

可以理解的是，本发明还提供一种机器人的头部机构，在包括上述硬件的基础上，还包括控制单元；控制单元，与面部单元电连接，用于控制面部单元与用户交互。

本发明提供的机器人的头部机构通过模块化分区理念，即头盖部、眉毛部、眼球部、嘴部和控制单元的分区设计，降低了情感模拟机器人头部设计的复杂性，显著降低了机器人产业的成本；同时通过控制单元控制机器人头部机构实现人类面部表情的多样性。

参见图5和图1，头盖部包括头盖1；眉毛部包括眉毛动作舵机23-1,23-2、眉毛连接摇臂22-1，22-2以及舵机固定杆24-1,24-2；眼球部包括眼球体11-1,11-2、晶状体摄像头模块12-1,12-2、眼球体基座13-1,13-2、万向支撑架14-1,14-2、万向支撑基15-1,15-2、眼球水平运动控制连杆16-1,16-2、眼球垂直运动控制连杆17-1,17-2、眼球水平运动摇臂21、眼球垂直运动摇臂18-1,18-2、眼球水平运动舵机20、眼球垂直运动舵机19-1,19-2；嘴部包括上颚板9、上牙模块8-1、下牙模块8-2、嘴部运动舵机5、嘴部连接摇臂7以及扬声器模块6；控制单元包括中央控制主板2。控制单元的控制方式分为离线控制和在线控制；硅胶头罩为含有中空内腔且厚度为3mm-30mm的不均匀硅胶制品，此处的厚度根据经验选择。

参见图5，头盖片1为人类额骨弧度的片状体，片状体的一端与支撑母板4通过2个连接件40-1,40-2垂直固定。眉毛部包括左右对称设置的两个眉毛组件，眉毛组件包括眉毛动作舵机、眉毛连接摇臂以及舵机固定杆；眉毛连接摇臂为半臂摇臂且和所述眉毛动作舵机连接，所述舵机固定杆为可调长度的、一字型连接固定部件，用于将所述眉毛动作舵机固定于所述支撑母板上。

在本发明的一种实施例中，眉毛部包括左右对称设置的两个眉毛组件，眉毛组件包括眉毛动作舵机、眉毛连接摇臂以及舵机固定杆；眉毛连接摇臂为半臂摇臂且和眉毛动作舵机连接，舵机固定杆为可调长度的、一字型连接固定部件，用于将眉毛动作舵机固定于所述支撑母板上。

继续参见图5，眉毛动作舵机包括左眉毛动作舵机23-1和右眉毛动作舵机23-2；眉毛连接摇臂为一种半臂摇臂，包括左眉毛连接摇臂22-1和右眉毛连接摇臂22-2；左眉毛连接摇臂22-1和左眉毛动作舵机23-1连接；右眉毛连接摇臂22-2和右眉毛动作舵机23-2连接；舵机固定杆24-1,24-2为可调长度的、分别用以固定左眉毛动作舵机23-1和右眉毛动作舵机23-2于支撑母板4上的一字型连接固定部件，共2组8件。

在本发明的一种实施例中，眼球部包括左右对称设置的两个眼球单元，所述眼球单元包括眼球集合体、万向支撑单元和运动控制单元；眼球集合体，用于采集视觉数据；万向支撑单元，用于固定眼球集合体；运动控制单元，与万向支撑单元连接，用于控制眼球集合体在水平和/或垂直方向的运动。

眼球集合体包括眼球体、晶状体摄像头模块和眼球体基座，眼球体，为中间含有圆形凹槽的半球形；晶状体摄像头模块，与眼球体通过圆形凹槽连接；眼球体基座，为前端外直径L、后端外直径R且后端含有4个上下左右对称的定位孔的凸状圆筒结构，其中L为眼球体的内径，R为眼球体的外径；通过凸状圆筒结构与眼球体连接；万向支撑单元包括万向支撑架和万向支撑基，万向支撑架与眼球体基座连接，万向支撑基与万向支撑架连接并固定在水平固定基板上。

如图5所示，眼球体包括左眼球体11-1和右眼球体11-2，均为厚度2mm且中间含有圆形凹槽的半球形；晶状体摄像头模块包括左晶状体摄像头模块12-1和右晶状体摄像头模块12-2，左眼球体11-1与左晶状体摄像头模块12-1连接，右眼球体11-2与右晶状体摄像头模块12-2连接，左眼球体11-1与左晶状体摄像头模块12-1通过左眼球体11-1中间的圆形凹槽连接，11-2右眼球体与右晶状体摄像头模块12-2通过右眼球体11-2中间的圆形凹槽连接；眼球体基座包括左眼球体基座13-1和右眼球体基座13-2，均为前端外直径L、后端外直径R且后端含有4个上下左右对称的定位孔的凸状圆筒结构，其中L为所述眼球体的内径，R为所述眼球体的外径；左眼球体基座13-1通过凸状结构与左眼球体11-1连接，右眼球体基座13-2通过凸状结构与右眼球体11-2连接；万向支撑架包括左万向支撑架14-1和右万向支撑架14-2，左万向支撑架14-1和右万向支撑架14-2均包括1个万向节和4个垂直连接于万向节前端的螺栓柱，左万向支撑架14-1和左眼球体基座13-1连接，右万向支撑架14-2和右眼球体基座13-2连接，左万向支撑架14-1的4个螺栓柱通过左眼球体基座13-1的4个定位孔实现左万向支撑架14-1和左眼球体基座13-1的固定，右万向支撑架14-2的4个螺栓柱通过右眼球体基座13-2的4个定位孔实现右万向支撑架14-2和右眼球体基座的固定13-2；万向支撑基包括左万向支撑基15-1和右万向支撑基15-2，左万向支撑基15-1与左万向支撑架14-1连接并固定在水平固定基板10上，右万向支撑基15-2与右万向支撑架14-2连接并固定在水平固定基板10上。

在本发明的一种实施例中，运动控制单元包括水平运动控制单元和垂直运动控制单元；水平运动控制单元包括眼球水平运动控制连杆、眼球水平运动摇臂、眼球水平运动舵机；垂直运动控制单元包括眼球垂直运动控制连杆、眼球垂直运动摇臂、眼球垂直运动舵机。

如图5所示，眼球水平运动摇臂21为一种一字摇臂，与眼球水平运动舵机20连接；眼球垂直运动摇臂为一种半臂摇臂，包括左眼球垂直运动摇臂18-1和右眼球垂直运动摇臂18-2；眼球垂直运动舵机包括左眼球垂直运动舵机19-1和右眼球垂直运动舵机19-2，左眼球垂直运动舵机19-1和左眼球垂直运动摇臂18-1连接，右眼球垂直运动舵机19-2和右眼球垂直运动摇臂18-1连接；眼球水平运动控制连杆为一种可调长度一字型连杆，包括左眼球水平运动控制连杆16-1和右眼球水平运动控制连杆16-2；眼球垂直运动控制连杆为一种Z字型可调长度连杆，包括左眼球垂直运动控制连杆17-1和右眼球垂直运动控制连杆17-2；左眼球水平运动控制连杆16-1一端连接左万向支撑架14-1的右边水平螺栓柱，一端连接眼球水平运动摇臂21的左端；右眼球水平运动控制连杆16-2一端连接右万向支撑架14-2的左边水平螺栓柱，一端连接眼球水平运动摇臂21的右端；左眼球垂直运动控制连杆17-1一端连接左万向支撑架14-1的上部垂直螺栓柱，一端连接左眼球垂直运动摇臂18-1；右眼球垂直运动控制连杆17-2一端连接右万向支撑架14-2的上部垂直螺栓柱，一端连接右眼球垂直运动摇臂18-2；水平固定基板10通过固定件40-5,40-6与支撑母板连接，左万向支撑基15-1、右万向支撑基15-2、眼球水平运动舵机20、左眼球垂直运动舵机19-1和右眼球垂直运动舵机19-2均固定在水平固定基板10上。

参见图5和图3，定义左眼球集合体为左眼球体11-1、左晶状体摄像头模块12-1和左眼球体基座13-1的集合，定义右眼球集合体为右眼球体11-2、右晶状体摄像头模块12-2和右眼球体基座13-2的集合，则眼球水平运动舵机20带动眼球水平运动摇臂21沿着图3中A-2的方向摆动，通过左眼球水平运动控制连杆16-1和右眼球水平运动控制连杆16-2带动左眼球集合体和右眼球集合体水平向左转动；眼球水平运动舵机20带动眼球水平运动摇臂21沿着图3中A-1的方向摆动，通过左眼球水平运动控制连杆16-1和右眼球水平运动控制连杆16-2带动左眼球集合体和右眼球集合体水平向右转动；在眼球水平运动舵机20的控制下，左眼球集合体和右眼球集合体的水平转动方向是一致的。

参见图5和图3，右眼球垂直运动舵机19-2带动右眼球垂直运动摇臂18-2沿着图3中B-1的方向摆动，通过右眼球垂直运动控制连杆17-2带动右眼球集合体垂直向前转动；右眼球垂直运动舵机19-2带动右眼球垂直运动摇臂18-2沿着图3中B-2的方向摆动，通过右眼球垂直运动控制连杆17-2带动右眼球集合体垂直向后转动；左眼球垂直运动舵机19-1带动左眼球垂直运动摇臂18-1沿着图3中B-1的方向摆动，通过左眼球垂直运动控制连杆17-1带动左眼球集合体垂直向前转动；左眼球垂直运动舵机19-1带动左眼球垂直运动摇臂18-1沿着图3中B-2的方向摆动，通过左眼球垂直运动控制连杆17-1带动左眼球集合体垂直向后转动；在右眼球垂直运动舵机19-2和左眼球垂直运动舵机19-1的独立控制下，右眼球集合体和左眼球集合体的垂直方向运动是独立的。

在本发明的一种实施例中，嘴部包括上颚板、上牙模块、下牙模块、嘴部运动舵机、嘴部连接摇臂以及扬声器模块。

参见图5和图4，上颚板9与上牙模块8-1连接，下牙模块8-2与嘴部连接摇臂7连接，嘴部连接摇臂7为一种半臂摇臂且与嘴部运动舵机5连接；上颚板9通过固定件40-3,40-4与支撑母板4连接；嘴部运动舵机5和扬声器模块6分别与支撑母板4直接连接。

在本发明的再一种实施例中，机器人的头部机构还包括阵列麦克风板3，设置在所述支撑母板上，用于获取语音数据。

参见图5，中央控制主板2通过控制线分别与左眉毛动作舵机23-1、右眉毛动作舵机23-2、左晶状体摄像头模块12-1、右晶状体摄像头模块12-2、眼球水平运动舵机20、左眼球垂直运动舵机19-1、右眼球垂直运动舵机19-2、嘴部运动舵机5、扬声器模块6和阵列麦克风板3连接。

可以理解的是，上述的具体结构仅仅是本发明的一种具体实现形式，是通过6个舵机控制6个自由度；自由度是可以扩展的，根据实际需要在上述结构基础上进行改进都应该属于本发明的保护范围。

参见图5、图4和图2，硅胶头罩分别与头盖片1、左眉毛摇臂22-1、右眉毛摇臂22-2、上牙模块8-1和下牙模块8-2连接；左眉毛动作舵机23-1带动左眉毛摇臂22-1沿着图2中的A-2方向运动，带动硅胶头罩的接触部位对应向上运动，形成情感模拟机器人的“左眉毛向上挑动”；左眉毛动作舵机23-1带动左眉毛摇臂22-1沿着图2中的A-1方向运动，带动硅胶头罩的接触部位对应向下运动，形成情感模拟机器人的“左眉毛向下挑动”；右眉毛动作舵机23-2带动右眉毛摇臂22-2沿着图2中的B-2方向运动，带动硅胶头罩的接触部位对应向上运动，形成情感模拟机器人的“右眉毛向上挑动”；右眉毛动作舵机23-2带动右眉毛摇臂22-2沿着图2中的B-1方向运动，带动硅胶头罩的接触部位对应向下运动，形成情感模拟机器人的“右眉毛向下挑动”；如图4中，初始状态时，上牙模块8-1与下牙模块8-2是相互接触，此时上牙模块8-1接触的硅胶头罩位置与下牙模块8-2接触的硅胶头罩位置形成情感模拟机器人的“闭嘴”状态，当嘴部运动舵机5带动嘴部连接摇臂7沿着图4中A方向运动时，下牙模块8-2被嘴部连接摇臂7带动，下牙模块8-2接触的硅胶头罩位置被向下拉开，形成情感模拟机器人的“张嘴”状态，如此反之，则回到情感模拟机器人的“闭嘴”状态。

本发明提供的机器人的头部机构，通过拥有类人视觉(晶状体摄像头)、听觉(阵列麦克风)、声觉(扬声器)，融合视觉、听觉、声觉的3维交互能力，完整的模拟了人类的感官特色，达到了更高程度的智能水平。

本发明还提供一种机器人，包括如上任一所述的机器人的头部机构。

进一步地，本发明再提供一种机器人的控制方法，用于控制如上所述的机器人进行离线交互或在线交互；

离线交互是所述机器人与交互对象之间进行交互；

在线交互是第一控制对象远程控制所述机器人和第二控制对象进行交互。

具体的，离线交互是指交互对象与机器人之间直接进行交互，机器人的交互动作由内部的控制单元对机器人的面部单元进行控制产生；在线交互可以理解为第一控制对象借由机器人与第二控制对象进行交互，即以机器人作为中间载体，这种交互可以由第一控制对象发起也可以由第二控制对象发起，机器人用于将第一控制对象的实时面部信息转化成机器人的交互动作反馈给第二控制对象。可以理解的是，不管是离线控制还是在线控制，机器人的在获取视觉和听觉信息以后产生交互动作，交互动作包括面部表情、动作以及语音。

参见图6(a)所示，控制所述机器人进行离线交互包括如下步骤：

S1：控制所述机器人获取所述交互对象的多模态数据，所述多模态数据包括面部数据、语音数据；

S2：根据所述多模态数据计算应答交互动作，并依据所述应答交互动作发出控制信号；

S3：控制所述机器人接收所述控制信号并执行与所述控制信号对应的交互动作，完成与所述交互对象的离线交互。

其中，步骤S1中交互对象的多模态数据可以通过机器人头部结构的通过左晶状体摄像头模块和右晶状体摄像头模块获取到的交互对象的面部数据V、通过阵列麦克风板获取到的交互对象的语音数据A

(S

其中，V是交互对象的面部数据，A

在一种具体的实施例中，机器人是通过6个舵机控制6个自由度，其采用如下公式计算：

(S

且S

其中，S

参见图6(b)，控制单元的在线控制为控制者依托智能终端(比如手机、电脑等)远程操控机器人的场景，主要为了进行非真实身份的代理人交互场景，控制所述机器人进行在线交互，包括如下步骤：

T1：获取所述第一控制对象的实时面部信息；

T2：根据所述实时面部信息获取所述第一控制对象的动作关键点；

T3：根据所述第一控制对象的动作关键点计算应答交互动作，并依据所述应答交互动作发出控制信号；

T4：控制所述机器人接收所述控制信号并执行与所述控制信号对应的交互动作，完成与所述交互对象的在线交互。

在本发明的另一种实施例中，在步骤T1之前还包括如下步骤：

控制所述机器人获取所述第二控制对象的多模态数据，所述多模态数据包括面部数据、语音数据；将所述第二控制对象的多模态数据反馈给所述第一控制对象，所述第一控制对象基于所述多模态数据作出实时面部表情。

可以理解的是，T1-T4的步骤适用于第一控制对象直接通过机器人与第二控制对象交互；在步骤T1之前增加上述步骤后，适用于第二控制对象先发起互动，经由机器人传达给第二控制对象再将第二控制对象交互动作反馈给第一控制对象。

可以理解的是，第二控制对象在空间上与机器人位于同一个空间，可以由第二控制对象切换对机器人的控制模式为离心控制还是在线控制，也可以由第一控制对象依据情况切换控制模式。切换的控制指令可以通过语音发送给机器人，也可以通过触动物理按钮，或者通过其他可行的方式，此处不作限制。

其中，步骤T1中控制对象实时面部信息为机器人的第一控制对象通过智能终端的摄像头采集第二控制对象的的带有深度信息的实时面部数据DF；步骤T3中基于实时面部数据获取所述第一控制对象的动作关键点，动作关键点为基于实时面部数据所标定的脸部特征锚点，基于脸部特征锚点计算机器人的所述交互动作的参数。

如图7所示，在本发明的一种实施例中，脸部特征锚点共14个点，以DF(X

1号点，左眉尾，记为DF(X

2号点，左眉峰，记为DF(X

3号点，左眉头，记为DF(X

4号点，右眉头，记为DF(X

5号点，右眉峰，记为DF(X

6号点，右眉尾，记为DF(X

7号点，左眼中心，记为DF(X

8号点，右眼中心，记为DF(X

9号点，鼻头，记为DF(X

10号点，左嘴角，记为DF(X

11号点，上嘴唇中心，记为DF(X

12号点，右嘴角，记为DF(X

13号点，下嘴唇左下点，记为DF(X

14号点，下嘴唇右下点，记为DF(X

步骤T4中控制机器人接收控制信号并执行与控制信号对应的交互动作，交互动作计算为机器人在获取到第一控制对象的动作关键点数据后，计算控制动作的环节。定义特征锚点在下一个时刻的位置信息为DF(X′

Δ＝1/3∑

Ω＝1/3∑

其中，(S

在一种具体的实施例中，机器人是通过6个舵机控制6个自由度，其采用如下公式计算：

其中，公式(1)表示左眉毛动作舵机的直线位移量，公式(2)表示右眉毛动作舵机的直线位移量，公式(3)表示左眼球垂直运动舵机和右眼球垂直运动舵机的直线位移量，公式(4)表示眼球水平运动舵机的直线位移量，公式(5)表示嘴部运动舵机的直线位移量；M为舵机角度转换矩阵，可以将求解的直线位移量转换为舵机运动的角度控制量，公式(6)表示转换各舵机的直线位移量为角度控制量，(S

通过第一控制对象获取到的控制动作(S

在一种具体的实施例中，离线控制和在线控制的实际应用场景说明如下：

离线控制：老年人陪护场景下，老年人与人形机器人进行对话，老年人向人形机器人谈论自己的情感与生活，人形机器人通过识别老年人的语音及面部表情等多模态数据，基于自身的人工智能算法，生成应对面部表情动作及对话，并通过控制系统控制动作的表达，同时人形机器人发出对话，实现与老年人的一次交互过程；可以理解的是，交互包括面部表情、动作以及语音。

在线控制场景：情况1：首次启动人形机器人的场景，电源接通后，远程工程师即第一控制对象自动接通人形机器人，远程指导用户即第二控制对象完成设置，此时人形机器人作为远程工程师的代理者出现，表达的是远程工程师的情绪和语言。

情况2：在一种陪护场景下的紧急情况，人形机器人获取第二控制对象的多模态数据，发现老人即第二控制对象摔倒，启动紧急监护功能，此时远程安全员即第一控制对象连接人形机器人，与老人取得联系，确认老人是否健康安全。此时人形机器人同样扮演的是远程安全员的代理角色，表达的是远程安全员的情绪和语言。此时，是由第一控制对象依据情况切换控制模式。可以理解的是，也可以在老人需要与远程安全员进行沟通时，主动切换机器人的控制模式从离线互动变成在线互动。本发明首创了离线控制和在线控制的双控制方案，使得机器人的控制更加的便捷与智能，与传统纯手动编排的控制相比，不仅提高了控制质量，更具有无与伦比的灵活性和应变交互能力。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。