一种人机姿态交互方法、系统、电子设备及存储介质

技术领域

本申请涉及车辆智能交互技术领域，具体涉及一种人机姿态交互方法、系统、电子设备及存储介质。

背景技术

随着智能化设备的普及，人们对设备的交互体验的要求越来越高，车机作为智能化生活的载体体现之一，对于车机的智能化交互需求日益增强，对于车机的交互控制，可以具体划分为车内交互控制与车外交互控制，其中，车外交互控制主要基于图像获取装置进行图像获取并识别，并根据识别结果进行车机控制。

但是现有的车外车机交互的方法中，在面对复杂识别环境下的智能化交互时，例如在广场、道路、展会等人流量较多的交互环境中，由于图像中存在大量识别目标，会产生对获取到的图像进行识别时识别交互对象错误、动作识别错误等情况，造成人机交互识别准确率低下甚至识别错误的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种人机姿态交互方法、系统、电子设备及存储介质，以解决上述交互环境复杂情况下人机交互识别准确率低下甚至识别错误的技术问题。

本发明提供的一种人机姿态交互方法，所述人机姿态交互方法包括：获取待处理帧图像，所述待处理帧图像中存在至少一个待识别对象，所述待处理帧图像通过设置于车机的图像获取装置进行获取；根据第一预设算法对所述待处理帧图像进行关键点提取，得到多个待处理关键点，并根据第二预设算法对所述待处理帧图像进行实例分割，得到多个待处理掩膜；基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象，并对目标识别对象的姿势进行识别，确定所述待处理帧图像中目标识别对象的姿势类别；若所述姿势类别为交互开始姿势，则控制开启交互模式，并识别当前帧图像中目标识别对象的姿势，所述当前帧图像为所述待处理帧图像之后的帧图像；若识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令。

于本发明的一实施例中，控制开启交互模式并识别当前帧图像中目标识别对象的姿势之前，所述人机姿态交互方法还包括：获取所述待处理帧图像后预设数目的开始验证帧图像，并对各所述开始验证帧图像中目标识别对象的姿势进行识别，所述预设数目的开始验证帧图像为所述待处理帧图像后的预设数目个连续帧图像；若各所述开始验证帧图像中目标识别对象的姿势均为交互开始姿势，则控制开启交互模式，并以第一预设提示音进行语音播报。

于本发明的一实施例中，基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象包括：对各所述待处理关键点所属掩膜区域和各所述待处理掩膜进行匹配，得到多个初始匹配组合，并对各所述初始匹配组合进行重叠度运算，得到多个待处理匹配组合；若各所述待处理匹配组合中待处理掩膜存在多个对象的待处理关键点，则对各待处理关键点进行可见性置信度运算，并选取可见性置信度最大的点作为待处理掩膜的待处理关键点，得到各待处理掩膜对应的关键点集；比较各待处理掩膜中关键点集数量，并将关键点集中待处理关键点数量最多的待处理掩膜确定为目标掩膜；对所述目标掩膜内的待处理关键点进行三维坐标转换，得到所述目标掩膜内各待处理关键点的三维坐标，并基于所述目标掩膜内各待处理关键点的三维坐标确定目标识别对象。

于本发明的一实施例中，对所述目标掩膜内的待处理关键点进行三维坐标转换包括：获取待处理帧图像的图像尺寸信息；根据所述图像尺寸信息对所述目标掩膜内中待处理关键点进行像素坐标比例换算，以确定所述目标掩膜中各所述待处理关键点的待换算二维坐标参数；基于预设坐标转换算法对各所述待换算二维坐标参数进行计算，得到所述目标掩膜内各待处理关键点的三维坐标。

于本发明的一实施例中，基于所述目标掩膜内各待处理关键点的三维坐标确定目标识别对象之后，所述人机姿态交互方法还包括：基于所述目标掩膜内各待处理关键点的三维坐标与预设姿势种类的各关键点三维坐标，确定所述目标掩膜内各待处理关键点的最大角度偏差值；若各所述待处理关键点的最大角度偏差值小于或等于预设识别偏差值，则将所述预设姿势种类作为所述目标识别对象的姿势识别结果。

于本发明的一实施例中，识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势之后，所述人机姿态交互方法还包括：获取所述当前帧图像后预设数目的识别验证帧图像，并对各所述识别验证帧图像中目标识别对象的姿势进行识别，所述预设数目的识别验证帧图像为所述当前帧图像后的预设数目个连续帧图像；若各所述识别验证帧图像中目标识别对象的姿势均为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令，并基于所述预设控制指令进行语音播报。

于本发明的一实施例中，基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象前，所述人机姿态交互方法还包括：对各目标框中待处理关键点基于预设关键点损失函数进行损失权重计算，以减少损失关键点对所述待处理帧图像造成的识别精度降低，所述目标框是关键点提取过程中对各待识别对象生成的目标包围框。

于本发明的一实施例中，所述损失权重计算可以基于以下预设关键点损失函数进行计算：

其中，n是目标框数目，kpt_loss

于本发明的一实施例中，识别当前帧图像中目标识别对象的姿势之后，所述人机姿态交互方法还包括：若识别到所述当前帧图像中目标识别对象的姿势为组合交互指令开始姿势，且所述当前帧图像后的预设数目个连续帧图像的识别结果均为组合交互指令开始姿势，则获取新一帧图像并识别各新获取帧图像内目标识别对象的姿势；将新获取帧图像内目标识别对象的姿势识别结果依次进行记录，直至新获取帧图像内目标识别对象的姿势恢复至预设结束姿势，得到本次组合交互指令姿势识别结果，并结束本次对所述当前帧图像中目标识别对象的组合交互指令姿势识别；将组合交互指令姿势识别结果与预设组合交互指令姿势进行对比，若存在预设组合交互指令姿势与所述组合交互指令姿势识别结果一致，则确定与所述预设组合交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令。

于本发明的一实施例中，识别当前帧图像中目标识别对象的姿势之后，所述人机姿态交互方法还包括：若识别到所述当前帧图像中目标识别对象的姿势为交互结束姿势，则控制关闭交互模式，并以第二预设提示音进行语音播报。

本发明还提供了一种人机姿态交互系统，所述人机姿态交互系统包括：图像获取模块，用于获取待处理帧图像，所述待处理帧图像中存在至少一个待识别对象，所述待处理帧图像通过设置于车机的图像获取装置进行获取；姿势识别模块，用于根据第一预设算法对所述待处理帧图像进行关键点提取，得到多个待处理关键点，并根据第二预设算法对所述待处理帧图像进行实例分割，得到多个待处理掩膜；基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象，并对目标识别对象的姿势进行识别，确定所述待处理帧图像中目标识别对象的姿势类别；若所述姿势类别为交互开始姿势，则控制开启交互模式，并识别当前帧图像中目标识别对象的姿势，所述当前帧图像为所述待处理帧图像之后的帧图像；指令管理模块，用于若识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令；控制器管理模块，用于在车机执行所述预设控制指令。

本发明还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述实施例中任一项所述的人机姿态交互方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上述实施例中任一项所述的人机姿态交互方法。

本发明的有益效果：本发明实施例中的一种人机姿态交互方法、系统、电子设备及存储介质，通过获取待处理帧图像，根据预设算法对待处理帧图像进行关键点提取和实例分割，根据待处理关键点和待处理掩膜确定目标识别对象，并进行姿势识别确定目标识别对象的姿势类别，若为交互开始姿势，则控制开启交互模式并识别当前帧图像中目标识别对象的姿势，若为交互指令姿势，则根据交互指令姿势确定预设控制指令并在车机进行执行；本方法同时进行关键点与掩膜提取，并将关键点和掩膜作为共同识别因素进行识别，提升在多目标环境下的目标识别准确度，且在识别到交互开始动作后才开启交互模式，进一步优化对目标的准确识别，减少其他目标动作的影响。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的人机姿态交互方法的实施环境示意图；

图2是本申请的一示例性实施例示出的人机姿态交互方法的流程图；

图3是本申请的一示例性实施例示出的一具体人体关键点分布识别示意图；

图4是本申请的一示例性实施例示出的一具体人体关键点坐标转换顺序示意图；

图5是本申请的一示例性实施例示出的一种具体的人机姿态交互方法流程图；

图6是本申请的一示例性实施例示出的一种具体的姿态识别方法流程图；

图7是本申请的一示例性实施例示出的人机姿态交互系统的框图；

图8是本申请的一示例性实施例示出的一种具体人机姿态交互系统的框图；

图9示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

在本申请中提及的“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先需要说明的是，图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般识别流程分为图像采集、图像预处理、特征提取和图像识别四个步骤。但针对识别目标不同及识别模型及算法的不同，其具体识别流程与识别步骤的识别对象也有所不同。

YOLO模型是目标检测模型，用来在一张图片中找到特定的物体，目标检测不仅要求对物体的种类进行识别，同时要求对物体的位置进行标记，其中包含物体的中心位置(x，y)，物体的长和宽(h，w)，物体的种类，YOLO的预测是基于整个图片的，并且它会一次性输出所有检测到的目标信息，包括类别和位置。在本申请的一些可实施环境中，基于YOLO模型进行的目标检测与识别，是以图像帧的获取频率进行识别的，因此可以通过调整获取图像帧的频率达到调整目标检测与识别的周期时长，该调整可以基于方案实施的精度需求进行具体的目标检测与识别的周期调整，本申请的实施例不对此进行限制。

实例分割是指区分出不同实例并用mask(掩膜)进行标记，因此实例分割需要在目标检测的基础上用更精细的mask进行定位，且需要在语义分割的基础上区分开同类别不同实例的mask。

掩膜(mask)是指用选定的图像，图形或物体，对处理的图像(全部或局部)进行控制图像处理的区域或处理过程，掩模是由0和1组成的一个二进制图像，当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。通过指定的数据值，数据范围，有限或无限值，感兴趣区和注释文件来定义图像掩模，也可以应用上述选项的任意组合作为输入来建立掩模。

本申请还可以提供的有益效果包括：组合交互指令姿势的构建可以提升交互过程中对指令确定的进度需求，避免一些场景中因偶然发生的动作而触发交互并控制车机进行指令的执行，其次，组合交互指令姿势的构建可以提升交互的趣味性，实现个性化的指令交互；确定目标掩膜内的待处理关键点后，计算人体对象的根节点，并根据根节点依次计算各待处理关键点的相对坐标，以减少三维坐标计算的计算量；待处理帧图像后预设数目的开始验证帧图像的帧数选取用于保证交互动作的准确性，具体的实施过程中，一种可实施方案是对待处理帧图像后选取两秒内的全部帧图像进行识别，有效提高对每个姿势识别的确定性以及交互动作实现的准确性；通过T-pose或开始姿势获得人体骨骼参数，标定同批次数据，从二维关键点坐标转三维坐标，姿势间的偏差通过空间角度计算，达到姿势识别准确率不受骨骼参数、距离变化影响的效果；本申请的实施方案，无需大量标注数据支持实现，仅需需求数目图片便可实现对新姿势的扩展支持，有效节省算力支持。

图1是本申请的一示例性实施例示出的人机姿态交互方法的实施环境示意图。如图1所示，该实施环境至少包括人员101和计算机设备102，车辆101通过设置于车机的图像获取装置获取包含人员101的待处理帧图像后，车辆101根据第一预设算法对所述待处理帧图像进行关键点提取，得到多个待处理关键点，并根据第二预设算法对所述待处理帧图像进行实例分割，得到多个待处理掩膜，基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象，并对目标识别对象的姿势进行识别，确定所述待处理帧图像中目标识别对象的姿势类别，若所述姿势类别为交互开始姿势，则控制开启交互模式，并识别当前帧图像中目标识别对象的姿势，若识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令。

其中，图1所示的计算机设备102可以是微型计算机、嵌入式计算机、网络计算机等任意提供算力支持并进行逻辑运算的计算设备，但并不限于此。图1所示的人员仅为待识别目标，并不包括具体目标数目或具体指代对象，在一些实施环境中该人员101可以包括多个人员以供识别处理，本处也不对此进行限制。

人机交互在车机的实际应用过程中，具体可以分为对待识别场景图像获取、对图像进行识别与目标确定、对目标的行为进行确定与判定、基于目标行为确定执行指令以及将执行指令发送至车机的控制器与执行设备进行具体指令执行，在一些扩展的方案中，还可以包括对执行结果的反馈。在本申请的实施过程中，一种可实施环境的示例描述如下：当车辆在一展会进行展示过程中，有众多背景人员及其他可识别目标存在环境下，展示人员、体验人员或相关技术人员在对车机交互功能进行控制时，车辆对展示人员、体验人员或相关技术人员的交互动作识别时由于图像中存在大量识别目标，会产生对获取到的图像进行识别时识别交互对象错误、动作识别错误等情况，造成人机交互识别准确率低下甚至识别错误。

以上实施环境下的示例举例所指出的问题在通用的人机交互过程中具有普遍适用性。可以看出，在交互环境复杂情况下，由于所获取的图像中存在大量识别目标，会引发各种问题。为解决这些问题，本申请的实施例分别提出一种人机姿态交互方法、一种人机姿态交互系统、一种电子设备以及一种计算机可读存储介质，以下将对这些实施例进行详细描述。

请参阅图2，图2是本申请的一示例性实施例示出的人机姿态交互方法的流程图。该方法可以应用于图2所示的实施环境，并由该实施环境中的计算机设备102具体执行。应理解的是，该方法也可以适用于其他的示例性实施环境，并由其他实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图2所示，在一示例性的实施例中，人机姿态交互方法至少包括步骤S210至步骤S250，详细介绍如下：

在步骤S210中，获取待处理帧图像。

在本申请的一个实施例中，上述待处理帧图像中存在至少一个待识别对象，当待处理帧图像中仅存在一个待识别对象，在确定目标识别对象的待处理关键点和待处理掩膜后，直接针对其姿势进行识别并执行与姿势具有映射关系的预设控制指令；当待处理帧图像中仅存在多个待识别对象则需要基于后续得到的待处理关键点和待处理掩膜进行目标识别对象的确定，在本申请的一些可实施方案中，若存在多个识别对象，则将可识别关键点最多的目标识别对象作为具体实施交互对象进行识别，在另一些实施方法中，也可将识别到的待识别对象中位于图像可见范围内最前端的待识别对象确定为目标识别对象，需要注意的是，上述示例性举例仅为本实施例的一些可实施方案的列举，并不具体限定本方案的具体实施方式。

在本申请的一个实施例中，上述待处理帧图像通过设置于车机的图像获取装置进行获取，其中，图像获取装置可以是前视摄像头、侧视摄像头、环视摄像头以及内置摄像头等，摄像头又可以具体包括单目摄像头、双目摄像头、广角摄像头等，再次并不对图像获取装置的具体种类进行限定。

在本申请的一个实施例中，待处理帧图像的获取在本方案的一些实施例中是针对车机前端的图像进行获取，在一些其他实施例中，当图像的获取方向发生改变时，则相应的需调整图像获取装置的方向，但该图像方向的具体改变并不对本方案的具体实施方案具有实质性的改变，故该待处理帧图像的获取方向仅为本方案的一个可实施方式的例举，并不对本方案的具体实施方式具备限定作用。

在本申请的一个实施例中，本人机姿态交互方法在获取待处理帧图像之前，响应于预设姿势库建立请求，获取待录入姿势图像，并将该待录入姿势图像存储在预设的姿势存储区，并根据该待录入姿势图像进行图像标注，并构建该待录入姿势图像与预设指令库中与图像标注具有映射关系的预设控制指令之间的映射关系，以对预设姿势库中进行预设姿势录入。

在本申请的一个实施例中，上述待录入姿势图像可以是对相关技术人员或采集人员基于所需采集的姿势进行定点拍摄；也可以是通过虚拟数字人进行姿势设定与调整，并通过截图或图像导出实现；还可以是通过互联网数据获取满足采集姿势需求的待录入姿势图像，在此并不对待录入姿势图像的具体获取方式进行限定。

在本申请的一个实施例中，本人机姿态交互方法在获取待处理帧图像之前，响应于组合交互指令姿势建立请求，调用预设姿势库，并监听对预设姿势的选定种类以及选定顺序，基于预设姿势的选定种类以及选定顺序构建初始组合交互指令姿势文件，并将始组合交互指令姿势文件与目标控制指令构建映射关系，得到组合交互指令姿势。

需要注意的是，上述组合交互指令姿势的构建支持单个预设姿势的复用，但限制相同预设姿势的连续编排。

在本申请的一个实施例中，组合交互指令姿势的构建可以提升交互过程中对指令确定的进度需求，避免一些场景中因偶然发生的动作而触发交互并控制车机进行指令的执行，其次，组合交互指令姿势的构建可以提升交互的趣味性，实现个性化的指令交互。

在步骤S220中，根据第一预设算法对待处理帧图像进行关键点提取，得到多个待处理关键点，并根据第二预设算法对待处理帧图像进行实例分割，得到多个待处理掩膜。

在本申请的一个实施例中，第一预设算法在本申请的实施例中采用YOLO模型的关键点识别算法，第二预设算法在本申请的实施例中采用YOLO模型的实例分割算法。

在本申请的一个实施例中，根据第一预设算法对待处理帧图像进行关键点提取包括通过YOLO得到关键点预测框，确定各个关键点与预测框左上顶点的偏移量，进而得到关键点的坐标，在一些可扩展方案中，可以基于YOLO得到关键点预测框后，基于卷积神经网络对关键点进行确定。

在本申请的一个实施例中，根据第二预设算法对待处理帧图像进行实例分割包括基于YOLO模型的实例分割算法对待处理帧图像进行网格划分、初始掩膜预测、预测结果置信度计算、预测损失计算以及后处理和实例标注得到多个待处理掩膜。

在步骤S230中，基于各待处理关键点和各待处理掩膜，确定目标识别对象，并对目标识别对象的姿势进行识别，确定待处理帧图像中目标识别对象的姿势类别。

在本申请的一个实施例中，基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象包括对各所述待处理关键点所属掩膜区域和各所述待处理掩膜进行匹配，得到多个初始匹配组合，并对各所述初始匹配组合进行重叠度运算，得到多个待处理匹配组合，若各所述待处理匹配组合中待处理掩膜存在多个对象的待处理关键点，则对各待处理关键点进行可见性置信度运算，并选取可见性置信度最大的点作为待处理掩膜的待处理关键点，得到各待处理掩膜对应的关键点集，比较各待处理掩膜中关键点集数量，并将关键点集中待处理关键点数量最多的待处理掩膜确定为目标掩膜，对所述目标掩膜内的待处理关键点进行三维坐标转换，得到所述目标掩膜内各待处理关键点的三维坐标，并基于所述目标掩膜内各待处理关键点的三维坐标确定目标识别对象。

在本申请的一个实施例中，上述目标识别对象为目标掩膜内包含的目标控制对象的三维坐标结构，例如对车辆进行控制交互的控制者、开发测试人员等的三维坐标结构。

在本申请的一个实施例中，基于预设重叠算法对各所述匹配组合进行重叠度运算采用IoU重叠度算法进行计算，IoU(Intersection over Union，重叠度)是一种测量在特定数据集中检测相应物体准确度的一个标准，IoU是一个简单的测量标准，在输出中得出一个预测范围(bounding boxes)的任务都可以用IoU来进行测量。

在本申请的一个实施例中，上述对目标掩膜内的待处理关键点进行三维坐标转换包括获取待处理帧图像的图像尺寸信息，根据所述图像尺寸信息对所述目标掩膜内中待处理关键点进行像素坐标比例换算，以确定所述目标掩膜中各所述待处理关键点的待换算二维坐标参数，并基于预设坐标转换算法对各所述待换算二维坐标参数进行计算，得到所述目标掩膜内各待处理关键点的三维坐标。

在本申请的一个实施例中，请参照图3，图3是本申请的一示例性实施例示出的一具体人体关键点分布识别示意图。如图3所示，在确定目标掩膜内的待处理关键点后，由于头部的5个关键点中，1、2号关键点即左右眼，3、4号关键点即左右耳，在移动中相对0号关键点位置相对固定，因而头部可统一采用0号关键点进行表示与计算。请参照图4，图4是本申请的一示例性实施例示出的一具体人体关键点坐标转换顺序示意图。如图4所示，分别按照0、5→7→9、6→8→10、11→13→15、12→14→16的顺序进行各待处理关键点的三维坐标计算。

在本申请的一个实施例中，三维坐标计算时，深度方向统一为前向，则根据连续帧的运动轨迹结合该特征，预测出动作深度方向。一些优选实施方案中，可基于对用户姿势的限制来实现，如动作是朝向后方的，则可约定先小幅前向再后向，并且动作速度相对均匀，以对深度方向进行预测。

在本申请的一个实施例中，基于交互开始姿势识别的二维坐标数据，计算目标识别对象关键点间的距离作为第一参数，基于交互指令姿势识别的二维坐标数据，计算目标识别对象关键点间的距离作为第二参数，基于第二参数与第一参数根据投影算法，得到三维深度参数，以实现二维坐标转三维坐标。具体的，可通过式(1)所示的公式进行计算：

其中，z为三维坐标的z轴坐标，即深度数值，x为第一参数，y为第二参数，l为原始尺寸。

其中，原始尺寸l，可通过平面动作的2D坐标获取，则所有点的相对深度都为0，则投影距离l’和原始尺寸l是相等的，因此针对预设的姿势，可通过统一采集批次的平面姿势获得。

在本申请的一个实施例中，T型姿势(T-pose)或称作绑定姿势(Bind pose)是电脑动画中用于绑定三维模型骨骼的预设姿势，亦可作为使用动作捕捉技术时被捕捉对象的基本动作，在本申请的一些实施例中，上述原始尺寸还可以基于预先设计的T型姿势进行获取，再基于图像尺寸进行比例换算，得到原始尺寸l。

在本申请的一个实施例中，确定目标掩膜内的待处理关键点后，可以首先计算关键点11和12的中间点的二维坐标，作为整个人体对象的根节点，并根据根节点依次计算各待处理关键点的相对坐标，以减少三维坐标计算的计算量。

在本申请的一个实施例中，基于所述目标掩膜内各待处理关键点的三维坐标确定目标识别对象之后，基于所述目标掩膜内各待处理关键点的三维坐标与预设姿势种类的各关键点三维坐标，确定所述目标掩膜内各待处理关键点的最大角度偏差值，若各所述待处理关键点的最大角度偏差值小于或等于预设识别偏差值，则将所述预设姿势种类作为所述目标识别对象的姿势识别结果。

在本申请的一个实施例中，上述基于所述目标掩膜内各待处理关键点的三维坐标与预设姿势种类的各关键点三维坐标，确定所述目标掩膜内各待处理关键点的最大角度偏差值时，先基于目标掩膜内各待处理关键点中头部关键点(0号关键点)p0

其中，θ0

在本申请的一个实施例中，目标掩膜内各待处理关键点三维坐标与预设姿势种类的各关键点三维坐标中0号关键点的角度偏差值后，依次对各关键点的角度偏差值进行求解，并求出各关键点的角度偏差值，在对各组关键点的角度偏差值进行最大值求解，得到目标识别对象的姿势与预设姿势的偏差值，然后求各预设姿势中的最小偏差度，且偏差度小于或等于预设识别偏差值，则认为目标识别对象的姿势符合对应的预设姿势，并作为姿势识别结果输出。

在本申请的一个实施例中，基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象前，对各目标框中待处理关键点基于预设关键点损失函数进行损失权重计算，以减少损失关键点对所述待处理帧图像造成的识别精度降低，其中，目标框是关键点提取过程中对各待识别对象生成的目标包围框。

在本申请的一个实施例中，损失权重计算可以基于以下预设关键点损失函数进行计算：

其中，n是目标框数目，kpt_loss

在本申请的一个实施例中，由于识别对象均为前景，待处理关键点无遮挡缺失的对象，因而需要减少预测的关键点存在遮挡缺失对象的损失权重，故对预设YOLO模型的训练方法修改为在预设的YOLO模型训练阶段，对数据集的预处理过程中将关键点可见、遮挡和不可见三个类别中的遮挡处理为不可见，其次对YOLO模型预设的损失函数进行改进，降低了可见点数量较少对象的损失计算权重，提高了训练得到的YOLO模型对可见点数量较多对象的识别精度。基于上述预设关键点损失函数进行损失权重计算时，缺失关键点越多的人体对象的关键点预测偏差，对关键点总偏差影响更小。

在步骤S240中，若姿势类别为交互开始姿势，则控制开启交互模式，并识别当前帧图像中目标识别对象的姿势。

在本申请的一个实施例中，上述当前帧图像为待处理帧图像之后的帧图像。

在本申请的一个实施例中，若姿势类别为非交互开始姿势，则停止本次识别。

在本申请的一个实施例中，控制开启交互模式并识别当前帧图像中目标识别对象的姿势之前，获取所述待处理帧图像后预设数目的开始验证帧图像，并对各所述开始验证帧图像中目标识别对象的姿势进行识别，所述预设数目的开始验证帧图像为所述待处理帧图像后的预设数目个连续帧图像，若各所述开始验证帧图像中目标识别对象的姿势均为交互开始姿势，则控制开启交互模式，并以第一预设提示音进行语音播报。

在本申请的一个实施例中，若各开始验证帧图像中目标识别对象的姿势存在非交互开始姿势，则停止本次识别。

在本申请的一个实施例中，上述待处理帧图像后预设数目的开始验证帧图像的帧数选取用于保证交互动作的准确性，具体的实施过程中，一种可实施方案是对待处理帧图像后选取两秒内的全部帧图像进行识别，有效提高对每个姿势识别的确定性以及交互动作实现的准确性。

在本申请的一个实施例中，上述第一预设提示音是对控制开启交互模式的状态进行播报的语音提示，其内容可以是“交互模式已开启！”“启动姿态交互”等用于描述模式开启的语音提示内容，具体内容可以根据本方案实施过程中的具体需求对第一预设提示音进行确定，还可以根据用户需求进行设置，在此不对该第一预设提示音进行具体限定。

在本申请的一个实施例中，用户接收到第一提示音的提示后，即可通过单一预设姿势或组合姿势触发对应的预设控制指令，如通过组合姿势触发对应的预设控制指令，则可在原地从组合交互指令开始姿势按预期的姿势组合连续变化直至组合交互指令姿势完成后触发具有映射关系的预设控制指令。

优选地，若用户需要发出连续指令，则可以设置及约定姿势组合间保留短暂停顿时间，可有效提高识别准确率。

在本申请的一个实施例中，识别当前帧图像中目标识别对象的姿势之后，若识别到所述当前帧图像中目标识别对象的姿势为组合交互指令开始姿势，且所述当前帧图像后的预设数目个连续帧图像的识别结果均为组合交互指令开始姿势，则获取新一帧图像并识别各新获取帧图像内目标识别对象的姿势，再将新获取帧图像内目标识别对象的姿势识别结果依次进行记录，直至新获取帧图像内目标识别对象的姿势恢复至预设结束姿势，得到本次组合交互指令姿势识别结果，并结束本次对所述当前帧图像中目标识别对象的组合交互指令姿势识别，再将组合交互指令姿势识别结果与预设组合交互指令姿势进行对比，若存在预设组合交互指令姿势与所述组合交互指令姿势识别结果一致，则确定与所述预设组合交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令。

在本申请的一个实施例中，识别到所述当前帧图像中目标识别对象的姿势为组合交互指令开始姿势后，车机在接收到连续当前帧图像后，将相邻帧的重复姿势去重，然后与预设组合交互指令姿势进行匹配。

在本申请的一个实施例中，若预设组合交互指令姿势属于去重后数据帧的子集，则认为该组合命中，则确定与所述预设组合交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令。

在本申请的一个实施例中，若存在多个命中结果，则采用时间优先和组合长度优先的策略进行排序，获得最优的第一匹配结果，并基于匹配到的区间进行截断，保留后续帧的数据，继续进行匹配，直至截断后的帧无预设组合交互指令姿势的匹配结果，然后将识别到的组合交互指令姿势具有映射关系的预设控制指令，按组合交互指令姿势识别到的先后顺序进行预设控制指令的排列。

在本申请的一个实施例中，识别当前帧图像中目标识别对象的姿势之后，若识别到所述当前帧图像中目标识别对象的姿势为交互结束姿势，则控制关闭交互模式，并以第二预设提示音进行语音播报。

在本申请的一个实施例中，上述第二预设提示音是对控制关闭交互模式的状态进行播报的语音提示，其内容可以是“交互模式已关闭！”“姿态交互结束”等用于描述模式开启的语音提示内容，具体内容可以根据本方案实施过程中的具体需求对第一预设提示音进行确定，还可以根据用户需求进行设置，在此不对该第二预设提示音进行具体限定。

在步骤S250中，若识别到当前帧图像中目标识别对象的姿势为交互指令姿势，则根据交互指令姿势确定与交互指令姿势具有映射关系的预设控制指令，并在车机执行预设控制指令。

在本申请的一个实施例中，识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势之后，获取所述当前帧图像后预设数目的识别验证帧图像，并对各所述识别验证帧图像中目标识别对象的姿势进行识别，其中，所述预设数目的识别验证帧图像为所述当前帧图像后的预设数目个连续帧图像。

在本申请的一个实施例中，若各所述识别验证帧图像中目标识别对象的姿势均为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令，并在车机执行所述预设控制指令，并基于所述预设控制指令进行语音播报。

请参阅图5，图5是本申请的一示例性实施例示出的一种具体的人机姿态交互方法流程图。

如图5所示，在本申请的一个具体实施例中，先获取车辆上的摄像头拍摄的图像，得到图片帧，该图片帧与上述实施例中待处理帧图像一致，对图像采用预设的姿势识别算法识别人体姿态，该预设的姿势识别算法包括上述实施例中的第一预设算法、第二预设算法、预设重叠算法、预设关键点损失函数、预设坐标转换算法以及最大角度偏差值计算方法，得到姿态类别数据帧，并确定指令模式是否激活，其中，指令模式与上述实施例中的交互模式一致。

在本申请的一个具体实施例中，若指令模式激活，则首先判断当前帧是否符合结束姿势策略，若符合结束姿势策略，退出车辆控制指令模式，并采用第三提示音提示用户，指令模式关闭成功，其中第三提示音与上述实施例中第二预设提示音一致。

在本申请的一个具体实施例中，若不符合结束姿势策略，则确认指令模式激活，针对连续姿态数据顿匹配车辆控制指令策略，并根据车辆控制指令控制车辆，采用第二提示音提示用户，完成一次指令。其中，第二提示音与上述实施例中基于预设控制指令进行语音播报一致。

在本申请的一个具体实施例中，若指令模式未激活，则首先判断当前帧是否符合开始姿势策略，若符合开始姿势策略，则激活车辆控制指令模式，并采用第一提示音提示用户，指令模式开启成功，其中第一提示音与上述实施例中第一预设提示音一致。

在本申请的一个具体实施例中，若不符合开始姿势策略，则无响应，结束本次识别。

请参阅图6，图6是本申请的一示例性实施例示出的一种具体的姿态识别方法流程图。

如图6所示，在本申请的一个具体实施例中，获取图像顿数据后基于YOLO模型实例分割和YOLO模型关键点识别进行待处理关键点提取和目标框分割。判别前后景时，YOLO模型实例分割下存在重叠目标框则根据实例掩码区域面积判别前后景，YOLO模型关键点识别下存在重叠目标框则根据关键点可见数量判别前后景。

在本申请的一个具体实施例中，前景对象筛选后基于IOU对齐实例分割和关键点识别的目标框对象，基于关键点在对齐实例掩码区域落点位置，矫正对应关系，得到目标姿势关键点，再基于开始姿势关键点将其与目标姿势关键点数据对齐，获得基础骨骼参数，以及获取预设姿势关键点，并根据预设姿势与采集批次数据对齐，获得基础骨骼参数后进行2D坐标转3D坐标，并计算目标姿势与预设姿势配对计算最大夹角偏差，获取偏差最小的预设姿势，并判断是否低于灵敏度阈值，该灵敏度阈值与上述实施例中预设识别偏差值一致，若低于灵敏度阈值，则将偏差最小的预设姿势作为姿势类别输出；若不低于灵敏度阈值，则结束本次识别并再次识别。

需要说明的是，上述图6流程图所示的具体姿态识别方法实施例中描述的目标框与前述实施例中的待处理掩膜一致。

本发明实施例中的一种人机姿态交互方法、系统、电子设备及存储介质，通过获取待处理帧图像，根据预设算法对待处理帧图像进行关键点提取和掩膜分割，根据待处理关键点和待处理掩膜确定目标识别对象，并进行姿势识别确定目标识别对象的姿势类别，若为交互开始姿势，则控制开启交互模式并识别当前帧图像中目标识别对象的姿势，若为交互指令姿势，则根据交互指令姿势确定预设控制指令并在车机进行执行；本方法同时进行关键点与掩膜提取，并将关键点和掩膜作为共同识别因素进行识别，提升在多目标环境下的目标识别准确度，且在识别到交互开始动作后才开启交互模式，进一步优化对目标的准确识别，减少其他目标动作的影响；本申请还可以提供的有益效果包括组合交互指令姿势的构建可以提升交互过程中对指令确定的进度需求，避免一些场景中因偶然发生的动作而触发交互并控制车机进行指令的执行，其次，组合交互指令姿势的构建可以提升交互的趣味性，实现个性化的指令交互；确定目标掩膜内的待处理关键点后，计算人体对象的根节点，并根据根节点依次计算各待处理关键点的相对坐标，以减少三维坐标计算的计算量；待处理帧图像后预设数目的开始验证帧图像的帧数选取用于保证交互动作的准确性，具体的实施过程中，一种可实施方案是对待处理帧图像后选取两秒内的全部帧图像进行识别，有效提高对每个姿势识别的确定性以及交互动作实现的准确性；通过T-pose或开始姿势获得人体骨骼参数，标定同批次数据，从二维关键点坐标转三维坐标，姿势间的偏差通过空间角度计算，达到姿势识别准确率不受骨骼参数、距离变化影响的效果；本申请的实施方案，无需大量标注数据支持实现，仅需需求数目图片便可实现对新姿势的扩展支持，有效节省算力支持。

以下介绍本申请的系统实施例，可以用于执行本申请上述实施例中的人机姿态交互方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的人机姿态交互方法的实施例。

图7是本申请的一示例性实施例示出的人机姿态交互系统的框图。该系统可以应用于图2所示的实施环境，并具体配置在计算机设备102中。该系统也可以适用于其他的示例性实施环境，并具体配置在其它设备中，本实施例不对该系统所适用的实施环境进行限制。

如图7所示，该示例性的人机姿态交互系统包括：图像获取模块701，用于获取待处理帧图像，所述待处理帧图像中存在至少一个待识别对象，所述待处理帧图像通过设置于车机的图像获取装置进行获取；姿势识别模块702，用于根据第一预设算法对所述待处理帧图像进行关键点提取，得到多个待处理关键点，并根据第二预设算法对所述待处理帧图像进行实例分割，得到多个待处理掩膜；基于各所述待处理关键点和各所述待处理掩膜，确定目标识别对象，并对目标识别对象的姿势进行识别，确定所述待处理帧图像中目标识别对象的姿势类别；若所述姿势类别为交互开始姿势，则控制开启交互模式，并识别当前帧图像中目标识别对象的姿势，所述当前帧图像为所述待处理帧图像之后的帧图像；指令管理模块703，用于若识别到所述当前帧图像中目标识别对象的姿势为交互指令姿势，则根据所述交互指令姿势确定与所述交互指令姿势具有映射关系的预设控制指令；控制器管理模块704，用于在车机执行所述预设控制指令。

请参阅图8，图8是本申请的一示例性实施例示出的一种具体人机姿态交互系统的框图。该系统可以应用于图2所示的实施环境，并具体配置在计算机设备102中。该系统也可以适用于其他的示例性实施环境，并具体配置在其它设备中，本实施例不对该系统所适用的实施环境进行限制。

如图8所示，该具体人机姿态交互系统包括S100姿势管理模块、S200姿势识别模块、S300指令管理模块、S400控制器管理模块，其中S100姿势管理模块包括S101姿势采集和录入，姿势采集可由采集人员在单目摄像头前固定姿势后拍摄获取，同一采集人员的同一采集批次需定点摆拍，正面摄像头的T-pose(双手平举，双脚并拢，身体直立)姿势，以上过程也可通过虚拟数字人完成，采集完成后进行系统录入，需按采集批次录入，且需指定1个批次内的T-pose样例作为该组数据后续进行人体规格标定时的基准。

在一具体的系统实施例中，上述S100姿势管理模块还包括S102姿势分组标记，针对S101的姿势采集图片数据，可根据需求，在系统上创建姿势分组，然后对批次的采集进行人工标记，转移到对应组别；组别信息中可指定一张图片作为预览的姿势代表；另外，还应指出该组动作识别时，应关注的关键点范围，如双手叉腰动作，在本实施案例中不限制腿部动作和头部朝向，可标记涉及关键点识别范围：5～12。在姿势识别时，可用于限制输入对象姿势与目标姿势在该范围的比较相似度，以提高识别率。另可设置低、中、高泛化率等级，三个等级对应着对采集姿势与目标姿势的角度最大偏差阈值，本实施案例中，预设的三个等级阈值分别为：低(最大偏差角≤10度)、中(最大偏差角≤20度)、高(最大偏差角≤30度)。

在一具体的系统实施例中，上述S100姿势管理模块还包括S103姿势组合，在姿势组合时，新建姿势组合后，可预览勾选预设的姿势分组类别，支持姿势的多选；在姿势组合内，针对选择的姿势类别，可进行顺序编排，支持单个姿势的复用，但限制相同姿势的连续编排。

在一具体的系统实施例中，上述S200姿势识别模块由预设的基于YOLO模型的示例分割算法，改进后的YOLO关键点识别算法，关键点与掩膜的矫正，2D坐标转3D坐标，及姿势间偏差角计算等流程逻辑组成；输入为图片帧，输出为识别到的预设姿势分类结果。

在一具体的系统实施例中，上述S300指令管理模块还包括S301指令策略配置，指令策略中，可按控制器创建策略，策略内可配置多条触发条件和执行指令，针对每个触发条件，可配置对应激活的姿势组合，以下为具体实施的一种示例性举例：针对音乐播放器策略，通过配置双手贴耳边后接双手头顶比心的姿势组合，作为触发音乐播放器开启的条件；通过配置双手贴耳边后接右手上举前后招手，作为触发音乐播放器继续的条件；通过双手贴耳后接叉腰动作，作为触发音乐播放器暂停的条件；通过双手贴耳后接右手上举后下划到右手下垂，作为触发音乐播放器切换的条件；通过双手贴耳后接右手左右横向招手，作为触发音乐播放器退出的条件。为了更便于用户记忆，和减少控制器间的意图缠绕，建议针对相同的控制器，姿势组合中起始的第1个动作保持一致，并与其他控制器有明显区分。

在一具体的系统实施例中，上述S300指令管理模块还包括S302指令识别，指令识别服务会针对输入的数据片段，匹配命中的姿势组合，并按识别顺序将组合对应的指令进行排序后返回结果。

在一具体的系统实施例中，S400车辆设备控制模块接收到指令流后，会按顺序依次将指令下发到对应的控制器，完成1个指令后下发下一个，直到完成批次指令后返回状态

需要说明的是，上述实施例所提供的人机姿态交互系统与上述实施例所提供的人机姿态交互方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的人机姿态交互系统在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的方法。

图9示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图9示出的电子设备的计算机系统900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(Central Processing Unit，CPU)901，其可以根据存储在只读存储器(Read-Only Memory，ROM)902中的程序或者从储存部分908加载到随机访问存储器(Random Access Memory，RAM)903中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output，I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分907；包括硬盘等的储存部分908；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分908。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框，以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的方法。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。