一种人体感知模型的训练方法、装置、介质及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种人体感知模型的训练方法、装置、介质及电子设备。

背景技术

随着科技的发展，人工智能飞速发展。随着智慧建筑和智能家居等理念的兴起，人体感知技术得的广泛关注，尤其在智慧医疗以及智慧养老领域，需要实时获取被监测人的生理状态和运动状态，有效检测被监测人的异常状态，以及时为被监测人提供救助。其中，毫米波雷达具备全天候、抗干扰、非接触等特点，是人体感知技术中使用的传感器之一。

但是，由于毫米波雷达传感器的空间分辨率十分有限，并且通常室内的环境复杂，因此基于毫米波雷达的人体感知技术在室内场景下难以发挥令人满意的效果。

基于此，本申请说明书提供了基于毫米波雷达的一种人体感知模型的训练方法，使得训练出的人体感知模型不仅能够确定待检测空间内是否存在人，还可以实现对人体各部位位置的定位，以及实现对人体形态轮廓的感知，提升了基于毫米波雷达的人体感知模型的人体感知能力。

发明内容

本说明书提供一种人体感知模型的训练方法、装置、介质及电子设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种人体感知模型的训练方法，所述方法包括：

确定待检测区域；

获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；

获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；

将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；

根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。

可选地，所述其他传感器包括光学检测设备；

获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：

获取所述光学检测设备对所述待检测区域进行图像采集的图像；

确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人体轮廓；

将所述第一部位位置以及所述第一人体轮廓作为检测结果。

可选地，所述其他传感器还包括激光雷达；

获取其他传感器对所述待检测区域进行检测的检测结果，具体包括：

获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；

根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；

根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；

将所述最终部位位置以及所述最终人体轮廓作为检测结果。

可选地，所述待训练的人体感知模型包括：编码层，解码层以及预测层，所述预测层包括分类子层，回归子层以及分割子层；

所述检测结果还包括：所述待检测区域中是否存在人体；

将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果，具体包括：

将所述样本数据输入所述编码层，得到编码特征；

将所述编码特征输入所述解码层，得到解码特征；

将所述解码特征输入所述分类子层，得到分类预测结果；其中，所述分类预测结果用于表征所述待检测区域中是否存在人体；

将所述解码特征输入所述回归子层，得到人体各部位位置预测结果；

将所述解码特征输入所述分割子层，得到人体轮廓预测结果。

可选地，将所述检测结果中所述待检测区域中是否存在人体作为第一标注；

将所述检测结果中所述待检测区域中的人体的各部位位置作为第二标注；

将所述检测结果中所述待检测区域中的人体轮廓作为第三标注；

确定损失，具体包括：

根据所述分类预测结果与所述第一标注之间的差异，确定第一损失；

根据所述人体各部位位置预测结果与所述第二标注之间的差异，确定第二损失；

根据所述人体轮廓预测结果与所述第三标注之间的差异，确定第三损失。

可选地，对所述待训练的人体感知模型进行训练对所述待训练的人体感知模型进行训练，具体包括：

根据所述第一损失以及所述第二损失，确定综合损失；

根据所述综合损失以及所述第三损失，对所述待训练的人体感知模型进行训练。

可选地，将所述样本数据输入待训练的人体感知模型，具体包括：

对所述样本数据进行距离维度的解算以及多普勒维度的解算，分别得到所述样本数据对应的距离维度数据以及多普勒维度数据；

根据所述毫米波雷达的工作方式，确定所述样本数据对应的通道数维度数据；其中，所述通道数维度数据表征所述毫米波雷达的工作方式对应的通道数；

基于所述样本数据对应的距离维度数据、多普勒维度数据以及通道数维度数据，得到所述样本数据对应的三维数组；

将所述样本数据对应的三维数组输入待训练的人体感知模型。

本说明书提供了一种人体感知模型的训练装置，包括：

确定模块，用于确定待检测区域；

第一获取模块，用于获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；

第二获取模块，用于获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；

输入模块，用于将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；

训练模块，用于根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。

可选地，所述其他传感器包括光学检测设备；

所述第二获取模块具体用于，获取所述光学检测设备对所述待检测区域进行图像采集的图像；确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人体轮廓；将所述第一部位位置以及所述第一人体轮廓作为检测结果。

可选地，所述其他传感器还包括激光雷达；

所述第二获取模块具体用于，获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；将所述最终部位位置以及所述最终人体轮廓作为检测结果。

可选地，所述待训练的人体感知模型包括：编码层，解码层以及预测层，所述预测层包括分类子层，回归子层以及分割子层；

所述检测结果还包括：所述待检测区域中是否存在人体；

所述输入模块具体用于，将所述样本数据输入所述编码层，得到编码特征；将所述编码特征输入所述解码层，得到解码特征；将所述解码特征输入所述分类子层，得到分类预测结果；其中，所述分类预测结果用于表征所述待检测区域中是否存在人体；将所述解码特征输入所述回归子层，得到人体各部位位置预测结果；将所述解码特征输入所述分割子层，得到人体轮廓预测结果。

可选地，将所述检测结果中所述待检测区域中是否存在人体作为第一标注；

将所述检测结果中所述待检测区域中的人体的各部位位置作为第二标注；

将所述检测结果中所述待检测区域中的人体轮廓作为第三标注；

所述训练模块具体用于，根据所述分类预测结果与所述第一标注之间的差异，确定第一损失；根据所述人体各部位位置预测结果与所述第二标注之间的差异，确定第二损失；根据所述人体轮廓预测结果与所述第三标注之间的差异，确定第三损失。

可选地，所述训练模块具体用于，根据所述第一损失以及所述第二损失，确定综合损失；根据所述综合损失以及所述第三损失，对所述待训练的人体感知模型进行训练。

可选地，所述输入模块具体用于，对所述样本数据进行距离维度的解算以及多普勒维度的解算，分别得到所述样本数据对应的距离维度数据以及多普勒维度数据；根据所述毫米波雷达的工作方式，确定所述样本数据对应的通道数维度数据；其中，所述通道数维度数据表征所述毫米波雷达的工作方式对应的通道数；基于所述样本数据对应的距离维度数据、多普勒维度数据以及通道数维度数据，得到所述样本数据对应的三维数组；将所述样本数据对应的三维数组输入待训练的人体感知模型。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人体感知模型的训练方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述人体感知模型的训练方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的人体感知模型的训练方法中可以看出，在将毫米波雷达的毫米波信号作为样本数据对人体感知模型进行训练的过程中，使用其他传感器对待检测区域进行检测，得到至少包括待检测区域中人体的部位位置以及人体轮廓的检测结果，并将该检测结果作为标注，以对待训练的人体感知模型进行训练。该方法将其他传感器对待检测区域进行检测的检测结果作为标注，解决了毫米波信号难以提取标注的难题，且在实现对待检测区域是否存在人体的检测的基础上，实现了对人体的精细化感知也即可实现对人体各部位位置的定位以及呈现人体轮廓。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种人体感知模型的训练方法的流程示意图；

图2为本说明书提供的一种人体感知模型的结构示意图；

图3为本说明书提供的一种人体感知模型的训练装置示意图；

图4为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

随着智慧建筑和智能家居等理念的兴起，室内人体感知技术得到了非常多的关注。尤其在智慧医疗和智慧养老场景中，需要实时获取被监测人的生理状态和运动状态，以在被监测人出现异常状态时可在第一时间为被监测人提供救助。目前，以摄像头为核心的光学检测设备广泛应用，然而由于光学成像技术会引入隐私问题，也即在室内场景下使用摄像头会导致隐私泄露，而毫米波雷达具备全天候、抗干扰、非接触等特点，且可避免隐私泄露，因此基于毫米波雷达的人体感知技术得到广泛应用。

一般的，毫米波雷达主要依赖对人体运动产生的多普勒效应实现是否存在人体的检测。其原理为：人体在运动状态下的动作如挥手、行走、跑步、跳跃等会对毫米波信号产生多普勒调制，从而能够被毫米波雷达捕捉到，实现人体是否存在的检测，并且人体在静止状态下，一些基本的生理活动（如：呼吸作用、心跳作用）也能被毫米波雷达捕捉到，诸如呼吸作用以及心跳作用的生理活动可在人体皮肤表面形成微小的、有规律的波动，当毫米波雷达照射在人体上时，这些波动会对毫米波雷达的发射信号进行相位调制，调制后的信号可被毫米波雷达接收，并能够对调制后的信号进行解析，从而得到人体相应的呼吸频率以及心跳频率，实现人体是否存在的检测。

但是，在室内环境下存在多径传播效应，使得毫米波雷达在室内环境中难以发挥令人满意的感知效果，目前的毫米波雷达仅能感知人体的存在，却无法对人体进行精细化感知也即无法得知人体各部位位置。基于此，本申请说明书提供了基于毫米波雷达的一种人体感知模型的训练方法，使得训练出的人体感知模型不仅能够确定待检测空间内是否存在人体，还可以实现对人体形态轮廓以及人体各部位的精细化感知，提升了基于毫米波雷达的人体感知模型的人体感知能力。

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的一种人体感知模型的训练方法的流程示意图，具体可包括以下步骤：

S100：确定待检测区域。

S102：获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据。

执行本说明书技术方案的执行主体可为任意具备计算能力的计算设备（如：服务器、终端）。

则首先，该计算设备可确定待检测区域，该待检测区域可为卫生间、客厅等室内区域，当然也可为室外区域，即在本说明书中可根据具体场景以及具体需求，确定待检测区域，本说明书不做限制。

然后，该计算设备可获取对待检测区域进行人体感知的毫米波雷达的毫米波信号，并将毫米波信号作为样本数据，以在后续步骤中用于对待训练的人体感知模型进行训练。

具体的，在本说明书的一个或多个实施例中，该计算设备中可配置有毫米波雷达系统，该毫米波雷达系统的工作方式可配置为多输入多输出（Multiple Input MultipleOutput，MIMO）天线阵列，其中，毫米波雷达系统对应的天线阵列中包含发射毫米波信号的发射天线以及接收毫米波信号的接收天线。该毫米波雷达系统可向待检测区域发射第一信号，并接收返回的第二信号，并可对第二信号进行采样，得到采样后的毫米波信号，进而可将采样后的毫米波信号作为样本数据。更具体的，在本说明书的一个或多个实施例中，该毫米波雷达系统中的发射天线可以配置为时分复用工作模式（Time DivisionMultiplexing，TDM）或者码分复用工作模式（Code Division Multiplexing，CDM）。其中，在TDM模式下，该毫米波雷达系统可按照特定的工作时隙依次激活每一根发射天线向待检测区域发射相同的毫米波信号即第一信号。在CDM模式下，该毫米波雷达系统可同时激活所有发射天线向待检测区域发射毫米波信号即第一信号，每个发射天线发射的毫米波信号的初始相位存在差异。同时，无论是在TDM模式还是CDM模式下，该毫米波雷达系统中的接收天线都可在同一时间对第二信号进行采样，得到采样后的毫米波信号。

此外，在本说明书的实施例中，为了使得样本数据的格式适应于待训练的人体感知模型的输入数据的格式，以及为了使得模型训练的过程更加便利，可对样本数据进行预处理。具体的，可对采样后的毫米波信号也即样本数据进行距离维度的解算以及多普勒维度的解算，并基于该毫米波雷达系统对应的工作方式的通道数，得到样本数据对应的三维数组。该三维数组的第一维度表征距离维度，第二维度表征多普勒维度，第三维度表征毫米波雷达系统对应的工作方式的通道数维度。也就是说，在本说明书中在根据样本数据以及标注对待训练的人体感知模型进行训练时，该计算设备可先对样本数据进行距离维度的解算以及多普勒维度的解算，分别得到样本数据对应的距离维度数据以及多普勒维度数据，并根据毫米波雷达的工作方式，确定样本数据对应的通道数维度数据，该通道数维度数据指的是毫米波雷达的工作方式对应的通道数。然后可基于样本数据对应的距离维度数据、多普勒维度数据以及通道数维度数据，得到样本数据对应的三维数组。最后可根据该样本数据对应的三维数组以及标注对待训练的人体感知模型进行训练。

需要说明的是，该毫米波信号也即样本数据可为预先获取的数据，也即可不进行采集，而是从毫米波信号数据库等中获取的毫米波信号（样本数据），当然也可使用上述方法进行毫米波信号的采集从而得到样本数据。

S104：获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓。

接着，由于在对待训练的人体感知模型进行训练时，从毫米波信号中提取标注较为困难，而基于一些其他传感器（如：光学检测设备、激光雷达）对待检测区域中的人体进行检测感知的技术较为成熟便利，因此在本说明书中，该计算设备可获取其他传感器对待检测区域进行检测的检测结果，其中，该检测结果至少包括待检测区域中的人体的各部位位置以及人体轮廓，并可将该检测结果作为标注。也即在本说明书中，是使用其他传感器对待检测区域进行检测的检测结果作为标注，对待训练的人体感知模型进行训练，实现了跨模态的信息融合，提高了训练出的人体感知模型的感知性能。

具体的，在本说明书的一个或多个实施例中，该其他传感器可包括光学检测设备，更具体的该光学检测设备可为摄像头、相机等。则在该计算设备获取其他传感器对待检测区域进行检测的检测结果时，可获取光学检测设备对待检测区域进行图像采集的图像，确定图像中的人体的各部位位置以及人体轮廓，并将确定出的图像中的人体的各部位位置作为第一部位位置以及将确定出的图像中的人体轮廓作为第一人体轮廓，则该第一部位位置以及该第一人体轮廓即为检测结果。其中，在确定该图像中的人体的各部位位置以及人体轮廓时，可根据目标检测模型确定图像中的人体的各部位位置，该目标检测模型具体可为RetinaNet模型，并可以基于目标检测模型（RetinaNet模型）从图像中提取人体轮廓。当然也可使用人体部位识别模型确定图像中的人体的各部位位置，还可是该光学检测设备自身具备目标检测功能和/或人体部位识别功能，则可直接得到该光学设备输出的待检测区域中的人体的各部位位置以及人体轮廓。具体本说明书不做限制，只要可基于该光学检测设备得到待检测区域中人体的部位位置以及人体轮廓时即可。

需要说明的是，在本说明书中，该人体轮廓指的是从待检测区域中分割出的人体的轮廓，也即将人体从待检测区域中分割得到的轮廓，该人体各部位位置指的是组成人体的各部位或者说组成人体的主要肢体（如：头部、大臂、小臂、躯干、大腿、小腿）在待检测区域中的空间方位。

此外，由于不同传感器对待检测区域进行检测的检测结果的准确度不同，且检测结果的信息侧重不同，如：使用光学检测设备如相机仅能获取人体的光学信息，而无法获得人体的深度信息，而使用激光雷达可获取人体的精准定位，因此在本说明书的一个或多个实施例中，该其他传感器还可包括激光雷达，则在获取其他传感器对待检测区域进行检测的检测结果时，该计算设备可获取激光雷达对待检测区域进行扫描的激光雷达信号，并根据激光雷达信号，确定待检测区域中人体的各部位位置以及人体轮廓，进而可将确定出的待检测区域中人体的各部位位置作为第二部位位置以及将确定出的待检测区域中的人体轮廓作为第二人体轮廓。于是可根据第一部位位置以及第二部位位置，确定最终部位位置，并根据第一人体轮廓以及第二人体轮廓，确定最终人体轮廓。则最终部位位置以及最终人体轮廓即为检测结果。也就是说，在本说明书的一个或多个实施例中，使用激光雷达对待检测区域进行扫描感知，得到人体各部位（如：头部、大臂、小臂、躯干、大腿、小腿）对应的深度信息也即人体各部位位置，并结合基于光学检测设备得到的人体轮廓，将该人体各部位位置以及该人体轮廓进行融合得到检测结果并作为标注，提高了标注的准确性，从而提高了训练出的人体感知模型的准确度。

当然，在本说明书的一个或多个实施例中，也可不将激光雷达确定出的检测结果与基于光学检测设备确定出的检测结果进行融合，也即可将仅根据单一的其他传感器确定出的检测结果作为标注，则同样的也可结合多种其他传感器的检测结果确定标注，具体本说明书不做限制。

需要说明的是，其他传感器（如：光学检测设备、激光雷达）与毫米波雷达均可部署在该计算设备中，并且应使得其他传感器的感知检测范围与毫米波雷达的感知检测范围一致。

S106：将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果。

S108：根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。

最后，该计算设备可根据样本数据以及标注对待训练的人体感知模型进行训练，也即可将样本数据输入待训练的人体感知模型，得到待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果，进而根据人体各部位位置预测结果与检测结果之间的差异，人体轮廓预测结果与检测结果之间的差异，确定损失，并以损失最小为优化目标，对待训练的人体感知模型进行训练。具体的，由于要确定待检测区域中人体的各部位位置以及人体轮廓，则对于人体感知模型而言，前提是能够判断待检测区域中是否存在人体，因此该待训练的人体感知模型的模型任务包括：感知待检测区域中是否存在人体、待检测区域中人体轮廓以及待检测区域中该人体的各部位位置，也即该检测结果包括：待检测区域中是否存在人体，待检测区域中人体的各部位位置以及人体轮廓。

则该计算设备可将检测结果中待检测区域中是否存在人体作为第一标注，将检测结果中待检测区域中的人体的各部位位置作为第二标注，将检测结果中待检测区域中的人体轮廓的作为第三标注，以基于该三种标注对待训练的人体感知模型进行训练。

在本说明书的一个或多个实施例中，该待训练的人体感知模型可包括：编码层，解码层以及预测层，其中，预测层包括分类子层，回归子层以及分割子层，如图2所示，为本申请说明书提供的一种人体感知模型的结构示意图。则在计算设备将样本数据输入待训练的人体感知模型，得到待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果时，可将样本数据输入编码层，得到编码特征，并将编码特征输入解码层，得到解码特征，进而可将解码特征分别输入到分类子层、回归子层以及分割子层，以分别得到分类预测结果、人体各部位位置预测结果以及人体轮廓预测结果，其中分类预测结果用于表征待检测区域中是否存在人体。

则在该计算设备确定损失时，可根据分类预测结果与第一标注之间的差异，确定第一损失，根据人体各部位位置预测结果与第二标注之间的差异，确定第二损失，以及根据人体轮廓预测结果与第三标注之间的差异，确定第三损失，以基于该三种损失对待训练的人体感知模型进行训练。进一步的，在本说明书的一个或多个实施例中，该计算设备还可根据第一损失以及第二损失，确定综合损失，并根据综合损失以及第三损失，对待训练的人体感知模型进行训练。

具体的，首先，如上述步骤S100-S102中所述可对样本数据进行预处理，则在本步骤中可将预处理之后的样本数据也即样本数据对应的三维数组输入编码层，该编码层具体可为特征金字塔网络，该特征金字塔网络可使用金字塔结构学习三维数组中的多尺度特征。更具体的，在本说明书的一个或多个实施例中，该金字塔网络可包含5个首尾相连的残差层，该残差层输出的特征图可组成特征金字塔。在本说明书中，三维数组中的通道数维度数据用于对毫米波雷达感知距离范围内的方位角进行编码。并且在本说明书的一个或多个实施例中，由于待检测区域中的小型物体占据三维数组中的少量的数据点，因此为了防止丢失小型物体的信息特征，特征金字塔网络对应的编码层可对该三维数组执行2×2下采样，以使得输出的数据张量也即编码特征的大小在距离维度和多普勒维度上整体一共减少16倍。

进而，该计算设备可将经由编码层处理过后的三维数组也即编码特征输入解码层，该解码层用于对距离张量以及角度张量进行解码，旨在将经由编码层处理过后输出编码特征映射扩展到更高分辨率的表示形式上。在本说明书中的一个或多个实施例中，该解码层具体可通过多个反卷积层实现特征扩展的功能，也即该解码层具体可为多个反卷积层。其中，每个反卷积层的输出张量可与输入反卷积层中的特征图也即经由编码层得到的特征图相融合，以保留待检测区域的细节信息。采用特征金字塔网络作为编码层以及使用解码层（进行距离以及角度的解码）实现人体的方位角计算，区别于目前基于毫米波雷达多普勒效应/微多普勒效应的室内人体检测方法，可以不使用基于快速傅里叶的复杂的方位角维度的计算，降低对计算设备的算力需求，避免消耗过多的计算资源。

最后，该计算设备可将解码层输出的张量（可为距离维度以及方位角维度的二维数组），输入到预测层，该预测层具体分类子层、回归子层以及分割子层构成。对于分类子层以及回归子层而言，其均可包括四个级联的卷积-批归一化（Conv-BatchNorm）层，也即可将解编码层输出的张量即编码特征输入到卷积-批归一化层，得到处理结果，并将处理结果分别输入分类子层以及回归子层，其中，分类子层可为卷积层，包含sigmoid激活函数，用于生成概率图，以实现对毫米波信号是否被人体占据或未被人体占据的二进制分类判定，也即实现对待预测区域是否存在人体的判定，回归子层用于预测人体位置也即人体的距离和方位角，该回归子层可为3×3的卷积层，可输出两个特征，该两个特征用于分别表征人体的距离和方位角。

此外，在本说明书的一个或多个实施例中，分类子层可采用焦点损失（FocalLoss）也即第一损失可为焦点损失，回归子层可采用平滑L1损失（Smooth L1 Loss）也即第二损失可为平滑L1损失，在本说明书中基于第一损失以及第二损失得到的综合损失可使用下述公式表示：

其中，

对于分割子层而言，该分割子层用于确定待检测区域中的人体轮廓，也即将人体从待检测区域中分割。在本说明书中，可将解码层输出的张量也即解码特征输入到该分割子层中，具体该分割子层可为4个级联的卷积块，每一个卷积块包含2个卷积-批归一化-线性整流函数（Conv-BatchNormal-ReLu）块，经由卷积块处理后的数据可再经过1×1的卷积层进行处理，得到二维特征图，该特征图可经由sigmoid激活函数处理，得到该张量中包含的每个像素的类别。在本说明书中，该第三损失可为二元交叉熵损失（Binary CrossEntropy Loss），公式如下：

其中，

基于图1所示本说明书提供的上述人体感知模型的训练方法中，将其他传感器检测出的对待检测区域中的人体的部位位置以及人体轮廓的检测结果作为标注，以对将毫米波信号作为样本的人体感知模型进行训练，解决了毫米波信号难以提取标签的难题，使得训练出的人体感知模型在确定待检测区域内是否存在人体的基础上，实现了对待检测区域中人体的各部位位置的确定以及人体轮廓的分割，即实现了对人体的精细化感知，提升了基于毫米波雷达的人体感知模型的人体感知能力。

基于上述内容所述的人体感知模型的方法，本说明书实施例还对应的提供一种用于人体感知模型的训练装置示意图，如图3所示。

图3为本说明书实施例提供的一种用于人体感知模型的训练装置的示意图，所述装置包括：

确定模块300，用于确定待检测区域；

第一获取模块302，用于获取对所述待检测区域进行人体感知的毫米波雷达的毫米波信号，并将所述毫米波信号作为样本数据；

第二获取模块304，用于获取其他传感器对所述待检测区域进行检测的检测结果，并将所述检测结果作为标注；其中，所述检测结果包括：所述待检测区域中的人体的各部位位置以及人体轮廓；

输入模块306，用于将所述样本数据输入待训练的人体感知模型，得到所述待训练的人体感知模型输出的人体各部位位置预测结果以及人体轮廓预测结果；

训练模块308，用于根据所述人体各部位位置预测结果与所述检测结果之间的差异，所述人体轮廓预测结果与所述检测结果之间的差异，确定损失，并以所述损失最小为优化目标，对所述待训练的人体感知模型进行训练。

可选地，所述其他传感器包括光学检测设备；

所述第二获取模块304具体用于，获取所述光学检测设备对所述待检测区域进行图像采集的图像；确定所述图像中的人体的各部位位置以及人体轮廓，并将确定出的所述图像中的人体的各部位位置作为第一部位位置以及将确定出的所述图像中的人体轮廓作为第一人体轮廓；将所述第一部位位置以及所述第一人体轮廓作为检测结果。

可选地，所述其他传感器还包括激光雷达；

所述第二获取模块304具体用于，获取所述激光雷达对所述待检测区域进行扫描的激光雷达信号；根据所述激光雷达信号，确定所述待检测区域中人体的各部位位置以及人体轮廓，并将确定出的所述待检测区域中人体的各部位位置作为第二部位位置以及将确定出的所述待检测区域中的人体轮廓作为第二人体轮廓；根据所述第一部位位置以及所述第二部位位置，确定最终部位位置，并根据所述第一人体轮廓以及所述第二人体轮廓，确定最终人体轮廓；将所述最终部位位置以及所述最终人体轮廓作为检测结果。

可选地，所述待训练的人体感知模型包括：编码层，解码层以及预测层，所述预测层包括分类子层，回归子层以及分割子层；

所述检测结果还包括：所述待检测区域中是否存在人体；

所述输入模块306具体用于，将所述样本数据输入所述编码层，得到编码特征；将所述编码特征输入所述解码层，得到解码特征；将所述解码特征输入所述分类子层，得到分类预测结果；其中，所述分类预测结果用于表征所述待检测区域中是否存在人体；将所述解码特征输入所述回归子层，得到人体各部位位置预测结果；将所述解码特征输入所述分割子层，得到人体轮廓预测结果。

可选地，将所述检测结果中所述待检测区域中是否存在人体作为第一标注；

将所述检测结果中所述待检测区域中的人体的各部位位置作为第二标注；

将所述检测结果中所述待检测区域中的人体轮廓作为第三标注；

所述训练模块308具体用于，根据所述分类预测结果与所述第一标注之间的差异，确定第一损失；根据所述人体各部位位置预测结果与所述第二标注之间的差异，确定第二损失；根据所述人体轮廓预测结果与所述第三标注之间的差异，确定第三损失。

可选地，所述训练模块308具体用于，根据所述第一损失以及所述第二损失，确定综合损失；根据所述综合损失以及所述第三损失，对所述待训练的人体感知模型进行训练。

可选地，所述输入模块306具体用于，对所述样本数据进行距离维度的解算以及多普勒维度的解算，分别得到所述样本数据对应的距离维度数据以及多普勒维度数据；根据所述毫米波雷达的工作方式，确定所述样本数据对应的通道数维度数据；其中，所述通道数维度数据表征所述毫米波雷达的工作方式对应的通道数；基于所述样本数据对应的距离维度数据、多普勒维度数据以及通道数维度数据，得到所述样本数据对应的三维数组；将所述样本数据对应的三维数组输入待训练的人体感知模型。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述内容所述的人体感知模型的训练方法。

基于上述内容所述的人体感知模型的方法，本说明书实施例还提出了图4所示的电子设备的示意结构图。如图4，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述内容所述的人体感知模型的训练方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。