鼻部关键点的标注方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种鼻部关键点的标注方法、装置、电子设备及存储介质。

背景技术

人脸关键点检测是人脸识别和分析领域的关键一步，它是诸如自动人脸识别、表情分析、三维人脸重建及其它人脸相关问题的前提和突破口。

而基于深度学习的人脸关键点检测模型，需要大量人脸图像和标注数据进行训练，所以，目前通常采用人工标注鼻部关键点的方法得到鼻部标注数据，但是，人工标注的方法，人工成本较高，且由于不同标注人员对同一关键点的标注结果可能不统一，而导致训练得到的模型的误差大。

发明内容

本公开提供一种鼻部关键点的标注方法、装置、电子设备及存储介质，以至少解决现有的鼻部关键点的标注方法人工成本较高，且标注结果不统一而导致训练得到的模型的误差大的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种鼻部关键点的标注方法，包括：

获取人脸的渲染图像，所述渲染图像包括鼻部待标注的关键点，所述渲染图像基于渲染数据生成，所述渲染数据包括所述关键点的三维位置和所述鼻部的多个预设区域；

响应于所述关键点的投影位置在所述渲染图像中不可见，获取标注参数，所述标注参数至少包括所述关键点的参考轮廓的位置，所述参考轮廓为与所述关键点对应的所述预设区域的轮廓，所述与所述关键点对应的所述预设区域为包括所述关键点的概率大于第一阈值的所述预设区域，所述投影位置为将所述关键点的三维位置投影到二维图像空间得到的位置；

依据所述标注参数，标注所述关键点在所述渲染图像中的位置。

可选地，标注参数还包括：参考线，所述参考线为经过所述关键点的投影位置、且方向为鼻中轴线的方向或者所述鼻中轴线的垂直方向的直线；

依据所述标注参数，标注所述关键点在所述渲染图像中的位置，包括：

依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置。

可选地，关键点位于所述鼻中轴线上，且所述关键点的所述参考线的方向为所述鼻中轴线的方向；

依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

依据所述关键点与目标线在所述鼻中轴线方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置；所述目标线为垂直于所述鼻中轴线，且过所述鼻中轴线的中点的直线。

可选地，关键点位于所述鼻中轴线上；

所述关键点的所述参考线的方向为所述鼻中轴线的方向；

依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

按照所述关键点的所述参考轮廓依据所述概率从大到小的排序，依次查询所述参考线与所述参考轮廓是否存在所述交点，直到查询到所述交点；

依据所述关键点与目标预设区域在所述鼻中轴线方向的位置关系，从所述交点中，选择一个所述交点标注为所述关键点在所述渲染图像中的位置，所述目标预设区域为，具有查询到所述交点的所述参考轮廓的所述预设区域。

可选地，关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中不可见；

所述关键点的所述参考线的方向为所述鼻中轴线的方向；

依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

依据所述参考线与所述参考轮廓的交点在所述鼻中轴线方向的坐标，标注所述关键点在所述渲染图像中的位置。

可选地，关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中可见；

所述关键点的所述参考线的方向为所述鼻中轴线的垂直方向；

依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

依据所述关键点与所述鼻中轴线在所述参考线的方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置。

可选地，在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之前，还包括：

通过将所述渲染图像的翻转角转换为零，得到所述渲染图像的转换图像；

依据所述标注参数，标注所述关键点在所述渲染图像中的位置，包括：

从所述参考轮廓中，选择与所述转换图像的俯仰角和偏航角对应的参考轮廓，作为目标参考轮廓；所述与所述转换图像的俯仰角和偏航角对应的参考轮廓为，在所述俯仰角和偏航角下，包括所述关键点的概率大于所述第一阈值的所述预设区域的轮廓；

依据所述关键点与所述鼻中轴线在目标方向的位置关系，从所述目标参考轮廓上，选择一个像素点的位置作为所述关键点的目标位置；所述目标方向为所述鼻中轴线的垂直方向；

将所述目标位置转换至在所述渲染图像中的位置，得到所述关键点在所述渲染图像中的位置。

可选地，本方法还包括：

响应于所述关键点的投影位置在所述渲染图像中可见，将所述关键点的投影位置，标注为所述关键点在所述渲染图像中的位置。

可选地，在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后，还包括：

获取已标注的所述关键点中的第一关键点和第二关键点之间的轮廓线；所述第一关键点与所述第二关键点为所述已标注的关键点中，位于所述鼻部的轮廓线上、且所在位置的曲率大于第二阈值的所述关键点；

将所述轮廓线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

可选地，在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后，还包括：

获取已标注的所述关键点中的第一关键点和第二关键点之间的连线，所述第一关键点和所述第二关键点为位于鼻中轴线上的所述关键点；

将所述连线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

根据本公开实施例的第二方面，提供一种鼻部关键点的标注装置，包括：

渲染图像获取模块，用于获取人脸的渲染图像，所述渲染图像包括鼻部待标注的关键点，所述渲染图像基于渲染数据生成，所述渲染数据包括所述关键点的三维位置和所述鼻部的多个预设区域；

标注参数获取模块，用于响应于所述关键点的投影位置在所述渲染图像中不可见，获取标注参数，所述标注参数至少包括所述关键点的参考轮廓的位置，所述参考轮廓为与所述关键点对应的所述预设区域的轮廓，所述与所述关键点对应的所述预设区域为包括所述关键点的概率大于第一阈值的所述预设区域，所述投影位置为将所述关键点的三维位置投影到二维图像空间得到的位置；

标注模块，用于依据所述标注参数，标注所述关键点在所述渲染图像中的位置。

可选的，所述标注参数还包括：参考线，所述参考线为经过所述投影位置、且方向为鼻中轴线的方向或者所述鼻中轴线的垂直方向的直线；

所述标注模块用于依据所述标注参数，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置。

可选的，所述关键点位于所述鼻中轴线上，且所述关键点的所述参考线的方向为所述鼻中轴线的方向；

所述标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，依据所述关键点与目标线在所述鼻中轴线方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置；所述目标线为垂直于所述鼻中轴线，且过所述鼻中轴线的中点的直线。

可选的，所述关键点位于所述鼻中轴线上，且所述关键点的所述参考线的方向为所述鼻中轴线的方向；

所述标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，按照所述关键点的所述参考轮廓的排序，依次查询所述参考线与所述参考轮廓是否存在所述交点，直到查询到所述交点；所述参考轮廓的排序依据所述概率从大到小排列得到；依据所述关键点与目标预设区域在所述鼻中轴线方向的位置关系，从所述交点中，选择一个所述交点标注为所述关键点在所述渲染图像中的位置，所述目标预设区域为，具有查询到所述交点的所述参考轮廓的所述预设区域。

可选的，所述关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中不可见；

所述关键点的所述参考线的方向为所述鼻中轴线的方向；

所述标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，依据所述参考线与所述参考轮廓的交点在所述鼻中轴线方向的坐标，标注所述关键点在所述渲染图像中的位置。

可选的，所述关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中可见；

所述关键点的所述参考线的方向为所述鼻中轴线的垂直方向；

所述标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，依据所述关键点与所述鼻中轴线在所述参考线的方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置。

可选的，还包括：

转换模块，用于在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之前，通过将所述渲染图像的翻转角转换为零，得到所述渲染图像的转换图像；

所述标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：

所述标注模块具体用于，从所述参考轮廓中，选择与所述转换图像的俯仰角和偏航角对应的参考轮廓，作为目标参考轮廓；所述与所述转换图像的俯仰角和偏航角对应的参考轮廓为，在所述俯仰角和偏航角下，包括所述关键点的概率大于所述第一阈值的所述预设区域的轮廓；依据所述关键点与所述鼻中轴线在目标方向的位置关系，从所述目标参考轮廓上，选择一个像素点的位置作为所述关键点的目标位置；所述目标方向为所述鼻中轴线的垂直方向；将所述目标位置转换至在所述渲染图像中的位置，得到所述关键点在所述渲染图像中的位置。

可选的，所述标注模块还用于：

响应于所述关键点的投影位置在所述渲染图像中可见，将所述关键点的投影位置，标注为所述关键点在所述渲染图像中的位置。

可选的，所述标注模块还用于：

在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后，获取已标注的所述关键点中的第一关键点和第二关键点之间的轮廓线；所述第一关键点与所述第二关键点为所述已标注的关键点中，位于所述鼻部的轮廓线上、且所在位置的曲率大于第二阈值的所述关键点；将所述轮廓线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

可选的，所述标注模块还用于：

在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后，获取已标注的所述关键点中的第一关键点和第二关键点之间的连线，所述第一关键点和所述第二关键点为位于鼻中轴线上的所述关键点；将所述连线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现第一方面公开的鼻部关键点的标注方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面公开的鼻部关键点的标注方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品在由电子设备的处理器执行时，使得所述电子设备能够执行如上的鼻部关键点的标注方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开的鼻部关键点的标注方法、装置、电子设备及存储介质，获取基于渲染数据生成的人脸的渲染图像，渲染图像包括鼻部待标注的关键点，渲染数据包括关键点的三维位置和鼻部的多个预设区域。响应于关键点的投影位置在渲染图像中不可见，获取标注参数，标注参数至少包括关键点的参考轮廓的位置，参考轮廓为与关键点对应的预设区域的轮廓，与关键点对应的预设区域为包括关键点的概率大于第一阈值的预设区域。依据标注参数，标注关键点在渲染图像中的位置。可见，本公开可以自动标注关键点在渲染图像中的位置，又因为标注参数依据客观的数据和数值生成，所以，避免了主观因素对标注结果的影响，从而对于同一关键点能够获得统一的标注结果，有利于降低训练得到的模型的误差。综上，本公开提供的技术方案，不仅降低了人工成本，还避免了不同标注人员对同一关键点的标注不统一而导致的模型的误差大的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出鼻部关键点的标注方法的流程图；

图2是根据一示例性实施例示出鼻部的预设区域的轮廓的示意图；

图3是根据一示例性实施例示出的包括待标注的关键点的渲染图像的示意图；

图4是根据一示例性实施例示出的一种鼻部关键点的标注方法的具体实现方式的流程图；

图5是根据一示例性实施例示出的又一种鼻部关键点的标注方法的具体实现方式的流程图；

图6是根据一示例性实施例示出的一种鼻部关键点的标注装置的框图；

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开可选的一种应用场景为对人脸的渲染图像中位于鼻部的关键点进行标注，得到的渲染图像及标注数据用于对机器学习模型进行训练。

图1是根据一示例性实施例示出的一种鼻部关键点的标注方法的流程图，如图1所示，包括以下步骤：

S101、获取人脸的渲染图像。

本公开中，人脸的渲染图像包括鼻部待标注的关键点，渲染图像基于渲染数据生成。获取渲染数据以及生成渲染图像的方法可以参见现有技术。待标注的关键点可以为由人为预先指定的、训练模型常用的一些鼻部的像素点，例如，鼻尖点、左鼻翼点、以及右鼻翼点等。

本公开中，渲染数据包括：关键点的三维位置和鼻部的多个预设区域。在计算机渲染技术中，渲染数据应用于渲染生成三维图像，关键点的三维位置指示关键点在三维图像中的位置，一般的，关键点的三维位置的表示形式为三维坐标值。鼻部的多个预设区域预先划分，获取渲染数据以及划分预设区域的方法可以参见现有技术。

以图2所示的渲染图像为例，鼻部的预设区域中，从上至下分别为：鼻部的上区域201(记为第一预设区域C

渲染数据中的每一预设区域的轮廓由预设区域与其它区域(其它的预设区域或渲染图像中其它部位的区域)的交界处的像素点组成。例如，第四预设区域C

S102、响应于关键点的投影位置在渲染图像中可见，将关键点的投影位置，标注为关键点在渲染图像中的位置。

本公开中，投影位置为将关键点的三维位置投影到二维图像空间得到的位置。关键点的投影位置在渲染图像中可见，表示关键点的投影位置与关键点在渲染图像中的位置重合。所以，本公开将关键点的投影位置，标注为关键点在渲染图像中的位置。

判断关键点的投影位置在渲染图像中是否可见方法可以参见现有技术，例如利用深度图进行判断，这里不再赘述。

图3示例了一些待标注的鼻部的关键点，包括待标注的关键点63～74和97～100。

以关键点(以下简称为P)63为例，假设P63的投影位置在渲染图像中可见，也即P63的投影位置与P63在渲染图像中的位置重合，所以，将P63的投影位置标注为P63在渲染图像中的位置。

本公开中，响应于关键点的投影位置在渲染图像中可见，能够自动标注关键点在渲染图像中的位置，并且，当关键点的投影位置在渲染图像中可见，表示关键点的投影位置与关键点在渲染图像中的位置重合，所以直接将关键点的投影位置标记为关键点在渲染图像中的位置，无需依据渲染数据获取关键点在渲染图像中的位置，因此，在保证标注结果的准确性的前提下，提高了标注的效率。

S103、响应于关键点的投影位置在渲染图像中不可见，获取标注参数。

本公开中，标注参数至少包括关键点的参考轮廓的位置。参考轮廓的位置具体可以为组成参考轮廓的像素点在渲染图像中的位置。

本公开中，将鼻部的预设区域中，包括关键点的概率大于第一阈值的预设区域，作为与关键点对应的预设区域。将与关键点对应的预设区域的轮廓作为参考轮廓。获取每一预设区域包括关键点的概率的方法参见现有技术，例如，人为统计各个渲染图像中，关键点所在的预设区域，得到统计数据，再依据统计数据确定各个预设区域包括各个关键点的概率。

S104、依据标注参数，标注关键点在渲染图像中的位置。

本公开中，对于不同的关键点，依据关键点的标注参数标注关键点在渲染图像中的位置的具体方法，可以参见下述实施例。

由上述流程可以看出，本公开响应于关键点的投影位置在渲染图像中不可见，获取标注参数，依据标注参数，标注关键点在渲染图像中的位置。可见，本公开可以自动标注关键点在渲染图像中的位置。又因为，标注参数至少包括关键点的参考轮廓的位置，参考轮廓为与关键点对应的预设区域的轮廓，与关键点对应的预设区域为：包括关键点的概率大于第一阈值的所述预设区域，可见，标注参数依据客观的数据和数值生成，所以，避免了主观因素对标注结果的影响，从而对于同一关键点能够获得统一的标注结果，有利于降低训练得到的模型的误差。综上，本公开提供的技术方案，不仅降低了人工成本，还避免了不同标注人员对同一关键点的标注不统一而导致的模型的误差大的问题。

以下将针对不同关键点，以图4和图5所示的流程分别为例，对上述标注方法进行更为详细的说明。

图4示例了一种可选的鼻部关键点的标注方法的具体实现流程，如图4所示，具体包括S401～S403，如下：

S401、获取人脸的渲染图像。

本公开中，渲染图像基于渲染数据生成，渲染数据包括：关键点的三维位置和鼻部的多个预设区域。具体地的实现方式可以参见S101。

S402、响应于关键点的投影位置在渲染图像中不可见，获取关键点的参考轮廓的位置和参考线，作为标注参数。

本公开中，参考线为经过关键点的投影位置、且方向为鼻中轴线的方向或者鼻中轴线的垂直方向的直线。

本公开中，鼻中轴线的方向的数学表达依据渲染图像中人脸的姿态角确定，姿态角包括俯仰角、偏航角、以及翻转角，渲染数据中通常还包括姿态角，所以可以从渲染数据中获取姿态角。

具体的，鼻中轴线的方向表示为v＝(-sin roll，cos roll)，鼻中轴线的垂直方向表示为v’＝(cos roll，sin roll)，其中，roll表示翻转角。

S403、依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置。

S403的具体实现方式，依据关键点的不同而不同，将在以下举例中进一步说明。

从上述流程可以看出，本实施例中，标注参数除了包括参考轮廓的位置，还包括参考线，依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置，因为标注参数增加了参考线这一客观参数，所以不仅能够提高标注结果的准确性，还能够适应关键点的不同标注需求，具体的，有些关键点对鼻中轴线方向的坐标的准确性要求更高，还有些关键点需要结合脸部姿态获得更准确的标注结果，参考线的引入，能够更好地满足上述需求。

下面将针对上述不同需求的关键点，对图4所示的流程进行举例说明。

1、位于鼻中轴线上的关键点，如图3中P97和P100。这类关键点对于鼻中轴线方向的坐标的准确性要求较高。

因此，对于这类关键点，参考线的方向选用鼻中轴线的方向。

依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置(即S403)的具体实现方式为：依据关键点与目标线在鼻中轴线方向的位置关系，从参考线与参考轮廓的多个交点中，选择一个交点标注为关键点的位置，其中，目标线为垂直于鼻中轴线，且过鼻中轴线的中点的直线。

具体的，对于P97：参考轮廓为图2中的第一预设区域C

对于P100，参考轮廓为图2中的第二预设区域C

可以理解的是，参考线作为标注参数之一，有利于更准确定位参考线方向上的坐标，进一步的，依据关键点与目标线的位置关系，从可能存在的多个交点中选择标注点，能够进一步提高标注位置的准确性。

2、对于位于鼻中轴线上的关键点，除了1之外，还可以使用以下方式进行标注：

参考线的方向选用鼻中轴线的方向。

依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置(即S403)的具体实现方式为：按照关键点的参考轮廓从大到小的排序，依次查询参考线与参考轮廓是否存在交点，直到查询到交点。依据关键点与目标预设区域在鼻中轴线方向的位置关系，从交点中，选择一个交点标注为关键点在渲染图像中的位置，其中，参考轮廓的排序依据概率从大到小排列得到。任一参考轮廓的概率为，具有该参考轮廓的预设区域包括关键点的概率。目标预设区域为，具有查询到交点的参考轮廓的预设区域。可选的，关键点与目标预设区域在鼻中轴线方向的位置关系，可以对多个人脸的渲染图像中关键点与目标预设区域在鼻中轴线方向的位置关系进行统计，得到最可能的位置关系。

以图2中的P99为例，参考轮廓为图2中的第二预设区域C

若参考线与第四预设区域C

若参考线与第五预设区域C

可以理解的是，这种依次查询交点的方式，能够节省计算资源，进一步的，依据关键点与目标预设区域在鼻中轴线方向的位置关系，从可能存在的多个交点中选择标注点，能够进一步提高标注位置的准确性。

3、具有相对于鼻中轴线对称的关联点的关键点。申请人通过研究发现：这类关键点的标注结果的准确性，与渲染图像中的人脸的姿态相关，所以需要依据关键点和关联点，确定人脸的姿态，进一步确定参考线的方向，以保证标注结果的准确性。

以图3中的P74为例，P74的关联点为P63。

(1)P74和P63均不可见的情况下，说明人脸的姿态为大角度的仰头，在此情况下，参考人工标注方式，参考线的方向选择为鼻中轴线的方向。参考轮廓为第二预设区域C

依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置(即S403)的具体实现方式为：依据参考线与参考轮廓的交点在鼻中轴线方向的坐标，标注关键点在渲染图像中的位置。

对于P74，参考线为经过P74的投影位置且方向为鼻中轴线的方向的直线，因为P74和P63均不可见说明人脸的姿态为大角度的仰头，所以，将P74的参考线与第二预设区域C

(2)P74在渲染图像中不可见，P63在渲染图像中可见的情况下，说明人脸的姿态为向P74一侧扭头，在此情况下，参考人工标注方式，参考线的方向选择为鼻中轴线的垂直方向。

依据参考线与参考轮廓的交点，标注关键点在渲染图像中的位置(即S403)的具体实现方式为：依据关键点与鼻中轴线在参考线的方向的位置关系，从参考线与参考轮廓的多个交点中，选择一个交点标注为关键点的位置。

对于P74，参考线为经过P74的投影位置且方向为鼻中轴线的垂直方向的直线，参考轮廓为第一预设区域C

从(1)和(2)可以看出，以能够反映人脸姿态的关联点和关键点的可见或不可见状态为依据，确定参考线的方向，贴合人工标注的习惯，所以，能够进一步提高标注结果的准确性。进一步，依据关键点与鼻中轴线在参考线的方向的位置关系选择交点，能够从另一个角度进一步提高标注结果的准确性。

需要说明的是，对于无需考虑姿态的关键点，如上述P97、P99、和P100，若关键点的参考线与参考轮廓不存在交点，则将关键点的投影位置标注为关键点在渲染图像中的位置。例如，若P99的参考线与第四预设区域C

除了图4所示的将参考线与参考轮廓作为依据标注关键点的位置之外，还可以，仅依据参考轮廓标注关键点的位置。

图5示例了又一种可选的鼻部关键点的标注方法的具体实现流程，如图5所示，具体包括S501～S506：

S501、获取人脸的渲染图像。

本公开中，渲染图像包括鼻部待标注的关键点，渲染图像基于渲染数据生成，渲染数据包括：关键点的三维位置和鼻部的多个预设区域。

S502、响应于关键点的投影位置在渲染图像中不可见，获取关键点的参考轮廓的位置，作为标注参数。

本公开中，参考轮廓为与关键点对应的预设区域的轮廓，与关键点对应的预设区域为：包括关键点的概率大于第一阈值的预设区域，需要说明的是，获取关键点的参考轮廓的位置的方法参见上述S103。

S503、通过将渲染图像的翻转角转换为零，得到渲染图像的转换图像。

需要说明的是，获取渲染图像的转换图像的具体方法可以参见现有技术。

S504、从参考轮廓中，选择与转换图像的俯仰角和偏航角对应的参考轮廓，作为目标参考轮廓。

本公开中，与转换图像的俯仰角和偏航角对应的参考轮廓为，在俯仰角和偏航角下，包括关键点的概率大于第一阈值的预设区域的轮廓。

需要说明的是，转换图像通过将渲染图像的翻转角转换为零得到，也即，转换图像中的人脸为正面人脸，获取目标参考轮廓的方法可以参见S103，渲染图像替换为转换图像即可。

S505、依据关键点与鼻中轴线在目标方向的位置关系，从目标参考轮廓上，选择一个像素点的位置作为关键点的目标位置。

本公开中，目标方向为鼻中轴线的垂直方向。关键点位于鼻中轴线的两侧，关键点与鼻中轴线在目标方向的位置关系包括：关键点在鼻中轴线的第一侧，或者，关键点在鼻中轴线的第二侧。例如，第一侧记为左侧，第二侧记为右侧。

下面以图3中的P66和P71为例，对上述步骤进行举例。

假设P66的投影位置在渲染图像中不可见，且P66位于鼻中轴线的左侧。选择一个像素点的位置作为P66的目标位置的方法包括A1～A2：

A1、若转换图像的俯仰角小于-51，且转换图像的偏航角大于53，则，P66的目标参考轮廓为第四预设区域C

A2、若转换图像的俯仰角不小于-51，或者转换图像的偏航角不大于53，则，P66的目标参考轮廓为第四预设区域C

需要说明的是，目标参考轮廓上的最左端的像素点的位置依据目标参考轮廓上的像素点的坐标获取。

假设P71的投影位置在渲染图像中不可见，且P71位于鼻中轴线的右侧。选择一个像素点的位置作为P71的目标位置的方法包括B1～B2：

B1、若转换图像的俯仰角大于51，且转换图像的偏航角大于53，则，P71的目标参考轮廓为第四预设区域C

B2、若转换图像的俯仰角不小于-51，或者转换图像的偏航角不大于53，则，P71的目标参考轮廓包括第四预设区域C

S506、将目标位置转换至在渲染图像中的位置，得到关键点在渲染图像中的位置。

需要说明的是，目标位置为关键点在转换图像中的位置，将目标位置转换至在渲染图像中的位置的方法可以参见现有技术。

从图5所示的流程可以看出，结合使用参考轮廓和姿态角参数的变换，进行关键点的标注，提供了除参考线和参考轮廓之外的又一种自动标注方式，不仅能够节省人工成本，因为姿态角也是客观数值，所以还具有较高的准确性，并且，能够避免主观影响而导致的训练得到的模型的误差较大的问题。

在使用上述方式，得到一些关键点的标注位置的情况下，可以依据已经得到的标注位置，确定其它关键点的标注位置。

具体的：获取已标注的关键点中的第一关键点和第二关键点之间的轮廓线，将轮廓线上的N等分点的位置，分别标注为其它关键点的位置。

具体地，N为大于1的整数，N的取值可以依据实际需求预设，第一关键点与第二关键点为已标注的关键点中，位于鼻部的轮廓线上、且所在位置的曲率大于第二阈值的关键点，即鼻部的轮廓线上的拐点。例如上述标注方法标注出的P63、P66、P71、P74、或P100。

以N＝3为例，标注其它关键点，即三等分点的位置的方法包括：

第一关键点为P66且第二关键点为P100，将P66和P100之间的轮廓线的三等分点中，靠近P66的位置标注为P67在渲染图像中的位置，靠近P100的位置标注为P68在渲染图像中的位置。

第一关键点为P63且第二关键点为P66，将P63和P66之间的轮廓线的三等分点中，靠近P63的位置标注为P64在渲染图像中的位置，靠近P66的位置标注为P65在渲染图像中的位置。

第一关键点为P71且第二关键点为P100，将P71和P100之间的轮廓线的三等分点中，靠近P71的位置标注为P70在渲染图像中的位置，靠近P100位置标注为P69在渲染图像中的位置。

第一关键点为P71且第二关键点为P74，将P71和P74之间的轮廓线的三等分点中，靠近P71位置标注为P72在渲染图像中的位置，靠近P74位置标注为P73在渲染图像中的位置。

可以理解的是，对于位于鼻部区域的轮廓线上已标注出的第一关键点和第二关键点，可以通过将第一关键点和第二关键点间的轮廓线N等分，得到其它的位于鼻部区域的轮廓线上的关键点在渲染图像中的位置，显然，通过等分轮廓线，得到标注的位置的方法效率较高，且计算简单。

可选的，对于位于鼻中轴线上的关键点，也可以使用已标注的关键点标注其它关键点。具体的：获取已标注的关键点中的第一关键点和第二关键点之间的连线，将连线上的N等分点的位置，分别标注为其它关键点的位置。

具体地，N为大于1的整数，第一关键点和第二关键点为位于鼻中轴线上的关键点。例如，例如上述标注方法标注出的P97和P99。

以N＝3为例，标注其它关键点的位置的方法包括：

第一关键点为P97且第二关键点为P99，将P97和P99的连线的三等分点中，靠近P99的位置标注为P98在渲染图像中的位置。

可以理解的是，对于位于鼻中轴线上已标注出的第一关键点和第二关键点，可以通过将第一关键点和第二关键点间的连线N等分，得到其它的位于鼻中轴线上的关键点在渲染图像中的位置，显然，通过等分轮廓线，得到标注的位置的方法效率较高，且计算简单。

图6是根据一示例性实施例示出的一种鼻部关键点的标注装置框图。参照图6，该装置包括：

渲染图像获取模块601，用于获取人脸的渲染图像，所述渲染图像包括鼻部待标注的关键点，所述渲染图像基于渲染数据生成，所述渲染数据包括：所述关键点的三维位置和所述鼻部的多个预设区域；

标注参数获取模块602，用于响应于所述关键点的投影位置在所述渲染图像中不可见，获取标注参数，所述标注参数至少包括所述关键点的参考轮廓的位置，所述参考轮廓为与所述关键点对应的所述预设区域的轮廓，所述与所述关键点对应的所述预设区域为：包括所述关键点的概率大于第一阈值的所述预设区域，所述投影位置为将所述关键点的三维位置投影到二维图像空间得到的位置；

标注模块603，用于依据所述标注参数，标注所述关键点在所述渲染图像中的位置。

可选地，标注参数还包括：参考线，所述参考线为经过所述关键点的投影位置、且方向为鼻中轴线的方向或者所述鼻中轴线的垂直方向的直线；

可选地，标注模块用于依据所述标注参数，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置。

可选地，关键点位于所述鼻中轴线上，且所述关键点的所述参考线的方向为所述鼻中轴线的方向；

可选地，标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：依据所述关键点与目标线在所述鼻中轴线方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置；所述目标线为垂直于所述鼻中轴线，且过所述鼻中轴线的中点的直线。

可选地，关键点位于所述鼻中轴线上；所述关键点的所述参考线的方向为所述鼻中轴线的方向；

可选地，标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：按照所述关键点的所述参考轮廓依据所述概率从大到小的排序，依次查询所述参考线与所述参考轮廓是否存在所述交点，直到查询到所述交点；所述参考轮廓的排序依据所述概率从大到小排列得到；依据所述关键点与目标预设区域在所述鼻中轴线方向的位置关系，从所述交点中，选择一个所述交点标注为所述关键点在所述渲染图像中的位置，所述目标预设区域为，具有查询到所述交点的所述参考轮廓的所述预设区域。

可选地，关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中不可见；

所述关键点的所述参考线的方向为所述鼻中轴线的方向；

可选地，标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：依据所述参考线与所述参考轮廓的交点在所述鼻中轴线方向的坐标，标注所述关键点在所述渲染图像中的位置。

可选地，关键点存在预先配置的关联点，所述关联点与所述关键点关于所述鼻中轴线对称、且所述关联点在所述渲染图像中可见；

所述关键点的所述参考线的方向为所述鼻中轴线的垂直方向；

可选地，标注模块用于依据所述参考线与所述参考轮廓的交点，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：依据所述关键点与所述鼻中轴线在所述参考线的方向的位置关系，从所述参考线与所述参考轮廓的多个所述交点中，选择一个所述交点标注为所述关键点的位置。

可选地，鼻部关键点的标注装置还包括：变换图像获取模块，用于在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之前，通过将所述渲染图像的翻转角转换为零，得到所述渲染图像的变换图像。

可选地，标注模块用于依据所述标注参数，标注所述关键点在所述渲染图像中的位置，包括：标注模块具体用于：从所述参考轮廓中，选择与所述转换图像的俯仰角和偏航角对应的参考轮廓，作为目标参考轮廓；所述与所述转换图像的俯仰角和偏航角对应的参考轮廓为，在所述俯仰角和偏航角下，包括所述关键点的概率大于所述第一阈值的所述预设区域的轮廓；

依据所述关键点与所述鼻中轴线在目标方向的位置关系，从所述目标参考轮廓上，选择一个像素点的位置作为所述关键点的目标位置；所述目标方向为所述鼻中轴线的垂直方向；

将所述目标位置转换至在所述渲染图像中的位置，得到所述关键点在所述渲染图像中的位置。

可选地，标注模块还用于：响应于所述关键点的所述投影位置在所述渲染图像中可见，将所述关键点的投影位置，标注为所述关键点在所述渲染图像中的位置。

可选地，标注模块还用于：

在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后，获取已标注的所述关键点中的第一关键点和第二关键点之间的轮廓线；所述第一关键点与所述第二关键点为所述已标注的关键点中，位于所述鼻部的轮廓线上、且所在位置的曲率大于第二阈值的所述关键点；

将所述轮廓线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

可选地，标注模块还用于：

在所述依据所述标注参数，标注所述关键点在所述渲染图像中的位置之后获取已标注的所述关键点中的第一关键点和第二关键点之间的连线，所述第一关键点和所述第二关键点为位于鼻中轴线上的所述关键点；

将所述连线上的N等分点的位置，分别标注为其它关键点的位置，所述N为大于1的整数。

关于上述实施例中的鼻部关键点的标注装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7示出了一种电子设备的硬件结构框图，参照图7，电子设备的硬件结构可以包括：处理器1和存储所述处理器可执行指令的存储器2，可选的，还可以包括通信接口3，和通信总线4。

处理器被配置为执行可执行指令，以实现上述实施例所述的鼻部关键点的标注方法。可选的，所述指令的细化功能和扩展功能可参照上文描述。

具体的，在本申请实施例中，处理器1、存储器2、通信接口3、通信总线4的数量为至少一个，且处理器1、存储器2、通信接口3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器2可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器2，上述指令可由电子设备的处理器1执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。