建立三维人脸模型的方法及其设备

技术领域

本申请是关于一种建立三维人脸模型的方法及其设备。

背景技术

三维人脸模型是根据二维人脸影像所建构出来的，而在撷取二维人脸影像的过程中，会使用定位托架来固定使用者头部，以增加所撷取的影像的准确度。

然而，若使用定位托架进行人脸影像的拍摄，则由于定位托架会遮蔽使用者脸部，而导致扫描得到的二维人脸影像会存在遮蔽区域，使得建立的三维人脸模型不完整，降低获取影像的品质，也影响三维人脸模型在牙齿矫正或下巴美容等的应用。

发明内容

有鉴于此，本申请提供一种三维人脸模型的建立方法，包含：在一第一时间区间内取得一使用者的正脸信息，以建立一三维正脸模型，并产生对应三维正脸模型的一正脸平面图影像，其中正脸平面图影像包含多个第一特征点。在一第二时间区间内取得使用者的全脸信息，以建立一三维全脸模型，并产生对应三维全脸模型的一全脸平面图影像，其中三维全脸模型具有一特定部位且全脸平面图影像包含多个第二特征点。根据第一特征点及第二特征点间的对应关系，将正脸平面图影像中对应三维全脸模型的特定部位的第一区块叠合至全脸平面图影像中对应三维全脸模型的特定部位的第二区块，以获得一完整全脸平面图影像。根据完整全脸平面图影像产生一三维人脸模型。

本申请另外提供一种建立三维人脸模型设备，包含一三维影像撷取装置及一运算装置。三维影像撷取装置是用以在一第一时间区间内扫描一使用者的正脸，以取得一正脸信息，以及用以在一第二时间区间内扫描使用者的全脸，以取得一全脸信息。运算装置电性连接三维影像撷取装置，运算装置根据正脸信息建立一三维正脸模型，并产生对应三维正脸模型的一正脸平面图影像，以及根据全脸信息建立一三维全脸模型，并产生对应三维全脸模型的一全脸平面图影像，其中三维全脸模型具有一特定部位；运算装置根据正脸平面图影像的多个第一特征点及全脸平面图影像的多个第二特征点间的对应关系，将正脸平面图影像中对应三维全脸模型的特定部位的第一区块叠合至全脸平面图影像中对应三维全脸模型的特定部位的第二区块，以获得一完整全脸平面图影像，再根据完整全脸平面图影像产生一三维人脸模型。

综上所述，本申请利用特征点叠合的方式来修补特定部位(例如下巴或额头)的影像瑕疵，并获得清楚且完整的三维人脸模型，以解决现有技术中人脸在进行三维扫描时，接触部位会被定位托架遮蔽或受压变形的问题。

有关本申请的其它功效及实施例的详细内容，配合图式说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的图作简单地介绍，显而易见地，下面描述中的图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其它的图。

图1为根据本申请的设备的一实施例的方块示意图；

图2为本申请一实施例的使用者就定位的示意图；

图3为根据本申请的方法的一实施例的流程示意图；

图4为根据本申请一实施例的三维正脸模型示意图；

图5为根据本申请一实施例的正脸平面图影像示意图；

图6为根据本申请一实施例以定位托架支撑使用者人脸的示意图；

图7为根据本申请一实施例的三维影像撷取装置左右移动的示意图；

图8为根据本申请一实施例的三维全脸模型示意图；

图9为根据本申请一实施例的全脸平面图影像示意图；

图10为根据本申请一实施例于叠合处理的平面影像示意图；

图11为根据本申请一实施例的人脸平面图影像示意图；

图12为根据本申请一实施例的三维人脸模型示意图。

具体实施方式

为了使本申请的目的、特征及效果更容易理解，以下提供用于详细说明本申请的实施例及图。

图1根据本申请的设备的一实施例的方块示意图，请参阅图1所示，建立三维人脸模型设备10包含有一三维影像撷取装置12以及一运算装置14。三维影像撷取装置12是对应受测者的人脸，以拍摄取得对应的至少一人脸影像。运算装置14电性连接至三维影像撷取装置12，以接收人脸影像，并根据人脸影像进行后续运算与应用。在一实施例中，三维影像撷取装置12及运算装置14可为各自独立的装置，例如三维影像撷取装置12是为三维红外线相机，运算装置14可为移动电话、笔记型电脑、平板电脑、桌上型电脑等，但不以此为限。在另一实施例中，三维影像撷取装置12及运算装置14更可整合在一电子装置(图中未示)中，三维影像撷取装置12是为电子装置内建的三维红外线相机，运算装置14可为电子装置内的中央处理器、微控制器等，则电子装置是为移动电话、笔记型电脑、平板电脑或桌上型电脑等，但不以此为限。

图2为本申请一实施例的使用者就定位的示意图，请同时参阅图1及图2所示，在开始拍摄人脸影像之前，使用者16是位于三维影像撷取装置12的正前方而就定位。在一实施例中，三维影像撷取装置12是设置在一旋转支架18上，且马达装置20连接旋转支架18，以利用马达装置20带动旋转支架18移动，旋转支架18再带动三维影像撷取装置12左右旋转，以分别撷取不同角度的人脸影像，并且，建立三维人脸模型设备10更包含一定位托架22，定位托架22设置于马达装置20上且连接马达装置20，以利用马达装置20带动定位托架22上升或下降。

在一实施例中，定位托架22可以由任何材质所构成。在另一实施例中，为利于作为三维影像撷取装置12的三维红外线相机的红外线通过，定位托架22亦可由一高透光材质所构成，例如，使用可见光透光率92％及允许小于2800nm波长红外线通过的压克力材质或玻璃材质。在一实施例中，定位托架22亦可以设计为Y形托架，以便以最少接触面积的方式支撑使用者16的接触部位162。

图3为根据本申请的方法的一实施例的流程示意图，请同时参考图1至图3所示，在使用者16就定位之后，三维影像撷取装置12是在一第一时间区间内定点扫描使用者16的正脸，以拍摄取得一正脸信息并传送至运算装置14，运算装置14接收正脸信息进行运算，以获得如图4所示的一三维正脸模型24，且三维正脸模型24包含有多个均匀分布在脸上的特征点26，并产生对应三维正脸模型24的一正脸平面图影像28(如步骤S10)，如图5所示。

接续在一第二时间区间内取得使用者的全脸信息，以建立一三维全脸模型，并产生对应三维全脸模型的一全脸平面图影像(如步骤S12)。详言之，请同时参阅图1至图7所示，马达装置20驱动定位托架22升起，以支撑使用者16的接触部位162，如图6所示，此接触部位162可为下巴、额头等人脸位置，在本实施例中接触部位162是以下巴为例，但本申请不限于此，只要是可以支撑头部不晃动或位移的任何部位皆可。在步骤S12中，当已使用定位托架22支撑住使用者16的人脸的接触部位162时，三维影像撷取装置12开始在第二时间区间内左右扫描拍摄使用者16的全脸，其中第二时间区间是大于第一时间区间，此时，马达装置20驱动旋转支架18左右移动一预设角度，在一实施例中，预设角度是为99度，使旋转支架18上的三维影像撷取装置12亦跟着左右移动各99度，以依不同角度依序扫描使用者16的全脸，并将拍摄取得的全脸信息传送至运算装置14，运算装置14接收全脸信息进行运算，以获得如图8所示的三维全脸模型30，且三维全脸模型30具有一特定部位36并包含有多个均匀分布在脸上的特征点32，运算装置14并产生对应三维全脸模型30的一全脸平面图影像34(如图9所示)。由于在第二时间区间内三维影像撷取装置12拍摄的视角较大，取像范围较大(包含左右耳及下巴)，所以建立的三维全脸模型30及全脸平面图影像34亦具有较宽大的范围。其中，由于人脸的接触部位162有使用定位托架22支撑，所以人脸接触定位托架22的接触位置是对应三维全脸模型的特定部位36，因此在对应接触部位162(下巴)的特定部位36会具有对应的压印痕迹361而产生影像瑕疵。

在一实施例中，第一时间区间是为一秒，以便在不使用任何定位托架22的前提下得以维持使用者16的人脸不动。且第二时间区间是为12秒，以利用定位托架22稳定支撑使用者16的人脸，让三维影像撷取装置12可以有足够的时间完整拍摄人脸各角度的影像。

承上，请同时参阅图1至图12所示，正脸平面图影像28包含多个第一特征点261～264(第一特征点261～264是选自特征点26)，全脸平面图影像34包含多个第二特征点321～324(第二特征点321～324是选自特征点32)。运算装置14根据正脸平面图影像28的第一特征点261～264及全脸平面图影像34的第二特征点321～324之间的对应关系，将正脸平面图影像28的第一区块281叠合在全脸平面图影像34的第二区块341(如图10所示)，且第一区块281面积等于第二区块面积341，其中第一区块281及第二区块341是对应三维全脸模型30的特定部位36，且第二区块341也就是有压印痕迹361产生的区域，运算装置14利用肤色侦测技术来辨识特定部位36的压印痕迹361的位置，确定第二区块341及其对应的第一区块281的范围大小，以便将清楚且无压印痕迹的第一区块281叠合在有压印痕迹361的第二区块341上，进而获得一完整全脸平面图影像38(如步骤S14)，如图11所示。最后，运算装置14根据完整全脸平面图影像38对应产生一完整且无瑕疵的三维人脸模型40(如步骤S16)，如图12所示。

本申请所公开的方法包含用于实现所描述的方法的多个步骤或动作。在不脱离权利要求书的情况下，前述方法中的步骤可以彼此互换。举例来说，在图3所示的流程图中，步骤S10和步骤S12可以彼此互换，换句话说，先取得图5的正脸平面图影像28或是图9的全脸平面图影像34都不会影响到后续的运算处理，仍然可以继续执行后续步骤S14的叠合处理，而不会受到互换步骤的影响。

综上所述，本申请利用特征点叠合的方式来修补特定部位(例如下巴或额头)的影像瑕疵，并获得清楚且完整的三维人脸模型，以提升进行三维扫描时获取影像的品质。

以上所述的实施例及/或实施方式，仅是用以说明实现本申请技术的较佳实施例及/或实施方式，并非对本申请技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本申请内容所公开的技术手段的范围，当可作些许的更动或修饰为其它等效的实施例，但仍应视为与本申请实质相同的技术或实施例。