脸部影像重建方法与系统

技术领域

本发明涉及一种脸部影像重建方法与系统。

背景技术

随着大数据与深度学习的技术发展，脸部辨识技术已经相当成熟，然而，在某些比较极端的复杂状况，例如光线昏暗或是使用者脸上有化妆或伪装，都可能导致辨识率下降。因此，近年来许多研究都纷纷尝试评估以红外线热影像来进行脸部辨识的可行性。

红外线热影像技术是通过发射红外线来探测人身体本身散发的热辐射，进而根据不同部位温度的差异形成图像。如果利用某些波段的红外线(例如8μm至14μm的红外线)，通常不需要额外光源即可拍摄，可用在热成像/温度控制、预测性维护、漏气检测等。

红外线脸部辨识近年来在实际生活中已经有了诸多商机及应用，例如：生物护照自助通关系统、大楼自助通关系统等，均有很好的辨识效果。这类型的红外线人脸辨识可以不受环境光影响，提供高品质的人脸图像。

然而，红外线热像脸部辨识技术通常需要事先建立脸部红外线的相关特征才能有效识别出身份。对于未知的脸部，将不容易进行身份的调查与追踪。因此，将红外线人脸图像重建为可见光成像将可能是一个可行的解决方案。

“红外线人脸图像重建为可见光成像”技术的优点包括：(1)更广泛的身份追踪；(2)提供更多的细致脸部特征；(3)无痛导入脸部辨识技术；(4)更有效率的生理信息监控。

目前技术对于已知脸部的重建效果较好，对于未知脸部的重建效果则较差。此外，有些技术无法强调人脸的可辨性(discriminability)。

本案不仅着重在脸部特征的重建品质，也强调人脸特征的可辨性，进而更精准地还原可见光脸部图像。

发明内容

根据本案一实例，提出一种脸部影像重建方法，包括：对于从储存装置读出的热像人脸影像进行预处理以得到预处理后热像人脸影像，并定位出在预处理后热像人脸影像中的人脸区域；将预处理后热像人脸影像输入至卷积编码器，以对预处理后热像人脸影像进行下采样，来撷取出第一三维特征向量；将预处理后热像人脸影像输入到预训练热成像人脸辨识模型，以撷取出一维特征向量；对卷积编码器所撷取出的三维特征向量与预训练热成像人脸辨识模型所撷取出的一维特征向量进行特征融合，以得到第二三维特征向量；由卷积解码器对第二三维特征向量进行上采样解码，以得到与热像人脸影像相同大小的重建可见光人脸影像，重建可见光人脸影像储存于储存装置内；将真实可见光人脸影像与重建可见光人脸影像输入到预训练可见光人脸辨识模型，以得到第一特征向量、第二特征向量、第三特征向量与第四特征向量，其中，第一特征向量与第二特征向量用以得到身份损失，第三特征向量与第四特征向量用以得到内容损失；将真实可见光人脸影像与重建可见光人脸影像输入到预训练人脸特征点检测模型，以得到第一与一第二人脸特征点模型，第一与第二人脸特征点模型用以得到人脸特征点损失；以及根据身份损失、内容损失与人脸特征点损失来得到混合式损失函数，混合式损失函数用于调整卷积编码器及卷积解码器。

根据本案另一实例，提出一种脸部影像重建系统，包括：特征融合式卷积自编码器，预训练可见光人脸辨识模型与预训练人脸特征点检测模型。特征融合式卷积自编码器包括：预处理模块，对于从储存装置读出的热像人脸影像进行预处理以得到预处理后热像人脸影像，并定位出在预处理后热像人脸影像中的人脸区域；卷积编码器，以对预处理后热像人脸影像进行下采样，来撷取出第一三维特征向量；预训练热成像人脸辨识模型，从预处理后热像人脸影像撷取出一维特征向量；特征融合模块，对卷积编码器所撷取出的三维特征向量与预训练热成像人脸辨识模型所撷取出的一维特征向量进行特征融合，以得到第二三维特征向量；以及卷积解码器对第二三维特征向量进行上采样解码，以得到与热像人脸影像相同大小的重建可见光人脸影像，重建可见光人脸影像储存于储存装置内。将真实可见光人脸影像与重建可见光人脸影像输入到预训练可见光人脸辨识模型，以得到第一特征向量、第二特征向量、第三特征向量与第四特征向量，其中，第一特征向量与第二特征向量用以得到身份损失，第三特征向量与第四特征向量用以得到内容损失。将真实可见光人脸影像与重建可见光人脸影像输入到预训练人脸特征点检测模型，以得到第一与一第二人脸特征点模型，第一与第二人脸特征点模型用以得到人脸特征点损失。根据身份损失、内容损失与人脸特征点损失来得到混合式损失函数，混合式损失函数用于调整卷积编码器及卷积解码器。

附图说明

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：

图1为根据本案示范性实施例的脸部影像重建系统的示意图；

图2为根据本案实施例的特征融合；

图3为根据本案实施例中，通过预训练人脸特征点检测模型，从人脸影像取出68个点当成人脸特征点；

图4A与图4B为根据本案一示范性实施例的脸部影像重建方法。

符号说明：

10：脸部影像重建系统

100：特征融合式卷积自编码器

101：热像人脸影像

102：预处理模块

103：卷积编码器

104：预训练热成像人脸辨识模型

105：特征融合模块

106：卷积解码器

108：真实可见光人脸影像

109：预训练可见光人脸辨识模型

110：预训练人脸特征点检测模型

111：混合式损失函数

111A：身份损失函数

111B：内容损失函数

111C：人脸特征点损失函数

210：一维特征向量

220：三维特征向量

230：三维特征向量

405～440：步骤

具体实施方式

本说明书的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本发明的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本技术领域普通技术人员可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。

现请参照图1，其显示根据本案一示范性实施例的脸部影像重建系统，其可将“热像人脸影像”重建为“可见光人脸影像”。根据本案示范性实施例的脸部影像重建系统的训练阶段中，通过特征融合式卷积自编码器(Feature-Fusion ConvolutionalAutoencoder)，将一批的“热像人脸影像”输入至卷积编码器(Convolutional encoder)与预训练热成像人脸辨识模型，接着进行特征融合。特征融合的结果输入至卷积解码器(Convolutional decoder)进行可见光人脸影像重建。至于训练阶段(亦可称为模型学习)所用的损失函数则使用混合式损失函数，包括：身份损失(Identity Loss)函数、内容损失(Content Loss)函数和人脸特征点损失(Landmark Loss)函数。在训练阶段，将重建后可见光人脸影像和相关的真实可见光人脸影像输入至预训练可见光人脸辨识模型和预训练人脸特征点检测模型，以计算上述三种损失函数，再依据不同权重设定来合并上述三种损失函数来进行模型学习与参数更新。

图1显示根据本案示范性实施例的脸部影像重建系统的示意图。脸部影像重建系统10包括：特征融合式卷积自编码器100、预训练可见光人脸辨识模型109、预训练人脸特征点检测模型110与混合式损失函数111。特征融合式卷积自编码器100包括：预处理模块102、卷积编码器103、预训练热成像人脸辨识模型104、特征融合模块105与卷积解码器106。混合式损失函数111包括：身份损失函数111A、内容损失函数111B和人脸特征点损失函数111C。

在进行训练时，准备好多个热像人脸影像101及其对应的多个真实可见光人脸影像108作为训练集。也就是说，以多位使用者而言，以热成像方式来取得该些使用者的个别热像人脸影像101，并以可见光成像方式来取得该些使用者的个别真实可见光人脸影像108。对于同一位使用者而言，该位使用者的热像人脸影像101与该位使用者的真实可见光人脸影像108是一对一关系。该些热像人脸影像101与该些真实可见光人脸影像108可储存于一储存装置内。

该些热像人脸影像101输入至预处理模块102进行预处理以得到一预处理后热像人脸影像，并定位出在预处理后热像人脸影像中的人脸正方形区域，并将该人脸正方形区域缩放到一既定尺寸。例如，从该储存装置读出该些热像人脸影像101，以输入至预处理模块102。

预处理模块102的预处理后热像人脸影像输入至卷积编码器103，以对该预处理后热像人脸影像进行下采样，并撷取出三维特征向量。

本案实施例中所用的预训练热成像人脸辨识模型104可以利用或选择现有的热成像人脸辨识模型104。预处理模块102所得到的预处理后热像人脸影像输入到预训练热成像人脸辨识模型104，以撷取出分类层的一维特征向量。

特征融合模块105将卷积编码器103所撷取出的三维特征向量与预训练热成像人脸辨识模型104所撷取出的一维特征向量进行特征融合。

在本案实施例中，图2显示根据本案实施例的特征融合。当知，图2是用以举例说明，本案并不受限于此。在图2中，一维特征向量210由预训练热成像人脸辨识模型104所撷取出，例如是1*1*2048的一维特征向量，而三维特征向量220则是由卷积编码器103所撷取出，例如是32*32*256的三维特征向量。在进行特征融合时，将一维特征向量210多次复制(例如，复制32*32次)以得到三维特征向量(32*32*2048)，并将复制后的三维特征向量32*32*2048合并到三维特征向量220(32*32*256)，以得到三维特征向量230(32*32*256+32*32*2048＝32*32*2304)。

由特征融合模块105所得到的融合后三维特征向量则输入到卷积解码器106。由卷积解码器106对融合后三维特征向量进行上采样解码，以得到与热像人脸影像101相同大小的重建可见光人脸影像IR。相似地，重建可见光人脸影像可以储存于储存装置内。

在本案实施例中，预训练可见光人脸辨识模型109可以是现存的可见光人脸辨识模型。将真实可见光人脸影像108(亦可标示为I’)与卷积解码器106所重建的重建可见光人脸影像(亦可标示为I

在公式1中，n代表最后一层的层数。

此外，将真实可见光人脸影像108(亦可标示为I’)与卷积解码器106所重建的重建可见光人脸影像(亦可标示为I

在公式2中，j代表层数参数，而H

在本案实施例中，预训练人脸特征点检测模型110(其可为现有的人脸特征点检测模型)可以进行如后的操作：

故而，在本案实施例中，将真实可见光人脸影像108(亦可标示为I’)与卷积解码器106所重建的重建可见光人脸影像(亦可标示为I

L

公式(3)

之后，将公式(1)～(3)结合不同的参数权重λ

ε(p)＝λ

通过倒传递方式来调整这些参数权重，以让ε(p)最小化。也就是说，所得到的混合式损失函数111可回授至特征融合式卷积自编码器100，来用于调整卷积编码器103的参数及卷积解码器106的参数，以让卷积解码器106所重建的重建可见光人脸影像更接近于真实可见光人脸影像108(也就是说，让ε(p)最小化)。

图4A与图4B显示根据本案一示范性实施例的脸部影像重建方法，包括：对于从储存装置读出的热像人脸影像进行预处理以得到预处理后热像人脸影像，并定位出在预处理后热像人脸影像中的人脸区域(405)；将预处理后热像人脸影像输入至卷积编码器，以对预处理后热像人脸影像进行下采样，来撷取出第一三维特征向量(410)；预处理后热像人脸影像输入到预训练热成像人脸辨识模型，以撷取出一维特征向量(415)；对卷积编码器所撷取出的三维特征向量与预训练热成像人脸辨识模型所撷取出的一维特征向量进行特征融合，以得到第二三维特征向量(420)；由卷积解码器对第二三维特征向量进行上采样解码，以得到与热像人脸影像相同大小的重建可见光人脸影像，重建可见光人脸影像储存于储存装置内(425)；将真实可见光人脸影像与重建可见光人脸影像输入到预训练可见光人脸辨识模型，以得到第一特征向量、第二特征向量、第三特征向量与第四特征向量，其中，第一特征向量与第二特征向量用以得到身份损失，第三特征向量与第四特征向量用以得到内容损失(430)；将真实可见光人脸影像与重建可见光人脸影像输入到预训练人脸特征点检测模型，以得到第一与第二人脸特征点模型，第一与第二人脸特征点模型用以得到人脸特征点损失(435)；以及根据身份损失、内容损失与人脸特征点损失来得到混合式损失函数，混合式损失函数用于调整卷积编码器及卷积解码器(440)。

在上述做法中，重建可见光人脸影像与真实可见光人脸影像108可以储存于储存装置内，然后读出以输入至预训练可见光人脸辨识模型109与预训练人脸特征点检测模型110。

本案上述实施例中，(1)通过融合“预训练热成像人脸辨识模型104所撷取出的一维特征向量”，来让重建可见光人脸影像的细节更加具备真实性；(2)通过混合式损失函数，让重建可见光人脸影像更注重原有人脸的主要特征，不仅具备重建的真实性，也强调对原人物身份的可辨性；以及(3)通过大数据的训练方式，可以对未知的热像人脸影像进行重建。

在本案上述实施例中，使用卷积神经网路(CNN)来训练特征融合式卷积自编码器100并萃取脸部重要特征，更辅以混合式损失函数，来重建出较佳的可见光人脸影像。

综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附的权利要求范围所界定的为准。