预测模型的生成方法、装置，侧貌预测方法及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种预测模型的生成方法、装置，侧貌预测方法及电子设备。

背景技术

随着生活水平的提高，大众对容貌的关注度越来越高。牙齿位置与面部特征关系密切，人脸上下嘴唇位置对面部侧貌美观程度影响较大（如图1所示），而改善面部侧貌美观是很多牙齿矫正患者的主要诉求，因此，通过牙齿矫正排齐牙列，改善患者软组织侧貌，可明显改善面部侧貌效果。

实际中，患者希望在牙齿矫正前就能看到矫正后的面部侧貌改善效果。为此，先后有多种面部侧貌预测方法被提出，比如基于软硬组织改变比率，采用多元回归的统计学方法预测侧貌轮廓线。又比如基于人脸三维面部数字化模型预测侧貌；采用机器学习预测正畸治疗对侧貌的改善效果。但是上述方式在侧貌预测上，均是根据正常人群软硬组织平均值来制定矫治目标，对面部侧貌改善的预测主要取决主观经验及审美水平，缺乏客观精确和定量的描述。

发明内容

本申请实施例的目的在于提供一种预测模型的生成方法、装置，侧貌预测方法及电子设备，以提高对患者矫治后的面部预测的准确性。

本发明是这样实现的：

第一方面，本申请实施例提供一种预测模型的生成方法，所述预测模型用于对矫治后的特征图像进行预测，所述方法包括：获取训练样本数据；其中，所述训练样本数据包括矫治前特征图像及矫治后特征图像；所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系；基于所述训练样本数据对初始模型进行训练，得到所述预测模型。

由于矫治前特征图像包含矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系，而矫治后特征图像包含矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。因此，通过矫治前特征图像及矫治后特征图像对模型进行训练，能够使得模型更加关注切牙的位置移动量对于唇轮廓的影响，进而使得后续预测模型能够根据切牙的位置移动量准确的预测出矫治后的唇轮廓曲线的位置，与现有技术中通过软硬组织平均值的方式进行预测相比，预测准确度和可靠性更高。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述获取训练样本数据，包括：获取患者的矫治前头颅图像；其中，所述矫治前头颅图像包括标记的所述矫治前的第一切牙的唇侧曲线、所述调整后的第一切牙的唇侧曲线及所述矫治前的第一唇轮廓曲线；基于所述矫治前头颅图像，生成所述矫治前特征图像；获取所述患者的矫治后头颅图像；其中，所述矫治后头颅图像包括标记的所述矫治后的第一切牙的唇侧曲线及所述矫治后的第一唇轮廓曲线；基于所述矫治后头颅图像，生成所述矫治后特征图像。

在本申请实施例中，获取标记好矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线的矫治前头颅图像以便准确且便捷的生成矫治前特征图像；及获取标记好矫治后的第一切牙的唇侧曲线及矫治后的第一唇轮廓曲线以便准确且便捷的生成矫治后特征图像。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述基于所述矫治前头颅图像，生成所述矫治前特征图像，包括：基于所述矫治前头颅图像，生成六个偏移矩阵；其中，六个所述偏移矩阵分别对应三条曲线两两之间的X轴偏移量和Y轴偏移量；所述三条曲线为所述矫治前的第一切牙的唇侧曲线、所述调整后的第一切牙的唇侧曲线及所述矫治前的第一唇轮廓曲线；基于六个所述偏移矩阵生成对应的六幅灰度图像；将六幅所述灰度图像进行叠加，得到所述矫治前特征图像；相应的，所述基于所述矫治后头颅图像，生成所述矫治后特征图像，包括：基于所述矫治后头颅图像，生成两个偏移矩阵；其中，两个所述偏移矩阵分别对应两条曲线之间的X轴偏移量和Y轴偏移量；所述两条曲线为所述矫治后的第一切牙的唇侧曲线及所述矫治后的第一唇轮廓曲线；基于两个所述偏移矩阵生成对应的两幅灰度图像；将两幅所述灰度图像进行叠加，得到所述矫治后特征图像。

在本申请实施例中，先基于头颅图像中的曲线来确定出各曲线之间的X轴偏移量和Y轴偏移量，进而得到与偏移量所对应的偏移矩阵，然后将偏移矩阵转换为灰度图像，最后将灰度图像叠加，即可得到特征图像。通过上述处理方式，使得所生成的特征图像包含准确的各曲线之间的位置偏移关系，且该方式处理过程简单，处理效率较高。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述基于所述矫治前头颅图像，生成六个偏移矩阵，包括：对所述矫治前的第一切牙的唇侧曲线、所述调整后的第一切牙的唇侧曲线及所述矫治前的第一唇轮廓曲线三条曲线进行均匀采样；其中，采样的个数均为N，N为正整数；获取所述矫治前的第一切牙的唇侧曲线的N个点的坐标、所述调整后的第一切牙的唇侧曲线的N个点的坐标以及所述矫治前的第一唇轮廓曲线的N个点的坐标；基于所述矫治前的第一切牙的唇侧曲线的N个点的坐标、所述调整后的第一切牙的唇侧曲线的N个点的坐标以及所述矫治前的第一唇轮廓曲线的N个点的坐标，生成六个所述偏移矩阵；相应的，所述基于所述矫治后头颅图像，生成两个偏移矩阵，包括：对所述矫治后的第一切牙的唇侧曲线及所述矫治后的第一唇轮廓曲线进行均匀采样；其中，采样的个数均为M，M为正整数；获取所述矫治后的第一切牙的唇侧曲线的M个点的坐标及所述矫治后的第一唇轮廓曲线的M个点的坐标；基于所述矫治后的第一切牙的唇侧曲线中的M个点的坐标及所述矫治后的第一唇轮廓曲线中的M个点的坐标，生成所述两个所述偏移矩阵。

在本申请实施例中，对各曲线进行均匀采样，然后以各采样点的坐标来生成对应的偏移矩阵。由于各曲线的线条长短、形状均不同，因此通过该方式能够将曲线之间的偏移量转换为曲线上坐标点之间的偏移量，进而便于获取到各曲线之间准确的偏移量。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，基于所述偏移矩阵生成对应的灰度图像的步骤包括：将所述偏移矩阵中的每个数值除以预设的最大偏移量，得到转换数值；其中，所述转换数值的区间为[0，1]；将所述转换数值乘以最大灰度值，得到每个转换数值对应的灰度值；将所述偏移矩阵中的各个灰度值进行映射，得到与所述偏移矩阵对应的灰度图像。

在本申请实施例中，将偏移矩阵中的每个数值除以预设的最大偏移量，进而得到区间在[0，1]之间的转换数值，再将该转换数值乘以最大灰度值，即可得到每个转换数值所对应的灰度值，最后再将各灰度值进行映射，即可得到转换后的灰度图像。通过该方式所得到的灰度图像能够将图像中的每一个像素单元与偏移矩阵中的每一个阵列单元一一对应。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述获取患者的矫治前头颅图像，包括：获取所述患者矫治前对头颅扫描的初始图像；识别出所述矫治前的初始图像中的矫治前的第一切牙的轮廓及所述矫治前的第一唇轮廓曲线；基于用户的标记操作，勾勒出调整后的第一切牙的轮廓；提取所述矫治前的第一切牙的轮廓中的唇侧曲线及所述调整后的第一切牙的轮廓中的唇侧曲线，并结合所述矫治前的第一唇轮廓曲线，生成所述矫治前头颅图像；相应的，所述获取所述患者的矫治后头颅图像，包括：获取患者矫治后对头颅扫描的初始图像；识别出所述矫治后的初始图像中的矫治后的第一切牙的轮廓及所述矫治后的第一唇轮廓曲线；提取所述矫治后的第一切牙的轮廓中的唇侧曲线，并结合所述矫治后的第一唇轮廓曲线，生成所述矫治后头颅图像。

在本申请实施例中，在获取患者对头颅扫描的初始图像后；可自动识别出初始图像中的第一切牙的轮廓及第一唇轮廓曲线。通过上述方式，能够提高效率，而无需用户手动标记出所有的轮廓及曲线。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述第一切牙为患者的上切牙或下切牙。

第二方面，本申请实施例提供一种侧貌预测方法，包括：获取目标患者的矫治前特征图像；其中，所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；将所述矫治前特征图像输入至通过第一方面实施例提供的预测模型的生成方法得到的预测模型中，得到预测的矫治后特征图像；其中，所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系；基于所述预测的矫治后特征图像，得到所述预测的矫治后头颅侧貌图像。

第三方面，本申请实施例提供一种预测模型的生成装置，所述预测模型用于对矫治后的特征图像进行预测，所述装置包括：第一获取模块，用于获取训练样本数据；其中，所述训练样本数据包括矫治前特征图像及矫治后特征图像；所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系；生成模块，用于基于所述训练样本数据对初始模型进行训练，得到所述预测模型。

第四方面，本申请实施例提供一种侧貌预测装置，包括：第二获取模块，用于获取目标患者的矫治前特征图像；其中，所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；预测模块，用于将所述矫治前特征图像输入至通过如第一方面实施例提供的预测模型的生成方法得到的预测模型中，得到预测的矫治后特征图像；其中，所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系；转换模块，用于基于所述预测的矫治后特征图像，得到所述预测的矫治后头颅侧貌图像。

第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或第二方面实施例提供的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或第二方面实施例提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为不同人脸侧貌的示意图。其中，（a）为第一种人脸侧貌的示意图；（b）为第二种人脸侧貌的示意图；（c）为第三种人脸侧貌的示意图。

图2为本申请实施例提供的一种电子设备的结构示意图。

图3为本申请实施例提供的一种侧貌预测方法的步骤流程图。

图4为本申请实施例提供的一种预测模型的生成方法的步骤流程图。

图5为本申请实施例提供的一种特征图像的生成方法的步骤流程图。

图6为本申请实施例提供的一种测量装置的结构示意图。

图7为本申请实施例提供的一种导入矫治前的初始图像后的测量装置的示意图。

图8为本申请实施例提供的一种矫治前头颅图像的示意图。

图9为本申请实施例提供的上切牙对应的不同偏移矩阵的其中的一行数据对应的数据展示图。其中，（a）为偏移矩阵

图10为本申请实施例提供的下切牙对应的不同偏移矩阵的其中的一行数据对应的数据展示图。其中，（a）为偏移矩阵

图11为本申请实施例提供的三种不同的偏移矩阵对应的灰度图像的示意图。（a）为第一种偏移矩阵对应的灰度图像的示意图；（b）为第二种偏移矩阵对应的灰度图像的示意图；

（c）为第三种偏移矩阵对应的灰度图像的示意图。

图12为本申请实施例提供的一种导入矫治后的初始图像后的测量装置的示意图。

图13为本申请实施例提供的一种矫治后头颅图像的示意图。

图14为本申请实施例提供的另两种不同的偏移矩阵对应的灰度图像的示意图。（a）为第四种偏移矩阵对应的灰度图像的示意图；（b）为第五种偏移矩阵对应的灰度图像的示意图。

图15为本申请实施例提供的一种预测模型的生成装置的模块框图。

图16为本申请实施例提供的一种侧貌预测装置的模块框图。

图标：100-电子设备；110-处理器；120-存储器；400-预测模型的生成装置；401-第一获取模块；402-生成模块；500-侧貌预测装置；501-第二获取模块；502-预测模块；503-转换模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

鉴于目前在侧貌预测上，均是根据正常人群软硬组织平均值来制定矫治目标，对面部侧貌改善的预测主要取决主观经验及审美水平，缺乏客观精确和定量的描述。本申请发明人经过研究探索，提出以下实施例以解决上述问题。

请参阅图2，本申请实施例提供的一种应用侧貌预测方法和/或预测模型的生成方法的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机（Personal Computer，PC）、服务器、平板电脑、个人数字助理（Personal DigitalAssistant，PDA）、移动上网设备(Mobile Internet Device，MID)等。在结构上，电子设备100可以包括处理器110和存储器120。

处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。侧貌预测装置和/或预测模型的生成装置包括至少一个可以软件或固件（Firmware）的形式存储在存储器120中或固化在电子设备100的操作系统（Operating System，OS）中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，侧貌预测装置所包括的软件功能模块及计算机程序等，以实现侧貌预测方法。又例如，预测模型的生成装置所包括的软件功能模块及计算机程序等，以实现预测模型的生成方法。处理器110可以在接收到执行指令后，执行计算机程序。

其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器（Central Processing Unit，CPU）、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit ，ASIC）、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。

存储器120可以是，但不限于，随机存取存储器（Random Access Memory，RAM）、只读存储器（Read Only Memory，ROM）、可编程只读存储器（Programmable Read-OnlyMemory，PROM）、可擦可编程序只读存储器（Erasable Programmable Read-Only Memory，EPROM），以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM）。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。

需要说明的是，图2所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图2更少或更多的组件，或是具有与图2所示不同的配置。此外，图2所示的各组件可以通过软件、硬件或其组合实现。

请参阅图3，图3为本申请实施例提供的侧貌预测方法的步骤流程图，该方法应用于图2所示的电子设备100。需要说明的是，本申请实施例提供的侧貌预测方法不以图3及以下所示的顺序为限制，该方法包括：步骤S101-步骤S103。

步骤S101：获取目标患者的矫治前特征图像；其中，矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系。

步骤S102：将矫治前特征图像输入至预测模型中，得到预测的矫治后特征图像；其中，矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。

步骤S103：基于预测的矫治后特征图像，得到预测的矫治后头颅侧貌图像。

上述的预测模型预先通过包含矫治前特征图像及矫治后特征图像的训练样本数据进行训练而生成的。矫治前特征图像包含矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系，而矫治后特征图像包含矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。因此，通过矫治前特征图像及矫治后特征图像对模型进行训练，能够使得模型更加关注切牙的位置移动量对于唇轮廓的影响，进而使得预测模型能够根据切牙的位置移动量准确的预测出矫治后的唇轮廓曲线的位置，与现有技术中通过软硬组织平均值的方式进行预测相比，预测准确度和可靠性更高。

为了便于理解本方案，先对本申请实施例所提供的预测模型的生成方法进行说明。请参阅图4，图4为本申请实施例提供的侧貌预测方法的步骤流程图，该方法也可以应用于图2所示的电子设备100。需要说明的是，本申请实施例提供的预测模型的生成方法不以图4及以下所示的顺序为限制，该方法包括：步骤S201-步骤S202。

步骤S201：获取训练样本数据；其中，训练样本数据包括矫治前特征图像及矫治后特征图像；矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。

步骤S202：基于训练样本数据对初始模型进行训练，得到预测模型。

下面先对获取上述训练样本数据的具体过程进行说明。

请参阅图5，于本申请实施例中，获取训练样本数据的具体过程包括：步骤S301-步骤S304。

步骤S301：获取患者的矫治前头颅图像；其中，矫治前头颅图像包括标记的矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线。

上述的第一切牙可以是患者的上切牙，也可以是患者的下切牙。

于本申请实施例中，通过一种测量装置来获取患者的矫治前头颅图像。请参阅图6，该测量装置包括：工具栏以及操作界面。

在操作界面的上方和下方均设置有工具栏，其中，位于上方的工具栏上设置有标记工具（比如工具栏中的箭头符号）。用户通过标记工具可以在操作界面上进行标记。可选地，位于上方的工具栏上还可以设置有保存键、锁定键、恢复键等等。而位于下方的工具栏可以用于对视图的比例进行调节，比如对操作界面视图的缩放，位于下方的工具栏还用于对操作界面的透明度进行调节。

操作界面主要用于显示导入的图像，该测量装置可以根据预先配制的算法对导入在操作界面中的图像进行处理。比如图像识别算法，尺寸检测算法等，本申请不作限定。

测量装置具体的实现形式可以是应用软件，也可以是小程序，也可以是网页等形式。

当获取到患者矫治前对头颅扫描的初始图像后，可以将该初始图像导入至上述的测量装置中。该测量装置可通过图像识别算法识别出矫治前的初始图像中的矫治前的第一切牙的轮廓及矫治前的第一唇轮廓曲线；然后，搭载该测量装置的电子设备基于用户的标记操作，勾勒出调整后的第一切牙的轮廓。测量装置识别及勾勒完成后，测量装置中的操作界面所显示的初始图像如图7所示。

图7中所显示的初始图像中包含上下切牙的矫治前及调整后的轮廓。其中，较粗的轮廓为切牙矫治前的轮廓，较细的轮廓为调整后的轮廓。需要说明的是，上述的用户通常为医生或者医护人员。医生根据经验及患者的矫治方案确定出调整后的切牙位置，然后在初始图像中进行标记。图7中所显示的初始图像的标记的最右侧的曲线即为唇轮廓曲线，图示中包括上唇轮廓曲线及下唇轮廓曲线。当第一切牙为上切牙时，第一唇轮廓曲线为上唇轮廓曲线；当第一切牙为下切牙时，第一唇轮廓曲线为下唇轮廓曲线。

通过上述测量装置能够提高效率，而无需用户手动标记出所有的轮廓及曲线。

可以理解的是，该测量装置也可以不进行自动识别，上述的矫治前的第一切牙的轮廓、调整后的第一切牙的轮廓以及矫治前的第一唇轮廓曲线可以均由用户进行标记。也即，搭载该测量装置的电子设备基于用户的标记操作，勾勒出矫治前的第一切牙的轮廓、调整后的第一切牙的轮廓以及矫治前的第一唇轮廓曲线。

当测量装置识别及勾勒完成后，提取图7中矫治前的第一切牙的轮廓中的唇侧曲线及调整后的第一切牙的轮廓中的唇侧曲线，并结合矫治前的第一唇轮廓曲线，生成矫治前头颅图像。矫治前头颅图像可参考图8。图8中示出了上下切牙两部分的曲线提取。

需要说明的是，唇侧曲线即为轮廓中靠近嘴唇一侧的曲线。

其中，A1表示矫治前的上切牙的唇侧曲线；A2表示调整后的上切牙的唇侧曲线，A3表示矫治前的上唇轮廓曲线。B1表示矫治前的下切牙的唇侧曲线；B2表示调整后的下切牙的唇侧曲线，B3表示矫治前的下唇轮廓曲线。

当第一切牙为上切牙时，则提取出三条曲线A1，A2和A3来生成矫治前头颅图像；当第一切牙为下切牙时，则提取出三条曲线B1，B2和B3来生成矫治前头颅图像。

在其他实施例中，提取出的三条曲线也可以直接与初始图像进行结合来生成矫治前头颅图像。相应的，也可以通过其他任意的绘图软件来对初始图像进行标记进而生成矫治前头颅图像。对此，本申请均不作限定。

步骤S302：基于矫治前头颅图像，生成矫治前特征图像。

在获取到矫治前头颅图像后，对矫治前头颅图像进行特征处理，进而生成矫治前特征图像。于本申请实施例中，步骤S302具体包括:基于矫治前头颅图像，生成六个偏移矩阵；基于六个偏移矩阵生成对应的六幅灰度图像；将六幅灰度图像进行叠加，得到矫治前特征图像。

其中，六个偏移矩阵分别对应三条曲线两两之间的X轴偏移量和Y轴偏移量；上述的三条曲线为矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线。

也即，在本申请实施例中，先基于头颅图像中的曲线来确定出各曲线之间的X轴偏移量和Y轴偏移量，进而得到与偏移量所对应的偏移矩阵，然后将偏移矩阵转换为灰度图像，最后将灰度图像叠加，即可得到特征图像。通过上述处理方式，使得所生成的特征图像包含准确的各曲线之间的位置偏移关系，且该方式处理过程简单，处理效率较高。

由于各曲线的线条长短、形状均不同，直接以曲线位置来计算偏移量较难，因此为了便于获取到各曲线之间准确的偏移量，可以将曲线之间的偏移量转换为曲线上坐标点之间的偏移量。具体的，上述的基于矫治前头颅图像，生成六个偏移矩阵包括：对矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三条曲线进行均匀采样；获取矫治前的第一切牙的唇侧曲线的N个点的坐标、调整后的第一切牙的唇侧曲线的N个点的坐标以及矫治前的第一唇轮廓曲线的N个点的坐标；基于矫治前的第一切牙的唇侧曲线的N个点的坐标、调整后的第一切牙的唇侧曲线的N个点的坐标以及矫治前的第一唇轮廓曲线的N个点的坐标，生成六个偏移矩阵。

其中，采样的个数均为N，N为正整数。N的个数可以是128、256等，本申请对数值不作限定。

请继续参考图8，以上切牙作为第一切牙为例，分别用

用N×N的二维矩阵

公式（1）中

相应的，可以用N×N的二维矩阵

公式（2）中

同理，用N×N的二维矩阵

同理，用N×N的二维矩阵

通过上述方式，即可得到上切牙的三条曲线所对应的六个偏移矩阵。其中，偏移矩阵的数据可以通过图9的图示进行表示。比如图9最左侧的图表示偏移矩阵

可以理解的是，下切牙的三条曲线所对应的六个偏移矩阵的获取方式与上述方式相同。比如分别用

用N×N的二维矩阵

公式（3）中

同理，用N×N的二维矩阵

通过上述方式，即可得到下切牙的三条曲线所对应的六个偏移矩阵。其中，偏移矩阵的数据可以通过图10的图示进行表示。比如图10最左侧的图表示偏移矩阵

在其他实施例中，还可以仅以曲线的两个端点的坐标来生成偏移矩阵，或者仅以曲线的两个端点和中点的坐标来生成偏移矩阵。对此，本申请不作限定。

下面对将偏移矩阵转换为灰度图像的具体过程进行说明，于本申请实施例中，基于偏移矩阵生成对应的灰度图像的步骤包括：将偏移矩阵中的每个数值除以预设的最大偏移量，得到转换数值；其中，转换数值的区间为[0，1]；将转换数值乘以最大灰度值，得到每个转换数值对应的灰度值；将偏移矩阵中的各个灰度值进行映射，得到与偏移矩阵对应的灰度图像。

上述的预设的最大偏移量可以对应坐标为1，2等等，最大灰度值为255。

也即，将偏移矩阵中的每个偏移量转化为灰度值后，将偏移矩阵中的各个灰度值进行映射，进而使得所得到的灰度图像能够将图像中的每一个像素单元与偏移矩阵中的每一个阵列单元一一对应。生成的灰度图像可以参考图11。图11为三个不同的偏移矩阵进行转换后所生成的灰度图像。

示例性的，假设其中一个矩阵单元的数值为0.4，当预设的最大偏移量为1时，此时，转换数值=0.4/1=0.4。然后将转换数值0.4与最大灰度值255相乘得到该转换数值对应的灰度值为0.4×255=102。

当第一切牙为上切牙时，通过六个偏移矩阵

当第一切牙为下切牙时，通过六个偏移矩阵

最后，将第一切牙对应的六幅灰度图像进行叠加，即可得到第一切牙对应的矫治前特征图像，矫治前特征图像的大小为N×N×6。

当第一切牙为上切牙时，将六幅灰度图像

当第一切牙为下切牙时，将六幅灰度图像

步骤S303：获取患者的矫治后头颅图像；其中，矫治后头颅图像包括标记的矫治后的第一切牙的唇侧曲线及矫治后的第一唇轮廓曲线。

需要说明的是，获取患者的矫治后头颅图像与获取患者的矫治前头颅图像的原理相同。只是图像中所标记的曲线不同。

比如，矫治后头颅图像依然可以通过图6所示的测量装置获取得到。也即，当获取到患者矫治后对头颅扫描的初始图像后，可以将该初始图像导入至上述的测量装置中。通过装载该测量装置的电子设备可识别出矫治后的初始图像中的矫治后的第一切牙的轮廓及矫治后的第一唇轮廓曲线；识别完成后，测量装置所显示的初始图像如图12所示。图12中示出了上下切牙的轮廓及上下唇轮廓曲线。当第一切牙为上切牙时，第一唇轮廓曲线为上唇轮廓曲线；当第一切牙为下切牙时，第一唇轮廓曲线为下唇轮廓曲线。

然后，当测量装置识别完成后，电子设备提取图12中矫治后的第一切牙的轮廓中的唇侧曲线，并结合矫治后的第一唇轮廓曲线，矫治后头颅图像可参考图13。

其中，图13中示出了上下切牙两部分的曲线的提取，A4表示矫治后的上切牙的唇侧曲线；A5表示矫治后的上唇轮廓曲线；B4表示矫治后的下切牙的唇侧曲线；B5表示矫治后的下唇轮廓曲线。

当第一切牙为上切牙时，则提取出A4、A5两条曲线来生成矫治后头颅图像；当第一切牙为下切牙时，则提取出B4、B5两条曲线来生成矫治后头颅图像。

步骤S304：基于矫治后头颅图像，生成矫治后特征图像。

相应的， 基于矫治后头颅图像，生成矫治后特征图像的原理与基于矫治前头颅图像，生成矫治前特征图像的原理相同。

也即，基于所述矫治后头颅图像，生成所述矫治后特征图像，可包括：基于矫治后头颅图像，生成两个偏移矩阵；其中，两个偏移矩阵分别对应两条曲线之间的X轴偏移量和Y轴偏移量；两条曲线为矫治后的第一切牙的唇侧曲线及矫治后的第一唇轮廓曲线；基于两个偏移矩阵生成对应的两幅灰度图像；将两幅灰度图像进行叠加，得到矫治后特征图像。

相应的，基于矫治后头颅图像，生成两个偏移矩阵，可包括：对矫治后的第一切牙的唇侧曲线及矫治后的第一唇轮廓曲线进行均匀采样；其中，采样的个数均为M，M为正整数；获取矫治后的第一切牙的唇侧曲线的M个点的坐标及所述矫治后的第一唇轮廓曲线的M个点的坐标；基于矫治后的第一切牙的唇侧曲线的M个点的坐标及所述矫治后的第一唇轮廓曲线的M个点的坐标，生成两个所述偏移矩阵。

在本申请实施例中，M的数值与前述实施例中N的数值相同。当然，M的数值也可以是小于N的数值或大于N的数值，本申请不作限定。

相应的，基于偏移矩阵生成对应的灰度图像的步骤包括：将偏移矩阵中的每个数值除以预设的最大偏移量，得到转换数值；其中，转换数值的区间为[0，1]；将转换数值乘以最大灰度值，得到每个转换数值对应的灰度值；将偏移矩阵中的各个灰度值进行映射，得到与偏移矩阵对应的灰度图像。

生成的灰度图像可以参考图14。图14为两个不同的偏移矩阵进行转换后所生成的灰度图像。

最后，将第一切牙对应的两幅灰度图像进行叠加，即可得到第一切牙对应的矫治后特征图像，矫治后特征图像的大小为N×N×2。

当第一切牙为上切牙时，将两幅灰度图像进行叠加即可得到一个大小为M×M×2的矫治前特征图像OA。

当第一切牙为下切牙时，将两幅灰度图像进行叠加即可得到一个大小为M×M×2的矫治前特征图像OB。

需要说明的是，步骤S303的步骤实现原理与步骤S301的步骤实现原理相同，相同部分可互相参考。步骤S304的步骤实现原理与步骤S302的步骤实现原理相同，相同部分可互相参考，本申请不作限定。

在通过上述得到矫治前特征图像及矫治后特征图像后，将矫治前特征图像及矫治后特征图像作为一组训练样本数据对初始模型进行训练。

需要说明的是，本申请实施例中针对上切牙和下切牙构建两个预测模型。比如训练上切牙对应的预测模型时，以IA和OA作为一组训练数据进行训练，当训练下切牙对应的预测模型时，以IB和OB作为一组训练数据进行训练。

上述预测模型的结构为编码器-解码器结构，其中，包括一个编码器和两个解码器。上唇轮廓和下唇轮廓的预测可共用一个编码器，而分别使用独立的解码器。训练时，先训练编码器，然后再训练解码器。预测模型的损失函数采用L2损失函数。

以上的模型结构仅为示例，并不作为对本申请预测模型的结构的限定。

在训练完成，生成上述预测模型后，可以将该预测模型用于实际的侧貌预测中进而执行如步骤S101-步骤S103的方法。

首先获取目标患者的矫治前特征图像。其中，获取的方式也可以参考步骤S301中的具体说明。

在获取目标患者的矫治前特征图像后，输入至上述的预测模型中，即可得到预测的矫治后特征图像。由于矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。因此，基于该位置偏移关系求得矫治后的第一唇轮廓曲线的坐标。

作为一种实施方式，可以将预测的矫治后特征图像中的每个像素单元的灰度值除以最大灰度值，再乘以预设的最大偏移量，进而转化为偏移矩阵。通过偏移矩阵中两个点之间的偏移量，求得第一唇轮廓曲线的每个点的坐标，进而得到第一唇轮廓曲线的位置。

需要说明的是，在实际的应用中，可以同时结合上切牙和下切牙所对应的预测模型进行应用。也可以仅对上切牙对应的上唇轮廓曲线进行预测，或仅对下切牙对应的下唇轮廓曲线进行预测。对此，本申请不作限定。

请参阅图15，基于同一发明构思，本申请实施例还提供一种预测模型的生成装置400。

该装置包括：第一获取模块401，用于获取训练样本数据；其中，所述训练样本数据包括矫治前特征图像及矫治后特征图像；所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系；所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。

生成模块402，用于基于所述训练样本数据对初始模型进行训练，得到所述预测模型。

请参阅图16，基于同一发明构思，本申请实施例还提供一种侧貌预测装置500。

该装置包括：第二获取模块501，用于获取目标患者的矫治前特征图像；其中，所述矫治前特征图像包括矫治前的第一切牙的唇侧曲线、调整后的第一切牙的唇侧曲线及矫治前的第一唇轮廓曲线三者的位置偏移关系。

预测模块502，用于将所述矫治前特征图像输入至通过如第一方面实施例提供的预测模型的生成方法得到的预测模型中，得到预测的矫治后特征图像；其中，所述矫治后特征图像包括矫治后的第一切牙的唇侧曲线与矫治后的第一唇轮廓曲线的位置偏移关系。

转换模块503，用于基于所述预测的矫治后特征图像，得到所述预测的矫治后头颅侧貌图像。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。

该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。