口腔健康检测系统、相关方法、装置及设备

技术领域

本申请涉及数据处理技术领域，具体涉及口腔健康检测系统、方法和装置，口腔图像配准模型构建方法和装置，以及电子设备。

背景技术

口腔疾病(比如龋齿、牙龈疾病等)属于当今最普遍的人类疾病，然而由于口腔医疗资源严重缺乏且分布不均，因此导致很多患者都无法得到及时的诊疗。为了解决这个问题，互联网与口腔医疗健康的融合成为研究热点，该技术致力于革新口腔疾病筛查和诊断方式，以提高医疗服务效率。

目前，一种典型的口腔影像辅助分析系统是，采用人工智能AI技术对专业的医学X光图片进行分析，通过口腔影像辅助分析模型，根据口腔医学影像，输出口腔疾病辅助诊断报告。该系统可预测出多种常见口腔疾病并给出病变区域定位，包括牙根尖周炎、牙周炎、龋病、根吸收、根折外伤、阻生齿等，具有较高的平均诊断准确率，接近初级口腔医生的诊断水平。

然而，在实现本发明过程中，发明人发现现有技术方案至少存在如下问题：该方案只是基于专业的医学X光图片进行口腔疾病辅助诊断，并给出诊断报告，但是却无法满足患者想要随时随地基于其口腔自然图片进行自助牙齿健康问题观测/诊断的需求，患者仍需先到医院拍摄口腔X光片，然后才能通过口腔影像辅助分析系统进行辅助诊断，这样就会导致患者无法及时进行口腔健康检测，因此用户体验较差。综上所述，如何基于患者口腔自然图片对口腔疾病发展变化情况进行跟踪观察，成为本领域技术人员需要迫切解决的问题。

发明内容

本申请提供口腔健康检测系统，以解决现有技术存在的无法基于患者口腔自然图片进行自助牙齿健康问题观测的问题。本申请另外提供口腔健康检测方法和装置，口腔图像配准模型构建方法和装置，以及电子设备。

本申请提供一种口腔健康检测系统，包括：

客户端，用于采集用户的口腔影像数据，作为口腔自然影像数据；向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；以及，显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；

服务端，用于接收所述请求；通过口腔图像配准模型，根据所述用户的口腔医疗影像数据和所述自然影像数据，生成所述融合影像数据；向所述客户端回送所述融合影像数据。

本申请还提供一种口腔健康检测方法，包括：

采集用户的口腔自然影像数据，作为口腔自然影像数据；

向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；

显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

可选的，所述自然影像数据包括局部牙齿影像数据；

所述医疗影像数据包括全局牙齿影像数据；

所述融合影像数据以所述医疗影像数据为口腔背景模型，将所述局部牙齿影像数据显示在其对应的所述医疗影像数据中的位置。

可选的，所述融合影像数据包括不同时期的牙齿变化信息。

本申请还提供一种口腔健康检测方法，包括：

接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；

通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；

向请求方回送融合影像数据。

可选的，通过口腔图像配准模型包括的牙齿特征提取网络，提取所述口腔自然影像数据中的第一牙齿特征数据、及用户口腔医疗影像数据中的第二牙齿特征数据；

通过口腔图像配准模型包括的牙齿特征融合网络，根据所述第一牙齿特征数据和第二牙齿特征数据，确定所述第一牙齿特征数据和第二特征牙齿数据融合后的牙齿特征数据；

通过口腔图像配准模型包括的配准变换参数确定网络，根据所述融合后的牙齿特征数据，确定口腔图像配准变换参数；

通过口腔图像配准模型包括的口腔图像变换网络，根据所述配准变换参数，对所述自然影像数据执行图像变换处理；

通过口腔图像配准模型包括的口腔图像融合网络，根据变换后的自然影像数据和所述医疗影像数据，生成所述融合影像数据。

可选的，通过所述牙齿特征提取网络包括的第一牙齿特征提取子网络，从所述自然影像数据中提取所述第一牙齿特征数据；

通过所述图像特征提取子网络包括的第二牙齿特征提取子网络，从所述医疗影像数据中提取所述第二牙齿特征数据。

可选的，所述配准变换参数包括：旋转参数，平移参数，缩放参数。

可选的，所述自然影像数据包括局部牙齿影像数据，所述医疗影像数据包括全局牙齿影像数据。

可选的，还包括：

从口腔影像数据库中查询所述目标用户的所述医疗影像数据。

可选的，还包括：

接收针对目标用户的口腔医疗影像数据的影像数据提交请求；

将所述目标用户与所述医疗影像数据间的对应记录存储至口腔影像数据库。

本申请还提供一种口腔健康检测装置，包括：

自然影像采集单元，用于采集用户的口腔自然影像数据，作为口腔自然影像数据；

请求发送单元，用于向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；

融合影像显示单元，用于显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现口腔健康检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集用户的口腔自然影像数据，作为口腔自然影像数据；向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

本申请还提供一种口腔健康检测装置，包括：

请求接收单元，用于接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；

影像融合单元，用于通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；

融合影像回送单元，用于向请求方回送融合影像数据。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现口腔健康检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；向请求方回送融合影像数据。

可选的，所述设备包括：智能手机，智能音箱，平板电脑，个人电脑。

本申请还提供一种口腔图像配准模型构建方法，其特征在于，包括：

确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；

构建口腔图像配准模型的网络结构；

根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

可选的，所述口腔图像配准模型包括牙齿特征提取网络，用于提取所述口腔自然影像数据中的第一牙齿特征数据、及用户口腔医疗影像数据中的第二牙齿特征数据；

所述口腔图像配准模型包括牙齿特征融合网络，用于根据所述第一牙齿特征数据和第二牙齿特征数据，确定所述第一牙齿特征数据和第二特征牙齿数据融合后的牙齿特征数据；

所述口腔图像配准模型包括配准变换参数确定网络，用于根据所述融合后的牙齿特征数据，确定口腔图像配准变换参数；

所述口腔图像配准模型包括口腔图像变换网络，用于根据所述配准变换参数，对所述自然影像数据执行图像变换处理；

所述口腔图像配准模型包括口腔图像融合网络，用于根据变换后的自然影像数据和所述医疗影像数据，生成所述融合影像数据。

可选的，所述牙齿特征提取网络包括第一牙齿特征提取子网络，用于从所述自然影像数据中提取所述第一牙齿特征数据；

所述图像特征提取子网络包括第二牙齿特征提取子网络，用于从所述医疗影像数据中提取所述第二牙齿特征数据。

本申请还提供一种口腔图像配准模型构建装置，包括：

训练数据确定单元，用于确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；

网络构建单元，用于构建口腔图像配准模型的网络结构；

网络训练单元，用于根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现口腔图像配准模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；构建口腔图像配准模型的网络结构；根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。

本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。

与现有技术相比，本申请具有以下优点：

本申请实施例提供的口腔健康检测系统，通过客户端采集用户的口腔自然影像数据，向服务端发送针对该口腔自然影像数据的口腔影像数据融合显示请求；服务端通过口腔图像配准模型，生成该用户的口腔医疗影像数据和该自然影像数据相互融合的影像数据；客户端显示服务端回送的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息；这种处理方式，使得将用户通过客户端(如智能手机、智能音箱等)随拍的口腔自然影像和该用户的专业医学影像进行融合显示，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升用户口腔健康检测的及时性，从而提升用户体验。

本申请实施例提供的口腔图像配准模型构建方法，通过确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；构建口腔图像配准模型的网络结构；根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型；这种处理方式，使得从训练数据中学习得到口腔图像配准模型，该模型能够生成用户随拍的口腔自然影像和专业医学影像间牙齿相对应的融合影像，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升口腔图像配准的准确度和效率，从而提升用户体验。

附图说明

图1本申请提供的一种口腔健康检测系统的实施例的结构图；

图2本申请提供的一种口腔健康检测系统的实施例的应用场景示意图；

图3本申请提供的一种口腔健康检测系统的实施例的设备交互示意图；

图4本申请提供的一种口腔健康检测系统的实施例的口腔图像配准模型示意图；

图5本申请提供的一种口腔健康检测系统的实施例的用户界面示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了口腔健康检测系统、方法和装置，口腔图像配准模型构建方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。

第一实施例

请参考图1，其为本申请的口腔健康检测系统的实施例的结构图。该系统包括：服务端1，客户端2。

所述服务端1，可以是部署在云端服务器上的服务端，也可以是专用于实现口腔健康管理的服务器，可部署在数据中心。服务器，可以是集群服务器，也可以是单台服务器。

所述客户端2包括但不限于移动通讯设备，即：通常所说的手机或者智能手机，还包括智能牙刷、智能音箱、个人电脑、PAD、iPad等客户端。

请参考图2，其为本申请的口腔健康检测系统的场景示意图。服务端1和客户端2间可通过网络连接，如客户端2可通过WIFI等方式联网，等等。口腔疾病患者用户可通过智能音箱、智能手机等客户端配备的图像采集装置，对准用户的口腔部位，采集用户的口腔自然影像数据，客户端将采集到的影像数据发送至服务端，服务端通过口腔图像配准模型，生成口腔自然影像和口腔医疗影像数据间牙齿相对应的融合影像数据，并将该融合影像数据回送至客户端显示，以便于用户查看等等。

请参考图3，其为本申请的口腔健康检测系统的实施例的设备交互示意图。在本实施例中，客户端采集用户的口腔自然影像数据，向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；以及，显示服务端回送的所述用户的口腔医疗影像数据和所述自然影像数据间牙齿相对应的融合影像数据；服务端接收所述请求；通过口腔图像配准模型，根据所述用户的口腔医疗影像数据和所述自然影像数据，生成所述融合影像数据；向所述客户端回送所述融合影像数据。

所述口腔影像融合显示请求，至少包括所述口腔自然影像数据，此外还可包括用户标识等信息。其中，所述口腔自然影像数据，可以是一段口腔视频中的多帧影像数据，通过针对口腔部位进行多角度拍摄，使得获取到的多帧自然影像数据可包括较为全面的口腔信息，如所有牙齿的图像等。所述口腔自然影像数据，也可以是对准口腔的某个部位进行一次拍摄得到的一幅口腔图像的数据。

在一个示例中，客户端为智能手机或智能音箱等等终端设备，该设备上可装载有口腔健康管理应用APP，用户打开该APP后，可通过APP提供的操作选项(如“口腔建模检测”选项)，启动口腔自然影像数据的采集处理，如可通过智能手机或智能音箱等配备的CMOS/CCD摄像头，拍摄采集N帧口腔部位连续影像，进行口腔建模检测。

在另一个实例中，客户端为智能手机或智能音箱等等终端设备，该设备与智能牙刷连接(二者可通过无线方式连接或有线方式连接)，用户在刷牙时可开启智能牙刷的图像采集功能，如发现牙齿流血则拍摄该部位的图像，可通过设置在智能牙刷表面的摄像头采集所述口腔自然影像数据，将该影像数据发送至客户端，客户端将该数据发送至服务端。

具体实施时，用户可预先通过客户端注册服务端提供的口腔健康管理服务，成为该服务的注册用户。客户端向服务端发送的所述口腔影像融合显示请求，可包括所述口腔自然影像数据和用户标识。

需要说明的是，如图2所示，由于客户端的图像采集装置通常为摄像头，因此其拍摄的任意一帧所述口腔自然影像数据通常为口腔内的局部影像数据，用户通常可对准其认为有问题的牙齿部分进行拍摄。

服务端接收到所述请求后，可通过口腔图像配准模型，根据所述用户的口腔医疗影像数据和所述自然影像数据，生成所述融合影像数据；向所述客户端回送所述融合影像数据。

所述口腔医疗影像数据，可以是通过专业的口腔医疗检测设备拍摄的口腔部位影像数据，如口腔X光片等等。所述服务端可根据所述请求携带的用户标识，从口腔影像数据库中查询所述用户的所述医疗影像数据。

具体实施时，所述服务端还可用于接收针对用户的口腔医疗影像数据的影像数据提交请求；将所述用户与所述医疗影像数据间的对应记录存储至口腔影像数据库，以便于口腔建模阶段使用。

所述口腔图像配准模型，可以是简单的基于牙齿形状进行图像配准的模型。所述口腔图像配准模型，也可以是人工智能模型，采用人类智能相似的方式做出口腔图像配准反应。所述口腔图像配准模型，其网络结构可以包括DNN，CNN，RNN等等常见的神经网络结构。该模型可包括特征数据提取网络、及图像配准网络等等。

在一个示例中，所述口腔图像配准模型采用如下方式对输入的两种模态数据进行融合配准。首先，可使用优化算法(如downhill，SGD等)，经过人工定义的相似性度量进行图像配准的优化，得到刚体变换矩阵，生成变换后图像；然后，再使用变换后图像与x光图像进行图像融合，得到最终融合图像。该方式并未使用人工智能算法，无法形成端到端的解决方案，在配准效率和配准精准度方面比较有限。

请参考图4，其为本申请的口腔健康检测系统的实施例的口腔图像配准模型示意图。在本实施例中，所述口腔图像配准模型包括：牙齿特征提取网络，牙齿特征融合网络，配准变换参数确定网络，口腔图像变换网络，以及口腔图像融合网络。该模型可为两幅图像单独进行特征提取，在深层次中进行特征融合，然后利用回归得出配准变换参数。

由图4可见，由于随拍设备的限制，随拍图像(即口腔自然影像)是微距镜头下产生的图像，主要拍摄牙齿细节，所以通常只有几颗甚至一颗牙齿，因此对图像配准的要求高，可根据随拍图像上牙齿的特性，如形状，病变等，去找到全局图像(即口腔医疗影像，如X光片)对应的牙齿位置。

服务端可通过牙齿特征提取网络，提取所述口腔自然影像数据中的第一牙齿特征数据、及用户口腔医疗影像数据中的第二牙齿特征数据。所述第一牙齿特征数据，包括从所述口腔自然影像数据中提取得到的牙齿特征数据。所述第二牙齿特征数据，包括从所述医疗自然影像数据中提取得到的牙齿特征数据。

在一个示例中，可以是通过所述牙齿特征提取网络包括的第一牙齿特征提取子网络，从所述自然影像数据中提取所述第一牙齿特征数据；通过所述图像特征提取子网络包括的第二牙齿特征提取子网络，从所述医疗影像数据中提取所述第二牙齿特征数据。所述第一牙齿特征提取子网络和第二牙齿特征提取子网络，针对两种不同模态的口腔图像，抽取牙齿特征数据。

在本实施例中，第一牙齿特征提取子网络和第二牙齿特征提取子网络采用残差网络(Residual Network，ResNet)结构，通过残差机制对输入影像数据进行CNN卷积，避免深层梯度消失。例如，针对两种输入图像，分别进入到其对应的特征提取的网络，此网络可以是resnet50，resenet101，densenet121等常见的特征提取的CNN网络模型，提取到深层特征。

具体实施时，第一牙齿特征提取子网络和第二牙齿特征提取子网络也可采用其它神经网络结构，如多层CNN卷积网络或基于注意力机制的神经网络。此外，也可以将输入的口腔医疗影像和自然影像拼接起来，通过一个牙齿特征提取网络抽取牙齿特征数据。

服务端抽取得到第一牙齿特征数据和第二牙齿特征数据后，可通过口腔图像配准模型包括的牙齿特征融合网络，根据所述第一牙齿特征数据和第二牙齿特征数据，确定所述第一牙齿特征数据和第二特征牙齿数据间融合的牙齿特征数据。

所述牙齿特征融合网络，可采用如下处理方式：将第一牙齿特征提取子网络和第二牙齿特征提取子网络的CNN卷积层分别输出的特征权重进行拼接(concatenate)，得到融合的牙齿特征数据。具体实施时，也可以采用深度融合方式，对所述第一牙齿特征数据和第二牙齿特征数据进行融合。所述融合的牙齿特征数据，可包括体现口腔医疗影像数据和自然影像数据间牙齿对应关系的特征数据。

服务端可通过口腔图像配准模型包括的配准变换参数确定网络，根据融合后的牙齿特征数据，确定口腔图像配准变换参数。所述配准变换参数，包括但不限于：旋转参数，平移参数，缩放参数。

具体实施时，所述配准变换参数确定网络，可采用如下处理方式：针对融合后的牙齿特征数据，再经过3层CNN的卷积层和池化层，接上最后的全连接层，回归出7个参数，分别是三维空间的旋转角(rotate x，y，z)，二维空间上的缩放(scale x,y)和二维空间上的平移量(shift x,y),由此构建仿射矩阵(affine matrix)的图像变换关系，然后输入给图像变换网络。

需要注意的是，所述口腔图像配准模型可以是无监督的网络模型，对于无监督的口腔图像配准模型，可选择ngf损失函数，这样可以更好地应对多模态数据。

服务端可通过口腔图像配准模型包括的口腔图像变换网络，根据所述配准变换参数，对所述自然影像数据执行图像变换处理，由图像配准参数经过空间变换(spatialtransform)得到变换后的随拍图像位置关系。该口腔图像变换网络的具体处理过程可以是：使用构建的affine matrix对随拍图像进行变换，方法使用双线性插值，生成新的变换后的随拍图像。口腔图像变换网络将变换后的随拍图像输入给图像融合网络。

图像变换就是根据affine matrix对图像进行插值的过程，可以采用如下公式：RS*|image|+T＝|image‘|。其中，R可以是3*3的旋转矩阵，S可以是3*3的scale对角矩阵，由于是2D投影变换，因此z方向永远是1；T可以是3*1的平移矩阵，由于是2D投影变换，因此z方向永远是0，image是配准前图像坐标，image’是变换后图像坐标。通过公式就有了图像位置的变换关系，然后利用图像插值得到新生成图像对应位置的彩色值或灰度值。

服务端可通过口腔图像配准模型包括的口腔图像融合网络，根据变换后的自然影像数据和所述医疗影像数据，生成所述融合影像数据。图像融合就是把变换后的自然图像贴到标准医疗图像上。具体实施时，其图像融合网络的步骤为：由affine matrix可以得到位置信息，将变换后的随拍图像对齐到医疗图像上的位置。此外，还可对变换后图像的边缘进行模糊化处理，粘贴于医疗图像上，使之看起来平滑，得到最终结果，如图5所示。

具体实施时，所述融合影像数据可包括不同时期的牙齿变化信息。牙齿变化可以是牙齿生长或损坏情况的变化，用户通过观察不同时期同一颗牙齿在不同的影像表现来感知变化。需要说明的是，所述系统将医疗图像作为标准图像用于建模的模板，主要通过随拍图像使得用户感知牙齿变化情况。

所述用户通过客户端查看所述融合影响数据，可以更为直观地感受牙齿的问题。同时，可根据所述口腔医疗影像数据建立一个标准模型，后续所有随拍的口腔自然影像都可以匹配到建立的模型上，以利于用户观察变化。此外，后续阶段，还可以将所述融合影响数据作为历史数据，根据这些历史数据执行口腔健康回访和预测等处理。

在本实施例中，服务端可通过口腔图像配准模型融合医疗影像数据和所述口腔自然影像数据，在X光片中标记出自然影像中的局部牙齿，这样用户就可对比观察自然影像中的局部牙齿相对X光片中对应牙齿的变化情况，用户可直接感知到当前牙齿状况相对以前牙齿状况的变化，由此可促使用户及时去医院或通过本申请实施例提供的所述系统进行进一步的牙齿健康检测；因此，可以有效提升用户体验。

从上述实施例可见，本申请实施例提供的口腔健康检测系统，通过客户端采集用户的口腔自然影像数据，向服务端发送针对该口腔自然影像数据的口腔影像数据融合显示请求；服务端通过口腔图像配准模型，生成该用户的口腔医疗影像数据和该自然影像数据相互融合的影像数据；客户端显示服务端回送的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息；这种处理方式，使得将用户通过客户端(如智能手机、智能音箱等)随拍的口腔自然影像和该用户的专业医学影像进行融合显示，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升用户口腔健康检测的及时性，从而提升用户体验。

第二实施例

与上述的口腔健康检测系统相对应，本申请还提供一种口腔健康检测方法，该方法的执行主体包括但不限于终端设备，如智能手机、智能牙刷、智能音箱、平板电脑、台式计算机、可穿戴设备等等，可以通过在终端设备上安装应用(APP)的方式或者在台式计算机上安装软件的方式实现。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种口腔健康检测方法包括：

步骤1：采集用户的口腔自然影像数据，作为口腔自然影像数据；

步骤2：向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；

步骤3：显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

所述自然影像数据包括局部牙齿影像数据；所述医疗影像数据包括全局牙齿影像数据；所述融合影像数据以所述医疗影像数据为口腔背景模型，将所述局部牙齿影像数据显示在其对应的所述医疗影像数据中的位置。

在一个示例中，所述融合影像数据包括不同时期的牙齿变化信息。

从上述实施例可见，本申请实施例提供的口腔健康检测方法，通过客户端采集用户的口腔自然影像数据，向服务端发送针对该口腔自然影像数据的口腔影像数据融合显示请求；服务端通过口腔图像配准模型，生成该用户的口腔医疗影像数据和该自然影像数据相互融合的影像数据；客户端显示服务端回送的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息；这种处理方式，使得将用户通过客户端(如智能手机、智能音箱等)随拍的口腔自然影像和该用户的专业医学影像进行融合显示，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升用户口腔健康检测的及时性，从而提升用户体验。

第三实施例

在上述的实施例中，提供了一种口腔健康检测方法，与之相对应的，本申请还提供一种口腔健康检测装置。该装置是与上述方法的实施例相对应。

本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种口腔健康检测装置包括：

自然影像采集单元，用于采集用户的口腔自然影像数据，作为口腔自然影像数据；

请求发送单元，用于向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；

融合影像显示单元，用于显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

第四实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该设备包括：处理器和存储器；存储器，用于存储实现口腔健康检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集用户的口腔自然影像数据，作为口腔自然影像数据；向服务端发送针对所述口腔自然影像数据的口腔影像融合显示请求；显示服务端回送的所述用户的口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息。

所述设备,包括但不限于：智能手机，平板电脑，个人电脑。

第五实施例

与上述的口腔健康检测系统相对应，本申请还提供一种口腔健康检测方法，该方法的执行主体包括但不限于服务端，也可以是能够实现所述方法的任意设备。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

在本实施例中，所述方法包括如下步骤：

步骤1：接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；

步骤2：通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；

步骤3：向请求方回送融合影像数据。

在一个示例中，通过口腔图像配准模型包括的牙齿特征提取网络，提取所述口腔自然影像数据中的第一牙齿特征数据、及用户口腔医疗影像数据中的第二牙齿特征数据；通过口腔图像配准模型包括的牙齿特征融合网络，根据所述第一牙齿特征数据和第二牙齿特征数据，确定所述第一牙齿特征数据和第二特征牙齿数据融合后的牙齿特征数据；通过口腔图像配准模型包括的配准变换参数确定网络，根据所述融合后的牙齿特征数据，确定口腔图像配准变换参数；通过口腔图像配准模型包括的口腔图像变换网络，根据所述配准变换参数，对所述自然影像数据执行图像变换处理；通过口腔图像配准模型包括的口腔图像融合网络，根据变换后的自然影像数据和所述医疗影像数据，生成所述融合影像数据。

在一个示例中，通过所述牙齿特征提取网络包括的第一牙齿特征提取子网络，从所述自然影像数据中提取所述第一牙齿特征数据；通过所述图像特征提取子网络包括的第二牙齿特征提取子网络，从所述医疗影像数据中提取所述第二牙齿特征数据。

所述配准变换参数，包括但不限于：旋转参数，平移参数，缩放参数。

在一个示例中，所述自然影像数据包括局部牙齿影像数据，所述医疗影像数据包括全局牙齿影像数据。

在一个示例中，所述方法还可包括如下步骤：从口腔影像数据库中查询所述目标用户的所述医疗影像数据。

在一个示例中，所述方法还可包括如下步骤：接收针对目标用户的口腔医疗影像数据的影像数据提交请求；将所述目标用户与所述医疗影像数据间的对应记录存储至口腔影像数据库。

从上述实施例可见，本申请实施例提供的口腔健康检测方法，通过客户端采集用户的口腔自然影像数据，向服务端发送针对该口腔自然影像数据的口腔影像数据融合显示请求；服务端通过口腔图像配准模型，生成该用户的口腔医疗影像数据和该自然影像数据相互融合的影像数据；客户端显示服务端回送的融合影像数据，以使得用户根据融合影像数据，观察口腔健康信息；这种处理方式，使得将用户通过客户端(如智能手机、智能音箱等)随拍的口腔自然影像和该用户的专业医学影像进行融合显示，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升用户口腔健康检测的及时性，从而提升用户体验。

第六实施例

在上述的实施例中，提供了一种口腔健康检测方法，与之相对应的，本申请还提供一种口腔健康检测装置。该装置是与上述方法的实施例相对应。

本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种口腔健康检测装置包括：

请求接收单元，用于接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；

影像融合单元，用于通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；

融合影像回送单元，用于向请求方回送融合影像数据。

第七实施例

本申请还提供一种电子设备实施例。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现口腔健康检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收针对目标用户的口腔自然影像数据的口腔影像数据融合显示请求；通过口腔图像配准模型，根据所述目标用户的口腔医疗影像数据和所述自然影像数据，生成所述口腔医疗影像数据和自然影像数据间牙齿相对应的融合影像数据；向请求方回送融合影像数据。

第八实施例

与上述的口腔健康检测系统相对应，本申请还提供一种口腔图像配准模型构建方法，该方法的执行主体包括但不限于服务端，也可以是能够实现所述方法的任意设备。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

在本实施例中，所述口腔图像配准模型构建方法包括如下步骤：

步骤1：确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；

步骤2：构建口腔图像配准模型的网络结构；

步骤3：根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

在一个示例中，所述口腔图像配准模型包括牙齿特征提取网络，用于提取所述口腔自然影像数据中的第一牙齿特征数据、及用户口腔医疗影像数据中的第二牙齿特征数据；所述口腔图像配准模型包括牙齿特征融合网络，用于根据所述第一牙齿特征数据和第二牙齿特征数据，确定所述第一牙齿特征数据和第二特征牙齿数据融合后的牙齿特征数据；所述口腔图像配准模型包括配准变换参数确定网络，用于根据所述融合后的牙齿特征数据，确定口腔图像配准变换参数；所述口腔图像配准模型包括口腔图像变换网络，用于根据所述配准变换参数，对所述自然影像数据执行图像变换处理；所述口腔图像配准模型包括口腔图像融合网络，用于根据变换后的自然影像数据和所述医疗影像数据，生成所述融合影像数据。

在一个示例中，所述牙齿特征提取网络包括第一牙齿特征提取子网络，用于从所述自然影像数据中提取所述第一牙齿特征数据；所述图像特征提取子网络包括第二牙齿特征提取子网络，用于从所述医疗影像数据中提取所述第二牙齿特征数据。

从上述实施例可见，本申请实施例提供的口腔图像配准模型构建方法，通过确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；构建口腔图像配准模型的网络结构；根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型；这种处理方式，使得从训练数据中学习得到口腔图像配准模型，该模型能够生成用户随拍的口腔自然影像和专业医学影像间牙齿相对应的融合影像，用户通过融合影像即可直观地了解其牙齿健康变化信息；因此，可以有效提升口腔图像配准的准确度和效率，从而提升用户体验。

第九实施例

在上述的实施例中，提供了一种口腔图像配准模型构建方法，与之相对应的，本申请还提供一种口腔图像配准模型构建装置。该装置是与上述方法的实施例相对应。

本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种口腔图像配准模型构建装置包括：

训练数据确定单元，用于确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；

网络构建单元，用于构建口腔图像配准模型的网络结构；

网络训练单元，用于根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

第十实施例

本申请还提供一种电子设备实施例。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现口腔图像配准模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定训练数据集；所述训练数据包括口腔医疗影像数据、口腔自然影像数据、及自然影像牙齿与医疗影像牙齿间对应关系的标注数据；构建口腔图像配准模型的网络结构；根据所述训练数据集对所述模型的网络参数进行训练，得到所述模型。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。