一种牙科治疗计划确定方法、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种牙科治疗计划确定方法、电子设备及存储介质。

背景技术

在牙科治疗过程中，牙科治疗计划的临床决策是指导牙科专业修复领域综合治疗的初始和关键步骤。在实践中，在患者初次就诊时需要为患者制定综合的治疗计划。治疗计划涉及修复学、牙周学、牙髓学、拔牙等专业，并为最终的治疗提供支持。由此可见，制定治疗计划的过程需要将患者的口腔状况与多个专业的知识和经验相结合，制定治疗计划的过程需要牙医具备全面的理论知识和足够的临床经验，因此制定治疗计划的过程较为困难。

发明内容

本发明实施例的目的在于提供一种牙科治疗计划确定方法、电子设备及存储介质，以制定牙科治疗计划。具体技术方案如下：

第一方面，本发明实施例提供的一种牙科治疗计划确定方法，所述方法包括：

获取牙科病历文本，并从所述牙科病历文本中提取检查结果信息；

将所述检查结果信息转换为各个治疗项目对应的检查结果张量数据；

分别对各个治疗项目对应的检测结果张量数据进行特征提取，得到检查结果特征；

基于各个治疗项目的检查结果特征，针对每一治疗项目，分别确定是否需要对各个牙齿进行该治疗项目的治疗，生成牙科治疗计划，其中，所述牙科治疗计划中包含每一牙齿需要进行的治疗项目。

本发明的一个实施例中，所述分别对各个治疗项目对应的检测结果张量数据进行特征提取，得到检查结果特征，包括：

将各个治疗项目对应的检查结果张量数据分别输入该治疗项目对应的训练后的卷积神经网络模型中，得到检查结果特征；

所述基于各个治疗项目的检查结果特征，针对每一治疗项目，分别确定是否需要对各个牙齿进行该治疗项目的治疗，生成牙科治疗计划，包括：

将各个治疗项目的检查结果特征输入训练后的治疗计划确定模型，针对每一治疗项目，获得表示各个牙齿是否需要进行该治疗项目的治疗的输出结果，生成牙科治疗计划。

本发明的一个实施例中，每一卷积神经网络模型的数据处理过程为：

基于通道注意力机制与空间注意力机制对接收到的检查结果张量进行处理，得到注意力特征图；

通过不同大小的卷积核分别对所述注意力特征图进行卷积处理，得到各个第二卷积结果；

将各个第二卷积结果融合为总卷积结果；

基于所述总卷积结果生成各个第二卷积结果对应的注意力参数；

基于所述注意力参数对各个第二卷积结果进行融合，得到检查结果特征。

本发明的一个实施例中，所述基于通道注意力机制与空间注意力机制对接收到的检查结果张量进行处理，得到注意力特征图，包括第一数据处理流程或第二数据处理流程；

所述第一数据处理流程为：

基于第一预设尺寸的卷积核对接收到的检查结果张量进行卷积处理，得到第二卷积结果；

基于通道注意力机制对所述第二卷积结果进行处理，得到各个通道的通道注意力值；

基于通道注意力值对所述第二卷积结果进行加权计算，得到第一加权结果；

基于空间注意力机制对所述第一加权结果进行处理，得到各个牙齿的空间注意力值；

基于所述空间注意力值对所述第一加权结果进行加权计算，得到注意力特征图；

所述第二数据处理流程为：

基于通道注意力机制对接收到的检查结果张量进行处理，得到各个通道的通道注意力值；

基于通道注意力值对所述检查结果张量进行加权计算，得到第二加权结果；

基于第二预设尺寸的卷积核对第二加权结果进行卷积处理，得到第三卷积结果；

基于空间注意力机制对所述第三卷积结果进行处理，得到各个牙齿的空间注意力值；

基于所述空间注意力值对所述第三卷积结果进行加权计算，得到注意力特征图。

本发明的一个实施例中，所述方法还包括：

基于各个牙齿的空间注意力值生成表示各个牙齿对牙科治疗计划确定结果的影响程度的空间注意力图。

本发明的一个实施例中，所述训练后的治疗计划确定模型包括：循环神经网络以及分别与各个治疗项目相对应的全连接层，所述将各个治疗项目的检查结果特征输入训练后的治疗计划确定模型，针对每一治疗项目，获得表示各个牙齿是否需要进行该治疗项目的治疗的输出结果，生成牙科治疗计划，包括：

将各个检查结果特征输入循环神经网络，获得所述循环神经网络模型处理后分别针对各个治疗项目的输出结果；

分别将每一治疗项目的输出结果输入该治疗项目对应的全连接层中，获得表示各个牙齿是否需要进行该治疗项目的治疗的输出结果，生成牙科治疗计划。

本发明的一个实施例中，所述方法还包括：

通过梯度回转，计算所述治疗计划确定模型的输出结果中各个牙齿关于所述检查结果张量数据中各个牙齿的梯度值，并生成表示各个牙齿影响程度的显着图，其中，每一牙齿的梯度值表示该牙齿对牙科治疗计划的影响程度。

本发明的一个实施例中，通过以下方式对初始卷积神经网络模型进行训练得到训练后的卷积神经网络模型，并对初始治疗计划确定模型进行训练得到训练后的治疗计划确定模型：

获取样本牙科病历文本，并从样本牙科病历文本中提取样本检查结果信息与样本治疗计划信息；

将所述样本检查结果信息转换各个治疗项目对应的样本结果张量数据；

分别将各个治疗项目对应的样本结果张量数据分别输入该治疗项目对应的初始卷积神经网络模型，得到样本结果特征；

将各个治疗项目的样本结果特征输入初始治疗计划确定模型，针对每一治疗项目，获得表示各个牙齿是否需要进行该治疗项目的治疗的样本输出结果；

基于所述样本输出结果与样本治疗计划信息，计算所述初始卷积神经网络与所述初始治疗计划确定模型的损失值；

基于所述损失值对所述初始卷积神经网络模型与初始治疗计划确定模型的模型参数进行调整，若未达到预设的训练结束条件，则返回执行所述分别将各个治疗项目对应的样本结果张量数据分别输入该治疗项目对应的初始卷积神经网络模型，得到样本结果特征的步骤，若达到预设的训练结果条件，则将模型参数调整后的初始卷积神经网络模型确定为训练后的卷积神经网络模型，将模型参数调整后的初始治疗计划确定模型确定为训练后的治疗计划确定模型。

本发明的一个实施例中，所述基于所述样本输出结果与样本治疗计划信息，计算所述初始卷积神经网络与所述初始治疗计划确定模型的损失值，包括：

基于不确定性加权方式，计算在所述样本牙科病历文本中存在记录的有效牙齿的样本治疗计划信息与有效牙齿的样本输出结果之间的加权二元交叉熵损失，作为所述初始卷积神经网络与所述初始治疗计划确定模型的损失值。

本发明的一个实施例中，所述方法还包括：

针对所述样本检查结果信息中的每一项样本特征，分别对该样本特征进行增量调整与减量调整，分别得到调整后的增量样本信息与减量样本信息；

针对每一项样本特征，分别获得采用训练后的卷积神经网络模型与训练后的治疗计划确定模型对该样本特征对应的增量样本信息进行处理得到的增量输出结果，以及对减量样本信息进行处理得到的减量输出结果；基于各个样本特征对应的增量输出结果与减量输出结果，计算表示各项样本特征对输出结果的影响程度的影响值。

本发明的一个实施例中，所述获取牙科病历文本，并从所述牙科病历文本中提取检查结果信息，包括：

获取牙科病历文本，基于预设的病历结构化模板对所述牙科病历文本进行结构化处理，得到结构化病历信息；

从所述结构化病历信息中提取检查结果信息。

第二方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。

第四方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法。

本发明实施例有益效果：

本发明实施例提供的一种牙科治疗计划确定方法，首先从牙科病历文本中提取检查结果信息；再将所述检查结果信息转换为各个治疗项目对应的检查结果张量数据；之后对各个治疗项目对应的检测结果张量数据进行特征提取，得到检查结果特征；并基于各个治疗项目的检查结果特征，针对每一治疗项目，分别确定是否需要对各个牙齿进行该治疗项目的治疗，获得牙科治疗计划。

由以上可见，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的第一种牙科治疗计划确定方法的流程示意图；

图2为本发明实施例提供的一种检查结果张量数据的结构示意图；

图3为本发明实施例提供的一种卷积神经网络模型的数据处理流程示意图；

图4为本发明实施例提供的一种通道注意力值计算过程示意图；

图5为本发明实施例提供的一种空间注意力值计算过程示意图；

图6为本发明实施例提供的一种选择性内核模块的数据处理过程示意图；

图7为本发明实施例提供的一种治疗计划确定模型数据处理过程示意图；

图8为本发明实施例提供的第二种牙科治疗计划确定方法的流程示意图；

图9为本发明实施例提供的一种空间注意力图；

图10为本发明实施例提供的第三种牙科治疗计划确定系统的结构示意图；

图11为本发明实施例提供的一种显着图；

图12为本发明实施例提供的第一种模型训练方法的流程示意图；

图13为本发明实施例提供的第二种模型训练方法的流程示意图；

图14为本发明实施例提供的一种影响值统计结果示意图；

图15为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。

另外，本申请实施例中涉及到的所有数据均是在获得授权的情况下获得的，未泄露相关人员的个人隐私。

为了便于医生制定牙科治疗计划，本发明实施例提供了一种牙科治疗计划确定方法，上述方法包括：

获取牙科病历文本，并从牙科病历文本中提取检查结果信息；

将上述检查结果信息转换为各个治疗项目对应的检查结果张量数据，其中，上述治疗项目包括：进行牙周治疗、拆除旧修复体、拔除牙齿、进行牙体牙髓治疗、进行修复科复诊；

分别对各个治疗项目对应的检测结果张量数据进行特征提取，得到检查结果特征；

基于各个治疗项目的检查结果特征，针对每一治疗项目，分别确定是否需要对各个牙齿进行该治疗项目的治疗，生成牙科治疗计划，其中，上述牙科治疗计划中包含每一牙齿需要进行的治疗项目。

由以上可见，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

参见图1，为本发明实施例提供的第一种牙科治疗计划确定方法的流程示意图，上述方法包括以下步骤S101-步骤S104。

S101：获取牙科病历文本，并从上述牙科病历文本中提取检查结果信息。

其中，上述牙科病历文本可以为非结构化的EDR(Electronic Dental Record，电子牙科病历)，上述牙科病历文本中包含就诊时间、主诉、现病史、既往史、家族史、全身健康状况、检查、诊断、处置等信息，其中，本发明实施例提供的方案中可以从牙科病历文本中识别“检查”字段，查找牙科病历文本中记录的检查部分的内容，再从查找到的检查部分中提取检查结果信息。

上述检查结果信息中可以包括：牙齿a缺失、牙齿b牙根长度基本正常、牙齿c合龈间距基本正常等。上述检查结果信息中可以包括牙齿的牙位信息与口腔信息。

本发明的另一个实施例中，上述步骤S101还可以通过以下步骤A-步骤B实现。

步骤A：获取牙科病历文本，基于预设的病历结构化模板对上述牙科病历文本进行结构化处理，得到结构化病历信息。

本发明的一个实施例中，上述病历结构化模板中记录有结构化病历信息内可能包含的各项信息，基于上述预设的病历结构化模板可以分别对上述牙科病历文本中包含的各类信息进行结构化处理，分别提取各类信息中包含的每一条信息，作为病历结构化模板中包含的信息项的取值，得到结构化病历表，作为结构化病历信息。

步骤B：从上述结构化病历信息中提取检查结果信息。

本发明的一个实施例中，可以从上述结构化病历信息中提取预设的与检查结果相关的信息项的取值，作为检查结果信息。

S102：将上述检查结果信息转换为各个治疗项目对应的检查结果张量数据。

其中，上述治疗项目包括：进行牙周治疗、拆除旧修复体、拔除牙齿、进行牙体牙髓治疗、进行修复科复诊。

具体的，按照临床决策的进行牙科治疗的先后顺序为：进行牙周治疗、拆除旧修复体、拔除牙齿、进行牙体牙髓治疗、进行修复科复诊。除了上述五种治疗项目外，本发明实施例还可以对是否需要进行其他治疗项目进行预测，本实施例对此不进行限定。

本发明的一个实施例中，在对检查结果信息进行转换之前可以对检查结果信息进行预处理，去除其中包含的错误数据并去除冗余的特征，上述特征包括牙齿的特征与口腔的特征，其中，可以将口腔的特征作为口腔中所有牙齿的公共特征，也就是可以将口腔的特征作为每一牙齿的特征的一部分。

具体的，可以通过以下方式判断冗余的特征：

获取样本牙科病历文本中记录的牙齿的特征与口腔的特征，分别对每一特征的出现频率进行统计，具体的，可以通过以下公式计算牙齿的每一特征出现的频率：

其中，frequency

另外，可以通过以下公式计算口腔的每一特征出现的频率：

其中，frequency

可以将出现频率低于预设频率阈值的牙齿的特征确定为冗余特征，例如，上述预设频率阈值可以为0.25％。

另外，可以将出现频率最低的预设数量个口腔的特征作为冗余的特征，例如，存在20种口腔的特征，可以将其中出现频率最高的两种特征作为需要考虑的特征，将其他特征作为冗余的特征，上述需要考虑的口腔的特征可以为口腔卫生特征与口腔牙结石特征。

本发明的另一个实施例中，上述检查结果张量数据的维度可以为2×16×N，上述2表示上下两排牙齿，16表示每排有16颗牙齿，N表示每颗牙齿考虑的特征的数量。

具体的，对于不同的治疗项目，每颗牙齿考虑的特征可以不同，考虑的特征的数量可以不同。其中，对于进行牙周治疗以及进行修复科复诊两个治疗项目，需要考虑口腔的情况进行判断，因此每颗牙齿考虑的特征中除了牙齿自身的特征之外可以加入口腔的特征，拆除旧修复体、拔除牙齿、进行牙体牙髓治疗三个治疗项目，可以不考虑口腔的情况，仅基于牙齿的情况进行判断，则每颗牙齿考虑的特征中可以仅包括牙齿自身的特征。

一种实施方式中，与牙齿有关的特征可以为53个，与口腔有关的特征可以为2个，则对于牙周治疗以及进行修复科复诊两个治疗项目，所生成的检查结果张量数据的维度可以为2×16×55，对于拆除旧修复体、拔除牙齿、进行牙体牙髓治疗三个治疗项目，所生成的检查结果张量数据的维度可以为2×16×53。

参见图2，为本发明实施例提供的一种检查结果张量数据的结构示意图。

其中，图中的每一层矩形表示一项特征，图中包含的4层矩形仅为一种示例，不表示本方案的检查结果张量数据中仅包含4项特征。由图可见，每一项特征对应32颗牙齿，每一项特征的维度为2×16。

另外，由于检查结果信息中往往仅包含存在病症的牙齿的检查结果，也就是往往不包含所有牙齿的检查结果，对于未记录检查结果的牙齿，本发明实施例在生成检查结果张量时可以将检查结果特征中与该牙齿相对应的元素的取值置为第一预设值，为了避免对后续处理造成影响，可以将上述第一预设值设置为0。

并且，检查结果信息中也可能仅包含本方案考虑的牙齿和口腔的全部特征中的一部分，对于检查结果信息中未记录的特征，本发明实施例在生成检查结果张量时可以将检查结果特征中与该特征相对应的元素的取值置为第二预设值，为了避免对后续处理造成影响，可以将上述第一预设值设置为0。

具体的，可以用D＝{x

S103：分别对各个治疗项目对应的检测结果张量数据进行特征提取，得到检查结果特征。

本发明的一个实施例中，可以分别为每一治疗项目配置一个训练后的卷积神经网络模型，将与该治疗项目对应的检查结果张量数据输入该治疗项目对应的训练后的卷积神经网络模型中，对该检查结果张量数据进行特征提取，得到检查结果特征。

具体的，每一治疗项目对应的训练后的卷积神经网络模型的结构不同，详细内容可以参见下文步骤C，在此暂不详述。

另外，本发明实施例还可以通过其他现有技术中的方式对检查结果张量数据进行特征提取，得到检查结果特征，本实施例对此不进行限定。

S104：基于各个治疗项目的检查结果特征，针对每一治疗项目，分别确定是否需要对各个牙齿进行该治疗项目的治疗，生成牙科治疗计划。

其中，上述牙科治疗计划中包含每一牙齿需要进行的治疗项目。

本发明的一个实施例中，可以将各个治疗项目的检查结果特征输入训练后的治疗计划确定模型中，分别确定是否需要对各个牙齿进行各个治疗项目的治疗，生成牙科治疗计划。

其中，牙科治疗计划中记录有每一牙齿需要进行的治疗项目。

需要说明的是，本发明实施例提供的方案仅输出牙科治疗计划以供医生进行参考，并非直接对患者的牙齿进行治疗。

对治疗计划确定模型的描述可以参见下文步骤E，在此暂不详述。

由以上可见，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

本发明的一个实施例中，上述步骤S103可以通过以下步骤C实现。

步骤C：将各个治疗项目对应的检查结果张量数据分别输入该治疗项目对应的训练后的卷积神经网络模型中，得到检查结果特征。

具体的，每一卷积神经网络模型中包括注意力模块与选择性内核(SelectiveKernel Module)模块。

其中，注意力模块中包含具有跳跃连接的基本块(basic block)的ResNet(Residual Network，残差神经网络)模块，基本块在每层采用1×1大小的卷积核。

另外，注意力模块中结合了通道注意力机制(Channel Attention)与空间注意力机制(Spatial Attention)，分别生成关于每个通道的通道注意力权重和每个牙齿对应的空间注意权重。

选择性内核模块用于自适应的调整卷积操作的感受野，通过控制感受野的尺寸可以控制在为一颗牙齿指定治疗计划时考虑的牙齿数量。选择性内核模块由Split(分裂)、Fuse(融合)和Select(选择)三部分组成，其中，Split部分可以采用三种不同尺寸的卷积核，分别为1×1、3×1与3×3，Split部分采用不同的卷积核和对输入的数据进行处理得到三个不同的特征图，Fuse部分用于将三个特征图相加，并采用池化操作来整合各分支的信息。Select部分用于对Fuse部分的特征图相加结果生成三个分支的注意力系数，并基于注意力参数在三个特征图上加权得到训练后的卷积神经网络模型的输出结果。

参见表1，为本发明实施例提供的一种卷积神经网络的结构表。

表1

其中，表1的每一列记录有一个卷积神经网络模型的块注意力模块与选择性内核模块的结构。

参见图3，为本发明实施例提供的一种卷积神经网络模型的数据处理流程示意图，包括以下步骤S301-步骤S305。

S301：基于通道注意力机制与空间注意力机制对接收到的检查结果张量进行处理，得到注意力特征图。

具体的，上述步骤S301可以通过第一数据处理流程或第二数据处理流程实现。

上述第一数据处理流程包括以下步骤D1-步骤D5。

步骤D1：基于第一预设尺寸的卷积核对接收到的检查结果张量进行卷积处理，得到第二卷积结果。

具体的，上述第一预设尺寸的卷积核为前述ResNet模块中的卷积核，上述第一预设尺寸可以为1×1、3×3或其他尺寸等，用户可以根据实际需求进行设置。

步骤D2：基于通道注意力机制对上述第二卷积结果进行处理，得到各个通道的通道注意力值。

具体的，可以分别对上述第二卷积结果进行最大池化处理与平均池化处理，得到最大池化结果与平均池化结果，之后通过全连接层对最大池化结果与平均池化结果进行全连接处理，得到通道注意力值。

参见图4，为本发明实施例提供的一种通道注意力值计算过程示意图。

由图可见，对第二卷积结果分别进行最大池化处理与平均池化处理，之后对最大池化结果与平均池化结果进行共享全连接处理，得到通道注意力值。

步骤D3：基于通道注意力值对上述第二卷积结果进行加权计算，得到第一加权结果。

步骤D4：基于空间注意力机制对上述第一加权结果进行处理，得到各个牙齿的空间注意力值。

具体的，可以对上述第一加权结果依次进行最大池化处理与平均池化处理之后，进行卷积处理，得到空间注意力值。

上述步骤D1-步骤D5表示的第一数据处理流程即为表1所示的第三列与第四列所示的块注意力模块的数据处理过程。

参见图5，为本发明实施例提供的一种空间注意力值计算过程示意图。

由图可见，对第一加权结果进行最大池化处理与平均池化处理，之后进行卷积处理后，得到空间注意力值。

步骤D5：基于上述空间注意力值对上述第一加权结果进行加权处理，得到注意力特征图。

具体的，可以使用通道注意力值与空间注意力值对第一加权结果中的每一元素进行逐元素乘法计算得到注意力特征图。

上述第一数据处理流程包括以下步骤D6-步骤D10。

步骤D6：基于通道注意力机制对接收到的检查结果张量进行处理，得到各个通道的通道注意力值。

步骤D7：基于通道注意力值对所述检查结果张量进行加权计算，得到第二加权结果。

步骤D8：基于第二预设尺寸的卷积核对第二加权结果进行卷积处理，得到第三卷积结果。

步骤D9：基于空间注意力机制对上述第三卷积结果进行处理，得到各个牙齿的空间注意力值。

步骤D10：基于上述空间注意力值对上述第三卷积结果进行加权计算，得到注意力特征图。

具体的，上述步骤D6-步骤D10表示的第二数据处理流程即为表1所示的第一列、第二列与第五列所示的块注意力模块的数据处理过程。上述步骤D6-步骤D10与前述步骤D1-步骤D5相似，区别仅为数据处理顺序不同，在此对步骤D6-步骤D10不再赘述。

其中，上述步骤D1-步骤D5以及步骤D6-步骤D10即为块注意力模块执行的步骤。

S302：通过不同大小的卷积核分别对上述注意力特征图进行卷积处理，得到各个第一卷积结果。

如前文所示，上述不同大小的卷积核可以分别为1×1卷积核、3×1卷积核与3×3卷积核，每一第二卷积结果为一个特征图，得到的各个第二卷积结果可以被分别称为U

S303：将各个第一卷积结果融合为总卷积结果。

具体的，可以将各个第一卷积结果相加得到总卷积结果。可以通过以下公式计算得到总卷积结果：

U＝U

之后可以采用池化操作整合各个分支的信息。

S304：基于上述总卷积结果生成各个第一卷积结果对应的注意力参数。

具体的，上述注意力系数可以分别表示为a

5305：基于上述注意力参数对各个第一卷积结果进行融合，得到检查结果特征。

具体的，对于每一第一卷积结果，可以将该第一卷积结果与所对应的注意力参数相乘，并将乘积相加得到检查结果特征。基于以下公式计算得到检查结果特征：

V＝a

另外，在卷积神经网络模型中可以采用Sigmoid函数或其他函数充当激活函数。

具体的，上述步骤C5-步骤C8即为选择性内核模块执行的步骤。

参见图6，为本发明实施例提供的一种选择性内核模块的数据处理过程示意图。

由图可见，×表示注意力特征图，采用1×1卷积核、3×1卷积核与3×3卷积核分别对注意力特征图进行卷积处理，分别得到各个第二卷积结果U

上述步骤S104可以通过以下步骤E实现。

步骤E：将各个治疗项目的检查结果特征输入训练后的治疗计划确定模型，针对每一治疗项目，获得表示各个牙齿是否需要进行该治疗项目的治疗的输出结果，生成牙科治疗计划。

具体的，在将检查结果特征输入训练后的治疗计划确定模型中之前，可以将检查结果特征进行重构，将检查结果特征的两个维度合并为一个维度。例如，在上述检查结果张量数据的维度为2×16×N的情况下，每个卷积神经网络输出的检查结果特征V

本发明的一个实施例中，上述训练后的治疗计划确定模型包括：循环神经网络以及与分别与各个治疗项目相对应的全连接层，可以通过以下步骤E1-步骤E2生成牙科治疗计划。

步骤E1：将各个检查结果特征输入循环神经网络，获得上述循环神经网络模型处理后分别针对各个治疗项目的输出结果。

步骤E2：分别将每一治疗项目的输出结果输入该治疗项目对应的全连接层中，获得表示各个牙齿是否需要进行该治疗项目的治疗的输出结果，生成牙科治疗计划。

上述治疗计划确定模型可以由循环神经网络(RNN，Recurrent Neural Network)与全连接层组成，循环神经网络可以被视为一种时序结构，上述循环神经网络中可以包含五个时序节点，每一时序节点对应一个治疗计划，各个时序节点组成Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)。

可以将每一治疗项目对应的训练后的卷积神经网络输出的检查结果特征输入该治疗项目对应的时序节点中，由时序节点对检查结果特征进行处理，并将处理结果输入该治疗项目对应的全连接层中，全连接层可以针对每一牙齿输出是否需要进行该治疗项目的二分类结果。

具体的，全连接层可以针对每一牙齿对是否需要进行该治疗项目的概率进行计算，若计算得到的概率大于预设概率，则认为需要进行该治疗项目的治疗，输出表示需要进行该治疗项目的输出结果，否则认为不需要进行该治疗项目的治疗，输出表示不需要进行该治疗项目的输出结果。

参见图7，为本发明实施例提供的一种治疗计划确定模型数据处理过程示意图。

由图可见，经过CNN得到的张量即为各个卷积神经网络模型输出的检查结果特征，循环神经网络中的各个长方体为各个时序节点，多标签模块中的FC1-FC5分别为各个全连接层。由图可见，分别将各个卷积神经网络模型输出的检查结果特征输入循环神经网络中的各个时序节点中，各个时序节点组成Bi-LSTM，各个时序节点的输出结果输入各个全连接层中，分别得到是否需要进行牙周治疗、是否需要拆除旧修复体、是否需要进行拔除、是否需要进行牙体牙髓治疗、是否需要进行修复科复诊的输出结果。

参见图8，为本发明实施例提供的第二种牙科治疗计划确定方法的流程示意图，与前述图1所示的实施例相比，上述方法还包括以下步骤S105。

S105，基于各个牙齿的空间注意力值生成表示各个牙齿对牙科治疗计划确定结果的影响程度的空间注意力图。

具体的，牙齿的空间注意力值越大表示该牙齿在牙科治疗计划确定过程中对结果的影响程度越大，上述空间注意力图中针对每一治疗项目，均可以生成表示在各个牙齿在该治疗项目确定过程中对确定结果的影响程度的空间注意力子图，空间注意力子图中的每一个矩形对应一颗牙齿。上述空间注意力图可以以热力图的形式表示，矩形的着色越浅表示该矩形对应的牙齿对确定结果的影响程度越强。

参见图9，为本发明实施例提供的一种空间注意力图，图中的PT对应进行牙周治疗，ROFR对应拆除旧修复体，Extraction对应拔除牙齿，DE对应把持牙齿，PF对应进行牙体治疗。图中示出了基于牙科病历文本(a)与牙科病历文本(b)得到的两种空间注意力图。

由图可见，在同一治疗项目的判断过程中，不同位置的牙齿对确定结果的影响程度不同，在不同治疗项目的判断过程中，同一位置的牙齿对确定结果的影响程度不同，不同患者同一位置的牙齿在同一治疗项目的判断过程中对确定结果的影响程度也不同。

由以上可见，本发明实施例提供了一种模型解释方式能够对各个牙齿在各个治疗项目的判断过程中对确定结果的影响程度进行解释，提高了模型的可解释性。

参见图10，为本发明实施例提供的第三种牙科治疗计划确定方法的流程示意图，与前述图1所示的实施例相比，上述方法中还包括以下步骤S106。

S106，通过梯度回转，计算上述治疗计划确定模型的输出结果中各个牙齿关于上述检查结果张量数据中各个牙齿的梯度值，并生成表示各个牙齿影响程度的显着图。

其中，每一牙齿的梯度值表示该牙齿对牙科治疗计划的影响程度。

具体的，首先计算输出结果

其中

之后，计算输出结果

其中，T

参见图11，为本发明实施例提供的一种显着图，图中左侧的各个图分别为基于五个不同的牙科病历文本生成的针对同一颗牙齿(第14号牙齿)的五个对应于拆除旧修复体阶段的显着图，右侧的各个图分别为基于五个不同的牙科病历文本生成的针对同一颗牙齿五个对应于拔除牙齿阶段的显着图，同一行的显着图来自同一牙科病历文本。

由图可见，同一患者口腔中不同位置的牙齿对一颗牙齿同一治疗过程的判断结果的影响程度不同，同一患者口腔中同一位置的牙齿对一颗牙齿不同治疗项目的判断结果的影响程度不同，不同患者口腔中同一位置的牙齿对一颗牙齿同一治疗项目的判断结果的影响程度也不同。

由以上可见，本发明实施例提供了又一种模型解释方式能够对各个牙齿在各个治疗项目的判断结果的影响程度进行解释，提高了模型的可解释性。

参见图12，为本发明实施例提供的第一种模型训练方法的流程示意图，上述方法包括以下步骤S1201-步骤S1206。

S1201：获取样本牙科病历文本，并从样本牙科病历文本中提取样本检查结果信息与样本治疗计划信息。

具体的，上述样本牙科病历文本为记录有样本检查结果信息与样本治疗计划信息，其中样本治疗计划信息记录有针对该样本牙科病历文本的患者进行的牙科治疗涉及的牙齿与对各个牙齿进行的治疗项目。

另外，针对每一治疗项目，上述样本牙科病历文本中存在需要进行该治疗项目的正样本以及不需要进行该治疗项目的负样本。

上述步骤S1201与前述步骤S101相似，在此不再赘述。

S1202，将上述样本检查结果信息转换各个治疗项目对应的样本结果张量数据。

其中，上述治疗项目包括：进行牙周治疗、拆除旧修复体、拔除牙齿、进行牙体牙髓治疗、进行修复科复诊。

上述步骤S1202与前述步骤S102相似，在此不再赘述。

S1203，分别将各个治疗项目对应的样本结果张量数据分别输入该治疗项目对应的初始卷积神经网络模型，得到样本结果特征。

具体的，上述初始卷积神经网络模型的结构与前述卷积神经网络模型的结构相同，在此不再赘述。

另外，初始卷积神经网络模型中的选择性内核模块中使用三种不同尺寸的卷积核进行分组卷积可以加快模型训练速度。

S1204，将各个治疗项目的样本结果特征输入初始治疗计划确定模型，针对每一治疗项目，获得表示各个牙齿是否需要进行该治疗项目的治疗的样本输出结果。

具体的，上述初始治疗计划确定模型的结构与前述治疗计划确定模型的结构相同，在此不再赘述。

S1205，基于上述样本输出结果与样本治疗计划信息，计算上述初始卷积神经网络与上述初始治疗计划确定模型的损失值。

本发明的一个实施例中，可以通过以下步骤F计算上述损失值。

步骤F：基于不确定性加权方式，计算在上述样本牙科病历文本中存在记录的有效牙齿的样本治疗计划信息与有效牙齿的样本输出结果之间的加权二元交叉熵损失，作为上述初始卷积神经网络与上述初始治疗计划确定模型的损失值。

具体的，可以通过以下公式计算上述加权二元交叉熵损失：

其中，L(θ，σ

由于在实际进行模型训练的过程中，能够收集到的不同治疗项目的样本的数量往往不均衡，导致训练得到的模型对不同治疗项目的判断结果的准确度不同，因此本发明实施例采用不确定性加权方式可以弥补样本数量不均衡导致的对不同治疗项目的判断结果准确度不同的问题。

当然，也可以采用其他现有技术中的损失计算方式计算上述损失值，本实施例对此不进行限定。

S1206，基于上述损失值对上述初始卷积神经网络模型与初始治疗计划确定模型的模型参数进行调整。

若未达到预设的训练结束条件，则返回执行上述步骤S1203，若达到预设的训练结束条件，则将模型参数调整后的初始卷积神经网络模型确定为训练后的卷积神经网络模型，将模型参数调整后的初始治疗计划确定模型确定为训练后的治疗计划确定模型。

具体的，上述训练结束条件可以是损失值低于预设值，或者训练次数达到预设次数，或所有样本牙科病历文本使用完毕等。

另外，可以使用Adam优化器训练上述模型，基于预设学习率对初始卷积神经网络模型和初始治疗计划确定模型的模型参数进行调整，例如，初始卷积神经网络模型的预设学习率可以为0.000006，初始治疗计划确定模型的预设学习率可以为0.0006。另外，权重衰减系数可以设置为0.0001，mini-batch大小设置为64；在训练集上可以采用交叉验证来搜索单个模型的最佳超参数。

由以上可见，本发明实施例提供了一种模型训练方法能够基于样本牙科病历文本对初始卷积神经网络模型和初始治疗计划确定模型进行训练，使用大量的样本牙科病历文本训练后的卷积神经网络模型和治疗计划确定模型能够准确地生成牙科治疗计划。

除此之外，在训练得到上述训练后的卷积神经网络模型与训练后的治疗计划确定模型之后，可以采用测试牙科病历文本中包含的测试检查结果信息与测试治疗计划信息对训练后的卷积神经网络与训练后的治疗计划确定模型的准确度进行验证。

参见图13，为本发明实施例提供的第二种模型训练方法的流程示意图，与前述图12所示的方法相比，上述方法还包括以下步骤S1207-步骤S1208。

S1207，针对上述样本检查结果信息中的每一项样本特征，分别对该样本特征进行增量调整与减量调整，分别得到调整后的增量样本信息与减量样本信息。

具体的，针对每一项样本特征，可以对样本检查结果信息中的该样本特征进行预设比例的增量调整与减量调整，例如，上述预设比例可以为10％、15％、20％等，除该项样本特征之外其他样本特征的取值不变。

S1208，针对每一项样本特征，分别获得采用训练后的卷积神经网络模型与训练后的治疗计划确定模型对该样本特征对应的增量样本信息进行处理得到的增量输出结果，以及对减量样本信息进行处理得到的减量输出结果；基于各个样本特征对应的增量输出结果与减量输出结果，计算表示各项样本特征对输出结果的影响程度的影响值。

具体的，针对每一项样本特征，可以采用训练后的卷积神经网络模型与训练后的治疗计划确定模型对该样本特征对应的增量样本信息与减量样本信息分别进行处理，得到增量输出结果与减量输出结果，由于该样本特征对应的增量样本信息与减量样本信息是对样本检查结果数据中包含的该项样本特征的取值进行调整后得到的，其他样本特征的取值未发生变化，因此若增量输出结果或减量输出结果跟未调整前的输出结果差别较大，则证明该项样本特征的取值变化对输出结果的影响程度较大，该项样本特征对应的影响值较大。

参见图14，为本发明实施例提供的一种影响值统计结果示意图。

图中示出了对于PT、ROFR、Extraction、DE四个治疗项目影响最大的十种样本特征的影响值，横坐标分别为不同的样本特征(Features)，纵坐标为影响值的大小。具体的，在比较影响值的大小时以影响值的绝对值为比较基准。

由以上可见，本发明实施例提供的方案又提供了一种模型解释方式，可以确定各项样本特征对模型输出结果的影响程度，提高了模型的可解释性。

本发明实施例还提供了一种电子设备，如图15所示，包括处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信，

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的程序时，实现上述牙科治疗计划确定方法。

应用本发明实施例提供的电子设备进行牙科治疗计划确定时，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一牙科治疗计划确定方法的步骤。

应用本发明实施例提供的计算机可读存储介质中存储的计算机程序进行牙科治疗计划确定时，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一牙科治疗计划确定方法。

应用本发明实施例提供的计算机程序产品进行牙科治疗计划确定时，本发明实施例可以从记录有患者牙齿和口腔状态的牙科病历文本中提取检查结果信息，并基于检查结果信息进行后续处理。针对每一治疗项目分别确定是否需要对各个牙齿进行该治疗项目的治疗进行判断，从而生成牙科治疗计划。而当前牙科治疗计划需要医生人工确定，不存在自动化生成牙科治疗计划的方案，因此采用本发明实施例可以不依赖于医生，便捷地确定牙科治疗计划。并且通过本发明实施例提供的方案可以对每颗牙齿是否需要进行上述多种治疗项目进行直接判断，也就是能够生成包含多种治疗项目的有序治疗计划，而不仅仅对是否需要进行单一的治疗项目进行判断。因此通过本发明实施例提供的方案能够生成包含多个治疗项目的相对完整的牙科治疗计划，使得所生成的牙科治疗计划更为丰富、可用性更强，便于供医生参考。并且本发明实施例提供的方案仅使用牙科病历文本便可以生成牙科治疗计划，不需要对较为复杂、数据量较大的牙科CT图像等图像数据进行处理，使得本发明实施例提供的方案的数据处理过程较为简单便捷。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。