基于深度学习的染色体整倍性预测系统、方法、终端、介质

技术领域

本发明属于生物医学技术领域，尤其涉及一种基于深度学习的染色体整倍性预测系统、方法、终端、介质。

背景技术

目前，染色体整倍性与胎儿健康有着密切关系，当前，对于染色体整倍性判别的主要技术手段是利用第三代试管婴儿技术(PGT)，该技术需要配备专业的仪器，对胚胎中的微量细胞进行诊断，所需要的成本较高。在诊断过程中，判别周期较长，会影响胚胎的发育，同时，在此过程中，人工误差也会大大增加。借助于人工智能技术，结合胚胎自身发育过程中的胚胎图像形态学特征、动力学特征以及患者的基本临床信息，构建深度学习模型，智能预测染色体整倍性，可以很好地解决第三代试管婴儿技术存在的问题，为医生和患者节省大量的人力和物力。然而，目前染色体整倍性与非整倍性的预测在技术上仍存在以下几个突出问题：

据调查研究表明，目前未有学者从视频图像的角度研究染色体整倍性预测问题，如何构建有效的人工智能预测模型用于解决染色体整倍性预测；如何设计一个新的预测网络结构，可以很好地对胚胎形态学特征、动力学特征与患者临床数据进行有效地特征融合。

通过上述分析，现有技术存在的问题及缺陷为：现有的染色体整倍性判别方法判别周期长、成本高和普及率较低，同时现有技术没有利用人工智能预测模型进行染色体整倍性预测的方案。

解决以上问题及缺陷的难度为：

如何在胚胎完整过程中挑选部分胚胎图像完成模型的训练，同时保障染色体整倍性预测的准确率和时效性；如何搭建深度学习网络模型，根据胚胎视频图像发育的时序性提取胚胎在发育过程中的形态学与动力学特征以及如何有效地将胚胎视频图像的形态学特征和动力学特征与患者的临床信息相融合，进而预测染色体整倍性。

解决以上问题及缺陷的意义为：利用胚胎发育过程中关键胚胎参数指导对完整视频序列进行有效采样，降低数据量具有很大的意义；根据染色体整倍性预测模型对胚胎发育视频图像以及患者临床数据的处理，可以预测胚胎染色体的整倍性，辅助胚胎学家选择更加优质的胚胎，提高患者的妊娠率。

发明内容

针对现有技术存在的问题，本发明提供了一种基于深度学习的染色体整倍性预测系统、方法、终端、介质。

本发明是这样实现的，一种基于深度学习的染色体整倍性预测系统，应用于信息数据处理终端，所述基于深度学习的染色体整倍性预测系统包括：

图像数据标记模块，用于收集的胚胎序列信息，按照胚胎发育的时序性依次标记相应图像数据；

胚胎发育视频仿真模块，用于挑选胚胎不同评分时期的图像，构建胚胎发育视频；

数据库构建及划分模块，用于收集的胚胎基本临床数据与胚胎发育视频数据进行整合，建立具有染色体整倍性诊断结果的数据库，并进行数据划分；

初始化模型参数获取模块，用于构建视频序列特征网络模型，利用自然视频图像数据集对构建的视频序列特征网络模型进行初始化训练，获取初始化模型及所述初始化模型的参数；

形态学特征与动力学特征的网络模型获取模块，用于利用训练集的胚胎视频图像对初始化的网络模型进行进一步训练，提取胚胎形态学特征与动力学特征的网络模型；

分类网络模型获取模块，用于将胚胎的形态学特征和动力学特征与用户的临床信息进行融合，利用融合后胚胎的形态学特征与动力学特征以及用户的临床数据特征，训练多源信息融合网络模型，得到分类网络模型；

染色体整倍性预测模块，用于利用组合视频序列特征网络模型与多源信息融合网络模型，得到染色体整倍性预测模型；利用得到的染色体整倍性预测模型进行染色体整倍性的预测。

本发明另一目的在于提供一种基于深度学习的染色体整倍性预测方法，应用于信息数据处理终端，所述基于深度学习的染色体整倍性预测方法包括：

在胚胎发育的全过程中挑选部分胚胎图像，按时序性组合为视频作为训练数据集，搭建视频序列特征网络模型，对胚胎视频进行训练，提取胚胎发育过程中的形态学特征和动力学特征；融合胚胎视频特征以及用户的临床数据特征，并根据融合特征训练网络，得到预测结果。

进一步，所述基于深度学习的染色体整倍性预测方法包括以下步骤：

步骤一，收集具有第三代试管婴儿诊断结果的胚胎序列，按照胚胎发育的时序性依次标记相应图像数据；

步骤二，挑选胚胎在原核期、卵裂期、囊胚期及其他不同评分时期的胚胎图像，构建胚胎发育视频；

步骤三，收集胚胎所属用户的基本临床数据，并与胚胎视频数据进行整合，建立具有染色体整倍性诊断结果的数据库，并进行数据划分；

步骤四，构建视频序列特征网络模型，采用3d-resnet-50结构，包括49层三维卷积层，三维批标准化层，激活函数层，以及两层池化层，利用UCF-101自然视频图像数据集对构建的视频序列特征网络模型进行初始化训练，获取初始化网络模型及其参数；

步骤五，利用训练集的胚胎视频图像对初始化的网络模型进行进一步训练，得到提取胚胎形态学特征与动力学特征的网络模型；

步骤六，将胚胎的形态学特征和动力学特征与用户的临床信息进行融合，利用融合后胚胎的形态学特征与动力学特征以及用户的临床数据特征，训练包含两层全连接网络的多源信息融合网络模型；

步骤七，将视频序列特征网络模型的输出作为多源信息融合网络的输入，进而得到染色体整倍性预测模型；利用得到的染色体整倍性预测模型进行染色体整倍性的预测。

进一步，步骤三中，所述进行数据划分包括：将数据库中的数据按照8:1:1的比例划分训练集、验证集和测试集。

进一步，所述视频序列特征网络采用3d-resnet-50结构，包括49层3维卷积层。

进一步，步骤五中，所述将胚胎的形态学特征和动力学特征与用户的临床信息进行融合之前还需进行：根据训练集中对数据的统计分析结果，依次为每个记录数据进行Z-score归一化处理。

进一步，所述归一化处理公式如下：

其中，

进一步，步骤六中，所述将胚胎的形态学特征和动力学特征与用户的临床信息进行融合，利用融合后胚胎的形态学特征与动力学特征以及用户的临床数据特征包括：

将胚胎视频图像按照时序性依次排列，计算提取视频图像的特征，通过多次逐层特征的融合，提取胚胎发育过程中的特征信息。

进一步，所述视频图像的特征计算公式如下：

conv(i,j,k)＝X*W＝∑

其中，X表示输入的视频图像，W表示卷积核，m表示卷积核的深度，n表示卷积核的宽度，l表示卷积核的高度，i,j,k分别表示计算后得到特征值的深度值，宽度值和高度值。

进一步，所述基于深度学习的染色体整倍性预测方法还包括：

利用测试集中的数据对染色体整倍性预测模型进行测试，统计测试结果，计算预测模型的准确性。

本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于深度学习的染色体整倍性预测方法。

本发明另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于深度学习的染色体整倍性预测方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明创新性地使用视频序列特征网络框架，很好地获取了胚胎发育过程中的时空特性，有效地完成了对胚胎细胞动力学特征和形态学特征的提取；本发明创新性提出了多源信息融合网络模型，巧妙地完成了胚胎形态学特征、动力学特征与患者临床数据的融合，很好地完成了染色体整倍性预测任务；本发明所提出的染色体整倍性预测的AI模型为端到端模型，可以自动地完成对染色体整倍性的预测，预测过程中无人工干预。

本发明在胚胎发育的全过程中结合胚胎学家观察胚胎的时间段挑选胚胎图像，按时序性组合为视频作为训练数据集，保障了模型的训练与测试；本发明搭建视频序列特征网络模型，完成对胚胎视频的训练，提取胚胎发育过程中的形态学特征和动力学特征；本发明有效地融合胚胎视频特征以及患者的临床数据特征，并根据融合特征训练网络，得到预测结果。

本发明通过对胚胎发育过程中的胚胎视频患者的临床数据建立深度学习网络模型可以实现预测染色体整倍性。在使用过程中，将数据按照要求进行清理后输入到网络模型中，本模型在5s内可以输出预测结果。通过结合胚胎的发育与患者的临床数据预测染色体的整倍性是一项开创性的研究与探索，这将辅助胚胎学家更快地选择更优质的胚胎。

本发明首次从图像分析角度探索胚胎发育过程中其图像时空维度的特征变化与染色体整倍性的关系，提出了一种新的端到端的深度学习模型，通过临床数据验证，该模型取得了较好的预测性能；

目前染色体整倍性检测主要采用第三代试管婴儿技术，需要配置专门的仪器设备，耗时长、成本高，通过我们所提出的技术可以很好地解决这一显著问题。

附图说明

图1是本发明实施例提供的基于深度学习的染色体整倍性预测方法原理图。

图2是本发明实施例提供的基于深度学习的染色体整倍性预测方法流程图。

图3是本发明实施例提供的基于深度学习的染色体整倍性预测系统示意图。

图中：1、图像数据标记模块；2、胚胎发育视频仿真模块；3、数据库构建及划分模块；4、初始化模型参数获取模块；5、形态学特征和动力学特征的网络模型获取模块；6、分类网络模型获取模块；7、染色体整倍性预测模块。

图4是本发明实施例提供的3维卷积网络块结构示意图。

图5是本发明实施例提供的染色体整倍性预测结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于深度学习的染色体整倍性预测系统、方法、终端、介质，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于深度学习的染色体整倍性预测方法包括：

在胚胎发育的全过程中挑选部分胚胎图像，按时序性组合为视频作为训练数据集，搭建视频序列特征网络模型，对胚胎视频进行训练，提取胚胎发育过程中的形态学特征和动力学特征；融合胚胎视频特征以及用户的临床数据特征，并根据融合特征训练网络，得到预测结果。

如图2所示，本发明实施例提供的基于深度学习的染色体整倍性预测方法包括以下步骤：

S101，收集具有第三代试管婴儿诊断结果的胚胎序列，按照胚胎发育的时序性依次标记相应图像数据；

S102，结合国内外专家共识以及胚胎学家观察胚胎的时间节点，挑选胚胎在原核期、卵裂期、囊胚期及其他不同评分时期的胚胎图像，构建胚胎发育视频；

S103，收集胚胎所属患者的基本临床数据，并与胚胎视频数据进行整合，建立具有染色体整倍性诊断结果的数据库，并进行数据划分；

S104，构建视频序列特征网络模型，利用UCF-101自然视频图像数据集对构建的视频序列特征网络模型进行初始化训练，获取初始化模型及其参数；

S105，利用训练集的胚胎视频图像对初始化的网络模型进行进一步训练，得到提取胚胎形态学特征与动力学特征的网络模型；

S106，将胚胎的形态学特征和动力学特征与患者的临床信息进行融合，并利用融合后的数据特征，训练多源信息融合网络模型，得到分类网络模型；

S107，组合视频序列特征网络模型与多源信息融合网络模型，得到染色体整倍性预测模型；利用得到的染色体整倍性预测模型进行染色体整倍性的预测。

步骤S103中，本发明实施例提供的进行数据划分包括：将数据库中的数据按照8:1:1的比例划分训练集、验证集和测试集。

本发明实施例提供的视频序列特征网络采用3d-resnet-50结构，包括49层三维卷积层，三维批标准化层，激活函数层，以及两层三维池化层。其中，第一次三维卷积后紧接着三维批标准化层，激活函数层与之后，网络模型以3，4，6,3按照图4的结构块继续对特征图进行卷积计算，对最后一层输出网络使用与特征图同等大小的卷积核进行池化操作，得到视频图像的2048维特征向量。

本发明实施例提供的将胚胎的形态学特征和动力学特征与用户的临床信息进行融合之前还需进行：根据训练集中对数据的统计分析结果，依次为每个记录数据进行Z-score归一化处理。

本发明实施例提供的归一化处理公式如下：

其中，

本发明实施例提供的多源信息融合网络包含两层全连接层，第一层用于将视频提取的2048维特征向量与69维归一化后的患者临床特征向量进行融合，第二层全连接层用于对2117维特征进行分类。

本发明实施例提供的将胚胎的形态学特征和动力学特征与用户的临床信息进行融合，利用融合后胚胎的形态学特征与动力学特征以及用户的临床数据特征包括：

将胚胎视频图像按照时序性依次排列，计算提取视频图像的特征，通过多次逐层特征的融合，提取胚胎发育过程中的特征信息。

本发明实施例提供的视频图像的特征计算公式如下：

conv(i,j,k)＝X*W＝∑

其中，X表示输入的视频图像，W表示卷积核，m表示卷积核的深度，n表示卷积核的宽度，l表示卷积核的高度，i,j,k分别表示计算后得到特征值的深度值，宽度值和高度值。

本发明实施例提供的基于深度学习的染色体整倍性预测方法还包括：

利用测试集中的数据对染色体整倍性预测模型进行测试，统计测试结果，计算预测模型的准确性。

如图3所示，本发明实施例提供的一种基于深度学习的染色体整倍性预测系统，应用于信息数据处理终端，所述基于深度学习的染色体整倍性预测系统包括：

图像数据标记模块1，用于收集的胚胎序列信息，按照胚胎发育的时序性依次标记相应图像数据；

胚胎发育视频仿真模块2，用于挑选胚胎不同评分时期的图像，构建胚胎发育视频；

数据库构建及划分模块3，用于将收集的胚胎基本临床数据与胚胎发育视频数据进行整合，建立具有染色体整倍性诊断结果的数据库，并进行数据划分；

初始化模型参数获取模块4，用于构建视频序列特征网络模型，利用自然视频图像数据集对构建的视频序列特征网络模型进行初始化训练，获取初始化模型及所述初始化模型的参数；

形态学特征和动力学特征的网络模型获取模块5，用于利用训练集的胚胎视频图像对初始化的网络模型进行进一步训练，提取胚胎形态学特征以及动力学特征的网络模型；

分类网络模型获取模块6，用于将胚胎的形态学特征和动力学特征与用户的临床信息进行融合，利用融合后胚胎的形态学特征与动力学特征以及用户的临床数据特征，训练多源信息融合网络模型，得到分类网络模型；

染色体整倍性预测模块7，用于利用组合视频序列特征网络模型与多源信息融合网络模型，得到染色体整倍性预测模型；利用得到的染色体整倍性预测模型进行染色体整倍性的预测。

下面结合具体实施对本发明的技术方案作进一步说明。

实施例1：

收集具有第三代试管婴儿诊断结果的胚胎序列，按照胚胎发育的时序性依次标记图像文件。结合国内外胚胎学家共识以及胚胎学家的观察经验，挑选胚胎在原核期、卵裂期、囊胚期等不同评分时期的胚胎图像，组合形成具有代表性的胚胎发育视频，以此替代完整的胚胎发育过程。

收集胚胎所属患者的基本临床数据，并与胚胎视频数据进行整合，建立具有染色体整倍性诊断结果的数据库。将数据库中的数据按照8:1:1的比例划分训练集、验证集和测试集；

搭建视频序列特征网络模型，利用UCF-101自然视频图像数据集对本发明的网络模型进行初始化训练，获取初始化模型及其参数；

使用训练集的胚胎视频图像对初始化的网络模型进行进一步训练，得到提取胚胎形态学特征与动力学特征的网络模型；

将胚胎的形态学特征和动力学特征与患者临床信息进行融合，在融合之前，为了消除不同数据对预测结果的影响，根据训练集中对数据的统计分析结果，依次为每个记录数据进行Z-score归一化操作。

使用融合后胚胎的形态学特征与动力学特征以及患者的临床数据特征，训练多源信息融合网络模型，进而得到分类网络模型；

组合视频序列特征网络模型与多源信息融合网络模型，得到本发明完整的网络模型，并使用测试集中的数据对模型进行测试，统计测试结果。

在本发明一实施例中，本发明提供的染色体整倍性预测模型结构：

本发明主要采用3d-resnet-50作为视频序列特征网络提取特征，该网络主要包括49层三维卷积层，三维批标准化层，激活函数层，以及两层池化层。进而，将胚胎形态学特征与动力学特征以及患者临床数据融合，并由多源信息融合网络得到最终的预测结果。

三维卷积层，将胚胎视频图像按照时序性依次排列，以公式(1)的计算方法提取视频图像的特征，通过多次逐层特征的融合，提取胚胎发育过程中的特征信息。

conv(i,j,k)＝X*W＝∑

其中X表示输入的视频图像，W表示卷积核，m表示卷积核的深度，n表示卷积核的宽度，l表示卷积核的高度，i,j,k分别表示计算后得到特征值的深度值，宽度值和高度值。

(2)归一化操作，为了降低患者的临床信息对预测网络的影响，在进行数据融合时，利用公式(2)对记录的数据值进行归一化处理。

其中，

图4是本发明实施例提供的3维卷积网络块结构示意图。

图5是本发明实施例提供的染色体整倍性预测结果示意图。

本发明通过对胚胎发育过程中的胚胎视频患者的临床数据建立深度学习网络模型可以实现预测染色体整倍性。通过结合胚胎的发育与患者的临床数据预测染色体的整倍性是一项开创性的探索，这将辅助胚胎学家更快地选择更优质的胚胎。在使用过程中，将数据按照要求进行清理后输入到网络模型中，本模型在5s内可以输出预测结果。

实施例2：

1.数据收集与预处理阶段

本发明从生殖中心收集了有诊断结果的胚胎共896个，同时，收集了胚胎所对应的胚胎学家记录的数据以及患者的临床数据。根据国内外的专家共识以及胚胎学家观察胚胎的时间点，从完整的胚胎图像中截选原核期、卵裂期、囊胚期等不同发育阶段的胚胎图像组合形成胚胎的发育视频。统计胚胎学家记录的数据以及患者的临床数据，计算其平均值与方差，将数值进行归一化处理，用0填充数据中的缺失项。将胚胎视频与归一化后的数值整合为一条完整的数据，以染色体整倍性的诊断结果为本发明的预测标签，构建数据集，并按照8:1:1的比例将数据划分为训练集、验证集、测试集。

2.模型训练阶段

(1)特征提取

根据训练集中视频的帧数，以跳帧的方式选择64张胚胎图像作为模型的图像输入数据。在图像输入网络前，将每张图像缩放至112×112的大小，通过7×7×7的三维卷积网络后，依次经过3、4、6、3个包含有三个三维卷积的卷积块，再对得到的特征图进行全局平均池化后，得到图像视频的向量化特征；

(2)视频网络模型预训练

使用UCF101公开视频数据集对本发明的视频序列特征网络进行预训练，获取网络的初始化参数。

(3)视频网络模型训练

运用训练集中的数据对初始化模型进行针对性训练，得到提取胚胎形态学特征与(动力学特征的网络模型)。

(4)数据融合以及分类网络训练

将胚胎视频图像网络提取得到的特征信息与数据库中与已归一化的患者临床数据进行融合，将两者的数据拼接为一个特征向量之后，送入多源信息融合网络进行训练，得到分类网络模型。

3.模型预测阶段

将测试集中胚胎视频与患者临床数据作为染色体整倍性预测模型的输入，由视频序列特征网络模型提取胚胎的形态学与动力学特征向量，并与临床数据融合后，由多源信息融合网络预测该条数据的染色体整倍性结果。比较计算结果与数据集中的标签，统计结果，计算染色体整倍性预测模型的预测准确性。

实验数据

根据第三代试管婴儿技术的诊断结果收集了896例胚胎序列与其对应的患者临床数据，其中染色体整倍性的胚胎共357个，染色体非整倍性的胚胎共有539个。按照国内外专家共识以及胚胎学家观察胚胎的时间，本发明从发育全过程的胚胎图像中截选了24h～26h，40h～45h，55h～60h，85h～95h，108h～114h的图像，将图像以发育时间组合形成胚胎发育视频。统计患者的临床数据，并通过归一化的方式将数据进行归一化，结合胚胎视频，以诊断结果为标签构建数据集，并按照8:1:1的比例划分训练集、验证集和测试集。

使用训练集中的数据训练搭建的视频序列特征网络以及多源数据融合网络，组合后得到完整的染色体整倍性预测模型。使用该模型对测试集中90例样本进行计算，得到预测结果，并与数据库中的标签相比较，统计模型的AUC值。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。