基于多模态数据的胚胎评估方法及装置

技术领域

本发明涉及生物信息领域，具体地，本发明涉及基于多模态数据的胚胎评估方法及装置，更具体的，本申请涉及一种训练机器学习模型的方法、训练机器学习模型的装置、评估胚胎质量的系统、计算设备和计算机可读存储介质。

背景技术

体外受精(IVF)是治疗不孕症最常见的方法之一。其治疗过程包括促排卵、取卵、受精、胚胎移植和着床。然而，这一技术目前只能达到大约35％的受孕率。胚胎质量评估在IVF诊疗过程中是关键性的一环。医生基于胚胎的形态选择最具生存力的胚胎植入到母体子宫中。然而，由于医生在评分胚胎时存在主观差异，往往导致胚胎评估结果评测的差异化；并且病人的其他生理信息、治疗方案及相关指标，如激素、卵泡数量形态、子宫内膜厚度也会影响胚胎质量进而影响最终的妊娠结局。

目前，国内外一些公司和学者进行了基于人工智能算法的胚胎质量评估的研究，其方法主要集中在利用计算机视觉技术对胚胎静态图片或时序图像进行特征提取，对胚胎进行分类。胚胎是一个三维组织，其包含多种组成，例如当胚胎生长到第五天形成囊胚，会形成内细胞团、滋养层、透明带等多种结构，不同结构会继续进化为胎儿或胎盘等组织，对最终的妊娠结局有不同的影响。仅利用其图像信息无法细化各组织之间的关系和区别，从而无法正确有效的评估各组织结构的生长情况，无法定量评判最终胚胎质量。由于胚胎的生长不仅仅依赖于体外培养的环节，而且与母体的生理指标，促排前后的卵泡数量质量、年龄、激素水平息息相关。但到目前为止，还未见有通过多模态综合数据对胚胎质量进行评估的机器学习模型。

因此，本领域亟需开发一种基于多模态的数据对胚胎质量进行定量评估的机器学习模型，用以提高胚胎检测的效率和准确率。

发明内容

本申请是发明人基于对以下问题和事实的发现而提出的：

针对现有胚胎质量评估的效率低、准确度差以及主观差异大等问题，发明人通过提取图像和文字信息中的多种超参数进行结合构建多模态评估模型，能够最大化利用图片和文字信息对胚胎质量进行评估。同时，多模态模型采用了不同于传统分类模型的概率计算方式，这一改进使得模型能够更加充分地利用模型中提取的超参数信息，提高检索准确性和效率。

本发明旨在至少在一定程度上解决上述技术问题之一。

为此，在本发明的第一方面，本发明提出了一种训练机器学习模型的方法，所述机器学习模型用于对胚胎质量进行评估。根据本发明的实施例，所述机器学习模型包括图像特征提取器子模型、文本特征提取器子模型和匹配度预测子模型，所述方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；将所述图像信息输入至图像特征提取器子模型，以便获得所述训练胚胎样本的图像特征；和将所述文本信息输入至文本特征提取器子模型，以便获得所述训练胚胎样本的文本特征；将所述图像特征和所述文本特征输入至匹配度预测子模型，所述匹配度预测模型输出所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述图像特征提取器子模型、所述文本特征提取器子模型和所述匹配度预测子模型进行训练，以便获得所述机器学习模型。

通过上述方法训练的用于胚胎质量评估的机器学习模型可以综合利用图像和文本信息，更全面地评估胚胎质量，提高了评估准确度；此外，该机器学习模型的自动化评估方式减少了人工主观性误差，提高了评估效率；由于该机器学习模型基于大量的训练数据进行训练，能够提供高准确度的胚胎质量评估结果。

需要说明的是，在本申请中，所述图像特征提取器子模型选用Swin-Tiny模型作为图像的编码器，通过卷积层、池化层等一系列层次化的操作，将原始图像中的特征提取出来，并将其表示为一系列特征图。这些特征图可以用于进行图像分类、目标检测等任务。

需要说明的是，所述文本特征提取器子模型是指用于从文本数据中提取有用特征的一种机器学习模型。这些模型可以将文本数据转换成数字向量，以便用于各种机器学习任务，如分类、聚类、信息检索等。在本申请中，选取文本Transfomer模型对文本数据集进行训练，用于学习出最有效的特征提取方式。

需要说明的是，所述匹配度预测子模型基于深度学习的方法用于预测所述图像数据集与所述文本数据集之间的相似度。通过采用监督学习方式，通过训练数据集来学习图像集与文本集之间的相似程度，并用于预测新的相似度。

根据本发明的实施例，上述训练机器学习模型的方法还可以包括下列技术特征中的至少之一：

根据本发明的实施例，所述机器学习模型进一步包括胚胎质量评估子模型，所述胚胎质量评估子模型用于生成胚胎质量评估结果。通过计算机视觉技术和人工智能算法自动化地对胚胎的形态、细胞数、细胞对称性等特征进行评估，减轻了人工评估的负担，提高了准确性和可靠性。

根据本发明的实施例，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估中的至少之一。具体而言，所述质量评估结果包括：

1)图文描述：通过文字和图像结合方式来描述胚胎的质量信息，进而简化分析流程。

2)评估级别：通过将胚胎进行一个级别的划分，如优秀、良好、一般等，来评估其质量。

3)评估分数：通过对胚胎的质量进行打分，并进一步规定高于一定阈值分数即为高品质胚胎。

4)分区域评估：通过对胚胎图像的不同位置或不同时期进行评估，进一步确定在某一特定时间点的胚胎质量，有助于帮助医生分析造成胚胎质量优良的原因。

需要说明的是，不同的评估方法可以得出不同的质量评估结果，因此在进行质量评估时需要选择合适的评估方法，并结合具体情况进行分析和判断。

根据本发明的实施例，所述图像信息与文本信息的预训练模型选自CLIP模型。利用CLIP模型可以同时处理文本和图像的优点，本发明实施例选取CLIP模型对胚胎图像以及文本信息进行大规模训练学习，基于CLIP模型的通用性，可以选择性输入不同类型的图像和文本训练学习，用以增强模型的鲁棒性。这样即使在输入特殊图像的情况下，也能够产生准确的结果。

根据本发明的实施例，所述图像特征提取器子模型选自Swin-Tiny模型。发明人选择Swin-Tiny模型是基于模型轻量化、泛化性能强以及训练效率高的优势。

根据本发明的实施例，所述图像特征提取器子模型基于Swin-Tiny模型对图像中基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期信息中的至少之一作为特征参数监督训练获得。根据本发明的实施例，基于Swin-Tiny模型进行开发的图像特征提取器子模型，在输入图像中提取出基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期等信息，并将其作为特征参数进行监督训练，通过学习这些特征参数来识别和分类不同类型的卵泡和子宫内膜，进而帮助医生更好地判断胚胎的质量。

根据本发明的实施例，所述文本特征提取器子模型选自文本Transfomer模型。文本Transformer模型作为深度学习模型的一种，被广泛用于自然语言处理。本发明实施例中选取文本Transformer模型作为处理文本信息的模型是因Transformer采用了多头自注意力机制，能够有效地建模长期依赖性，可以更好地处理长文本。此外，Transformer可以进行完全并行的运算，在训练和推理时都可以更快地处理数据，减少训练时间成本和资源。

根据本发明的实施例，所述文本特征提取器子模型基于文本Transfomer模型对文本中生理信息、激素信息、用药信息、卵泡信息、胚胎发育信息中的至少之一作为特征参数监督训练获得。具体来说，该子模型会利用先前已经标注好的相关文本数据集进行训练，以学习如何提取出与生理、激素、用药、卵泡、胚胎发育等信息相关的有效特征参数，进而在后续的任务中更好地处理和分析文本数据。

根据本发明的实施例，所述机器学习模型文本特征选自患者。

根据本发明的实施例，所述匹配度预测子模型基于图像特征与文本特征之间的相似度进行训练获得。该子模型的训练基于图像特征和文本特征之间的相似度，即通过比较两个特征向量之间的相似程度来确定它们之间的匹配度。通过使用已知的匹配度数据集进行训练，用于预测两个未知图像或文本之间的相似度，从而确定它们之间的匹配度。

根据本发明的实施例，所述匹配度对应于图像特征与文本特征之间的相似度。

示例性的，在本申请已经训练完成的胚胎质量评估模型中输入图像与文本信息，通过分析输入的图像和文本信息来预测胚胎的质量。在输出结果时，用户可以选择输出相似度排序前N(N为正整数，如1、2、3、4、5等)数量的相似图像与对应文本信息。需要说明的是，该模型还可以将输出结果修改为胚胎质量评分、胚胎质量评级或者在输入的连续时间点图像进行胚胎质量评估。这些不同的输出格式提供了更多的选项，适合不同的临床需求。此外，用户也可以选择输出的图像与对应文本信息与胚胎质量评估评分、评级以及连续时间点图像进行组合评估等方式。

根据本发明的实施例，所述图像信息进一步包括超声图像。

需要说明的事，本申请中所述图像信息包括但不限于超声图像。

根据本发明的实施例，所述超声图像包括B超。

根据本发明的实施例，所述机器学习模型图像信息选自显微镜下单一图像或连续图像或图像中的不同区域中的至少之一。根据本发明的实施例，所述机器学习模型图像信息选自显微镜下单一RGB图像、连续RGB图像以及单一RGB图像中的部分区域进行训练，以便于做出更全面、准确的质量评估。通过对胚胎全流程的生长发育状况的分析，生成评估报告具有更高的评级准确率，在实际临床应用中能够辅助生殖医生进行胚胎选择性移植。

在本发明的第二方面，本发明提出了一种训练机器学习模型的装置。根据本发明的实施例，所述装置用于对胚胎质量进行评估，所述装置包括：信息获取模块，所述信息获取模块用于获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；特征获取模块，所述特征获取模块用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；匹配度预测模块，所述匹配度预测模块用于获取所述图像特征和所述文本特征的匹配度；训练模块，所述训练模块基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度对所述机器学习模型进行训练；其中，所述机器学习模型是本发明第一方面所述的方法训练的。

本发明实施例所述装置具有以下优点：

1)提高胚胎质量评估的准确性：前述装置可以同时获取胚胎的图像信息和文本信息，并对其进行特征提取和匹配度预测，基于大规模的训练数据，可以显著增加胚胎质量评估准确性。

2)自动化程度高：前述装置可以自动化地完成胚胎质量评估的过程，节省了人力成本(并避免观察者的主观性误差)和时间成本。

3)支持机器学习模型的训练：前述装置还可以基于所获取的图像特征和文本特征对机器学习模型进行数据集训练，增加模型的鲁棒性。

4)适用范围广：前述装置可以适用于不同类型的胚胎质量评估任务，具有通用性。

根据本发明的实施例，上述训练机器学习模型的装置还可以包括下列技术特征中的至少之一：

根据本发明的实施例，所述图像信息进一步包括超声图像。

根据本发明的实施例，所述超声图像包括B超。

在本发明的第三方面，本发明提出了一种评估胚胎质量的系统。根据本发明实施例，所述系统包括：信息获取单元，用于获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；特征获取单元，用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；匹配度预测单元，用于获取所述图像特征和所述文本特征的匹配度；胚胎评估单元，用于基于机器学习模型进行评估胚胎质量。其中，所述机器学习模型是经过本发明第一方面所述的方法训练获得的。根据本发明的实施例，所述系统的优势在于它可以自动化地评估胚胎质量，减少了人为主观差异因素的影响。此外，所述系统使用机器学习模型进行评估，可以更精确地预测胚胎的发育能力和健康状况，提高了胚胎移植成功率，同时也有助于降低不必要的医疗费用和时间成本。

根据本发明的实施例，上述评估胚胎质量的系统还可以包括下列技术特征中的至少之一：

根据本发明的实施例，所述图像信息进一步包括超声图像。

根据本发明的实施例，所述超声图像包括B超。

根据本发明的实施例，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估匹配度中的至少之一。

在本发明第四方面，本发明提出了一种计算设备。根据本发明的实施例，所述计算设备包括：处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序以实现本发明第一方面所述的方法。根据本发明的实施例，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，用以实现对机器学习模型的训练。所述设备可以快速执行计算机程序，使其更加高效。此外，所述设备可以根据需要存储各种类型的计算机程序，增强了处理计算机程序时提供灵活性。更重要的是，相对于其他高端计算设备，这种计算设备的成本可能要低得多，因为它是由常见的硬件组件和开源软件组合实现。

需要说明的是，本申请所述设备具有可扩展性，例如在实际应用中，如果需要更大的存储空间或更强大的处理能力，可以通过添加额外的存储器或处理器来扩展该计算设备；还可以支持多任务并行处理：进而提高计算效率。

在本发明的第五方面，本发明提出了一种计算机可读存储介质。根据本发明的实施例，所述存储介质包括计算机指令，当所述指令被计算机执行时，使得所述计算机实现本发明第一方面所述的方法。所述计算机可读存储介质中包含的计算机程序可以更准确的处理胚胎图像以及文本信息中所包含的复杂信息，基于前期的大量训练，可以给出一个更为准确的结果。并且，所述计算机可读存储介质可以存储大量数据信息，避免人为错误，保证了数据的准确可靠性。而且，可以随时随地进行访问，以便于调取用户不同时间的检测记录等等。

需要说明的是，在本申请中，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。本发明描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例所述训练机器学习模型装置图；

图2是根据本发明实施例所述评估胚胎质量系统流程图；

图3是根据本发明实施例所述胚胎评估方法流程；

图4是根据本发明实施例所述多模态学习网络模型结构图；

图5是根据本发明实施例1所述分类，图像检索，图像-文本检索结果的混淆矩阵图；

图6是根据本发明实施例1所述每个单词和局部图像之间的相似性结果；其中，颜色越深表示相似性越高。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

定义和说明

为了更容易理解本发明，以下具体定义了某些技术和科学术语。除显而易见在本文件中的它处另有明确定义，否则本文中使用的所有其它技术和科学术语都具有本发明所属领域的一般技术人员通常理解的含义。

在本文中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。进一步地，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本文中，术语“包含”或“包括”为开放式表达，即包括本发明所指明的内容，但并不排除其他方面的内容。

在本文中，术语“任选地”、“任选的”或“任选”通常是指随后所述的事件或状况可以但未必发生，并且该描述包括其中发生该事件或状况的情况，以及其中未发生该事件或状况的情况。

在本申请中，术语“多模态数据”包括由多种信息形态组成的数据，例如图像、文字、声音等不同类型的数据。在本文中，所述多模态胚胎评估模型是基于人工智能算法对前述不同类型的数据(胚胎图像信息、文本信息等)进行分析处理融合后，用以实现对胚胎质量进行更准确、全面评估的一种机器学习模型。

训练机器学习模型的方法

根据本发明的实施例，所述机器学习模型用于胚胎质量评估，所述机器学习模型包括图像特征提取器子模型、文本特征提取器子模型和匹配度预测子模型，所述方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；将所述图像信息输入至图像特征提取器子模型，以便获得所述训练胚胎样本的图像特征；和将所述文本信息输入至文本特征提取器子模型，以便获得所述训练胚胎样本的文本特征；将所述图像特征和所述文本特征输入至匹配度预测子模型，所述匹配度预测模型输出所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述图像特征提取器子模型、所述文本特征提取器子模型和所述匹配度预测子模型进行训练，以便获得所述机器学习模型。

具体的，为了方便理解，下面对本申请的技术方案进行详细解释和说明：

在本申请中，所述机器学习模型训练过程具体包括：

1)图像预处理：将图像进行预处理，目的是增强对比度和消除噪声干扰，以提高图像的质量和准确性。

例如，对于多胚胎培养模式。首先，将原始RGB胚胎图像转换为灰度图像，然后将灰度图像进行二值化操作。利用opencv算法定位囊胚外边界的矩形区域，并从原始RGB囊胚图像中裁剪出矩形区域再根据矩形二值掩模图像裁剪出背景图像。最后，为了在训练网络时加载批量图像，本申请通过填充的方式将超声和胚胎图像的像素尺寸调整为固定像素，从而保持图像的纵横比。

需要说明的是，术语“二值化操作”是数字图像处理中的一项基础预处理技术，其作用是将灰度图像转换为二值图像。在二值图像中，每个像素只有两种可能的取值，通常为0和1，也可以是其他极性。具体而言，通常通过将灰度图像中的像素值与一个阈值进行比较，并将像素值大于该阈值的像素设置为1，像素值小于或等于该阈值的像素设置为0，从而将灰度值分为两类。在二值化图像中，相邻像素值之间存在明显区别，轮廓和特征更加明确，能够更好地进行图像分析和处理。

2)文字范式处理：为了识别图像中的文字，须对文字进行范式处理。

本发明设计了一套针对胚胎任务的文本范式生成。针对于超声和胚胎图像数据，整合病人及相关胚胎信息，生成对齐范式。例如，对于促排的卵巢超声图片，给出卵泡个数及尺寸；对于胚胎显微镜图片，给出拍摄条件如焦距、生长时间、细胞团位置形态、是否有碎片空泡等信息，这些文本信息为对应图像提供了丰富的自监督信息。

3)图像文字全局及局部特征提取。

本发明利用图像特征提取器以及文本特征提取器提取图文的全局特征和局部特征以在同一个多模态特征空间中学习图像表示和文本表示。图像特征提取器和文本特征提取器的预训练模型使用视觉和语言联合学习模态模型如CLIP(Contrastive Language-Image Pre-Training)模型，通过在大规模数据上进行预训练来学习文本和图像之间的对齐表示，利用对齐表示实现胚胎任务的微调。

具体的，如图3所示，图像输入通过超声获得的病人基础卵泡期、促排期移植前的超声图像，通过光学显微镜获得时序的胚胎生长发育图像。文字输入包含病人生理信息，激素信息、用药信息、卵泡信息、胚胎发育信息等。

在图像特征提取器子模型中，选择Swin-Tiny Transformer从图像中提取特征，图像被切分为图像块序列以适应模型的多头注意力机制。每个图像块通过特征提取器获得局部特征，所有图像块嵌入表示取平均得到全局图像特征。

在文本特征提取器子模型中，使用文本Transfomer模型作为文本特征提取器，以获得鲁棒的全局文本表示和局部文本(如整个文本、单词或句子)表示。

在架构训练阶段，分别使用文本特征提取器和图片特征提取器抽取文本描述特征和图片特征，使用文本和图片特征的相似度作为当前类别的得分，然后使用交叉熵损失以优化模型。

4)胚胎质量评估：使用分类模型、回归模型、强化学习或检索子任务对胚胎质量进行判断评估。取决于数据的类型和目的，例如分类模型可能适用于将胚胎从差到好进行排序，而回归模型可能用于预测胚胎的质量得分。

在下游子任务上，根据医生的需求定制图文检索、量化评估、分类、识别分割等子任务。各子任务区别如下：

a.图文检索：类似X-ray检查，即输入图像由AI算法生成检测报告。预测模型输入图像或/和生理血值等文本信息，计算图片特征与所有文本描述特征之间的相似度，选取特征相似度最大的文本所对应的类别作为模型预测结果，最终实现对胚胎文本描述。

b.量化评估任务：预测模型输入病人相关检测图像和生理血值等文本信息，模型加上回归头，利用回归任务量化预测胚胎质量，如百分制。病人不同的胚胎会有不同的评分预测结果，根据预测结果，医生可根据胚胎分数进行移植或下一周期的治疗。

c.分类任务：和回归任务类似，预测模型输入病人相关检测图像和生理血值等文本信息，利用分类任务给胚胎评级，如三级，医生可根据胚胎分数进行移植或下一周期的治疗。

d.识别分割任务：预测模型输入病人相关检测图像和生理血值等文本信息，标记图像和胚胎形态描述对应区域，如分裂期卵裂球的数量、囊胚期内细胞团和滋养层的形态、碎片空腔的位置及数量，以帮助医生量化细化判断胚胎的质量。

根据本发明的实施例，利用上述方法购进多模态数据胚胎评估模型实现胚胎评级，进而帮助医生更准确地进行IVF治疗，提高其治疗的成功率。

训练机器学习模型的装置

根据本发明的实施例，所述装置用于对胚胎质量进行评估。

如图1所示，所述装置包括：信息获取模块S100，用于获取训练胚胎样本的图像信息和训练胚胎样本对应的文本信息；特征获取模块S200，用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；匹配度预测模块S300，用于获取所述图像特征和所述文本特征的匹配度；训练模块S400，基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度对所述机器学习模型进行训练。

需要说明的是，所述信息获取模块S100与所述特征获取模块S200相连，所述特征获取模块S200与所述匹配度预测模块S300相连，所述匹配度预测模块S300与所述训练模块S400相连。

评估胚胎质量的系统

根据本发明的实施例，所述系统用于对胚胎质量进行评估。

如图2所示，所述信息获取单元S500，用于获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；所述特征获取单元S600，用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；所述匹配度预测单元S700，用于获取所述图像特征和所述文本特征的匹配度；所述胚胎评估单元S800，用于基于机器学习模型进行评估胚胎质量。

需要说明的是，所述信息获取单元S500与所述特征获取单元S600相连，所述特征获取单元S600与所述匹配度预测单元S700相连，所述匹配度预测单元S700与所述胚胎评估单元S800相连。

计算设备

根据本发明的实施例，所述计算设备包括：处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序以实现前述训练机器学习模型的方法。

计算机可读存储介质

根据本发明的实施例，所述存储介质包括计算机指令，当所述指令被计算机执行时，使得所述计算机实现前述训练机器学习模型的方法。

下面将更详细地描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面将对实施例作具体介绍。实施例中未注明具体技术或条件的，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。

实施例1：胚胎质量评估模型验证

本发明用于训练的数据集来源于上海某三甲医院。本发明实施例基于囊胚图像和文本信息(生理信息、激素信息、用药信息、卵泡信息、胚胎发育信息等)构建图像-文本的多模态模型，用以评估胚胎的质量。具体步骤如下：

1)图像数据获取

数据集中包含395个显微镜下囊胚静态RGB图像(无年龄或其他生理指标选择性)。囊胚图像是在体外授精后115-120小时(第5天)或135-140小时(第6天)时通过标准倒置光学显微镜系统(型号：Nikon Eclipse Ti-U)拍摄的，这些图像可包含不同的视角、缩放比例、颜色、对比度等方面的差异。

2)文本数据获取

本实施例以静态第五天或第六天的囊胚图像及其内细胞团相对应的等级文本对胚胎质量评估模型进行训练。

3)模型调参

为了多模态网络有更好的囊胚质量评估性能，本发明使用Adam优化器(衰减率：5e-4，动量：0.95)对模型进行了300次迭代训练。此外，通过应用早停策略以避免模型出现过拟合现象。批量大小为32，图像编码器学习率是7.5e-6，文本编码器学习率是7.5e-7，温度系数分别为1.0。

本发明基于Gardner评分系统和Time-lapse系统中的文本描述新设计了囊胚内细胞团的文本标签代替传统的字母评级，如表1所示。这些文本标签可以提供更多的信息来帮助评估囊胚质量。通过将图像数据和文本标签结合起来，本发明成功构建了基于图像-文本的多模态模型来更全面、准确地评估囊胚质量。

表1：文本标签代替对应字母评级

4)模型性能验证

为了验证模型的有效性，模型性能通过准确率、精准率、召回率和F1-score四个指标评估模型的性能。在所有的实验中，本专利进行了5折交叉验证，以增加模型的鲁棒性。与单模态网络相比，囊胚的文本描述中囊括了更多的语义信息。此外，本发明比较了分类实验中使用的不同图像编码器的性能。实验结果证明了所提出的多模态方法的有效性。

5)结果分析

结果如表2所示，多模态Swin-Tiny模型优于最佳的单模态分类模型(+1.5％)和图像检索模型(+1.2％)。

表2：模型性能比较结果

为了进一步分析模型的评分能力，本发明检查了每个等级的召回率。如图3所示。与其他两个模型相比，模型在预测A和C方面取得了最佳性能。在临床实践中，A级和C级囊胚对于胚胎学家在选择囊胚时至关重要。此外，模型具有最少数量的跨级别预测误差，即标签为A而预测为C或反之。这些发现表明，模型可以利用囊胚的文本信息来进行更准确的囊胚评估。

本发明还逐字评估文本的效果，通过计算每个单词和补丁图像嵌入之间的相似度。如图4所示，每个等级中与图像块最相关的词的最大相似度从小到大排序。相似度较高的词，例如C级的vacuoles，起着更关键的作用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。