一种胎盘多尺度分析系统

技术领域

本发明涉及生物医学仪器技术领域，尤其涉及一种胎盘多尺度分析系统。

背景技术

胎盘是胎儿的器官，胎儿与母体的成分共同参与形成。胎盘是胎儿吸收营养物质和排泄代谢产物的渠道，更是一个重要的内分泌器官。当胎盘由于疾病或各种原因导致胎盘功能不好时，胎儿的生长发育会受到严重的影响，甚至有胎死腹中的危险。简单来说，胎盘是理解妊娠至分娩全过程的窗口。

对胎盘进行分析能够(1)评估胎儿健康：胎盘病理分析有助于了解胎儿在子宫内的生长环境，以及可能影响胎儿健康的因素；(2)发现并发症：胎盘病理分析可以发现一些与胎盘相关的异常和并发症，如胎盘早剥、胎盘植入异常、胎盘功能不全等，这有助于医生了解母婴健康状况，为患者提供更好的医疗建议和干预；(3)指导未来妊娠风险管理：有助于评估孕妇在未来妊娠中可能面临的风险，通过对胎盘病变的诊断，医生可以为孕妇提供个性化的建议和预防措施，降低未来妊娠风险；(4)促进科学研究和教育：胎盘病理分析对于深入了解胎盘疾病的发病机制、病理生理和病因具有重要意义，这些信息对于开发新的诊断和治疗方法以及提高医学教育质量都具有重要价值。

但是当前对胎盘进行分析的过程还存在诸多不足，例如，病理医生资源不充足(我国注册执业医生严重缺乏，且资源分配不均衡，基层医院病理医生更加缺乏)；胎盘病理诊断多以病理医生人工判读给出，分析判断结论的准确性和一致性不高；胎盘的临床需求相比于其他癌症类疾病不够强烈；胎盘病理相关研究比较缺乏，数据集以及针对性分析软件及算法均比较稀缺；胎盘病理的特异性相对较差，不同种类的病理组织之间差异性较小。

发明内容

为解决上述技术问题，本发明提出了一种胎盘多尺度分析系统，以提高胎盘病理诊断分析准确度和效率。

为实现上述目的，本发明提供了一种胎盘多尺度分析系统，包括：

胎盘大体分析模块：用于对胎盘大体样本进行统一编号，并获取胎盘大体的厚度、重量及图像数据；

胎盘病理切片扫描模块：用于对所述胎盘大体样本进行扫描分析，获取可疑病变的胎盘组织并对所述可疑病变的胎盘组织进行处理，得到胎盘病理切片图像；

胎盘图像分析模块：用于对胎盘大体图像和所述胎盘病理切片图像进行病理数据分析，生成分析报告，并发送至远程会诊客户端或移动客户端；

远程会诊客户端：用于病理医生浏览所述分析报告、胎盘大体图像或胎盘病理切片图像，并填写诊断报告；

移动客户端：用于浏览所述胎盘大体图像、所述胎盘病理切片图像或所述分析报告，并查看所述诊断报告；

所述胎盘大体分析模块、所述胎盘病理切片扫描模块、所述胎盘图像分析模块、所述远程会诊客户端、所述移动客户端依次连接。

优选地，所述胎盘大体分析模块包括：

胎盘数据采集单元：用于获取所述胎盘大体样本的宏观图像、重量和厚度数据，并对所述胎盘大体样本进行病理编号，作为样本追溯的根据；

胎盘大体分析单元：用于接收所述胎盘大体样本的重量、厚度以及图像数据，并对接收的数据进行处理，获得胎盘详细信息。

优选地，所述胎盘详细信息包括：胎盘净重、体积、密度、孕周、胎数、孕周重量百分比、脐带长度、脐带螺旋个数、脐带螺旋方向、胎儿面的颜色以及母体面是否完整。

优选地，所述胎盘病理切片扫描模块包括：

胎盘病理切片获取单元：用于通过胎盘图像对可疑病变的胎盘组织进行切片处理，获取胎盘病理切片标本，其中，所述胎盘病理切片标本上包含胎盘病理编号的标识信息；

胎盘病理切片分析单元：用于通过胎盘病理切片扫描仪专用软件对所述胎盘病理切片标本进行预览，拍摄病理切片的标签图像和切片图像；

胎盘病理切片图像获取单元：用于提取所述标签图像中的病理编号，标识所述切片图像，将所述切片图像作为导航图以确定扫描区域，控制扫描仪进行扫描，获取高清胎盘病理切片图像。

优选地，所述胎盘图像分析模块包括：

用户交互单元：用于通过交互页面进行数据读取与处理操作；

病理数据分析单元：用于通过所述交互页面对胎盘大体图像或胎盘病理切片图像进行分析，获取分析结果；

数据库服务器：用于读取胎盘大体数据、胎盘病理切片数据以及存储样本分析结果。

优选地，所述通过交互页面进行数据读取与处理操作，包括：

通过胎盘图像分析子单元的交互页面进行数据读取与处理，所述胎盘图像分析子单元左侧以树状视图的形式列出工作路径中的所有数据，右侧主工作区用于显示当前节点下的所有文件；其中，已经分析过的病理编号或图像的显示图标标有已分析的标记符号；对病理编号进行分析的方式包括批量分析和单独分析。

优选地，所述病理数据分析单元包括：

图像标注子单元：用于通过标注工具对胎盘大体图像以及胎盘病理切片图像中的目标区域进行人工标注；其中，所述胎盘大体图像中的目标区域为胎盘、脐带和血管区域，所述胎盘病理切片图像中的目标区域为癌症区域；

图像-文本分析子单元：用于整理所有病理编号对应的指标参数及分析报告，并将所述胎盘大体图像、胎盘病理切片图像以及诊断报告输入到图像-文本分析模型中，利用冻结的图像编码器提取图像特征数据和文本数据；

指标计算子单元：用于将所述图像特征数据和所述文本数据分别输入到不同的transformer模型中，获取图像的目标区域分割结果，计算指标参数；

分析报告生成单元：用于将所述transformer模型输出的结果进行拼接并输入到图像-文本匹配器中，同时将拼接后的图像特征以及文本特征输入到图像-文本对比学习子单元中，学习图像数据和文本数据之间的关系，再将拼接后的文本特征输入到基于图像的文本生成器中生成所述分析报告。

优选地，所述图像编码器为基于VIT模型的图像编码器，利用两个相同的图像编码器分别提取所述胎盘大体图像和所述胎盘病理切片图像的特征信息；

所述图像-文本对比学习子单元通过对比一个胎盘影像的所有图像特征和文本特征之间的相似度，选择最高值作为图像-文本对比学习子单元的相似度；

通过所述图像-文本匹配器计算图像-文本对的匹配分数，最终将所述匹配分数和图像-文本对比学习子单元的相似度以及图像的文本生成器的损失值进行结合，对所述transformer模型进行优化。

优选地，所述远程会诊客户端包括：

辅助诊断及结果获取单元：用于辅助图像-文本多模态模型训练时，标注胎盘大体图像和胎盘病理切片图像，并在分析报告的下方填写诊断报告；当需要获取胎盘大体的诊断结果时，选择需要分析的胎盘数据生成待分析列表，然后点击分析，获取分析报告和诊断报告。

与现有技术相比，本发明具有如下优点和技术效果：

本发明通过胎盘大体分析模块采集胎盘外观、重量等宏观数据，全玻片扫描仪采集胎盘病理切片微观影；采用基于深度学习的图像-文本多模态模型，宏观上对胎盘大体、脐带异常进行像素级识别，对脐带插入位置进行中心点识别；微观上对胎盘绒毛、血管、纤维素进行像素级识别分析，获取目标面积占比等参数，实现基于胎盘的自动化胎儿和母体常见疾病的预测诊断。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中胎盘多尺度分析系统结构示意图；

图2为本发明实施例中胎盘大体分析仪架构图；

图3为本发明实施例中胎盘图像分析软件界面示意图；

图4为本发明实施例中胎盘图像分析软件中的待分析列表示意图；

图5为本发明实施例中胎盘图像分析系统功能组成示意图；

图6为本发明实施例中基于多尺度的图像-文本模型结构图；

图7为本发明实施例中胎盘病理分析报告示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种胎盘多尺度分析系统，如图1，包括：

胎盘大体分析模块：用于对胎盘大体样本进行统一编号，并获取胎盘大体的厚度、重量及图像数据；

通过胎盘大体分析软件采集胎盘大体的宏观图像、胎盘大体的重量和厚度数据，软件分析获取一系列胎盘大体的指标参数。

如图1-图4，具体包括：

(1)采集胎盘大体的宏观图像、重量和厚度数据，同时采集胎盘大体样本的二维码图像；

扫描仪软件根据二维码信息生成数据存储路径，将所有该样本的相关数据存储至数据库服务器中；

胎盘大体分析软件分析所有数据，获取胎盘的净重、体积、密度、孕周、胎数、孕周重量百分比、脐带长度、脐带螺旋个数、脐带螺旋方向、胎儿面的颜色以及母体面是否完整等信息，并将这些信息存储至于病理编号相关联的数据库服务器路径中，生成分析报告；

扫描过程允许对同一个胎盘进行多次测量分析，多次采集的图像命名以病理编号+后缀的方式进行区分；

胎盘大体分析软件根据用户选择的待分析列表单个处理胎盘数据或者批量处理胎盘数据。

(2)胎盘病理切片扫描模块：用于对所述胎盘大体样本进行扫描分析，获取可疑病变的胎盘组织并对其进行处理，得到胎盘病理切片图像；

通过胎盘病理切片扫描软件采集胎盘大体的病理切片图像，具体包括：

在对胎盘大体进行宏观扫描分析后，医生对可以病变的胎盘组织进行切片处理，得到胎盘病理切片样本，并印刷或粘贴包含该胎盘病理编号的二维码；

胎盘病理切片扫描仪及专用软件首先对胎盘病理切片进行预览，拍摄病理切片的标签图像和切片图像；

提取标签图像中的病理编号，用于识别切片图像，且该病理编号还用于关联该胎盘的大体数据；

胎盘病理切片扫描仪软件将切片图像作为导航图以确定扫描区域，并控制扫描仪对该区域进行扫描以获取高清的切片图像，将该切片图像存储至于该样本的病理编号相关联的数据库服务器路径中。

(3)胎盘图像分析模块：用于对胎盘大体图像和所述胎盘病理切片图像进行病历数据分析，生成分析报告，并发送至远程会诊客户端或移动客户端；

通过胎盘图像分析软件对胎盘大体数据和切片图像进行分析，获取胎盘大体的诊断报告。

如图5-图7，胎盘图像分析模块包括：

用户交互单元：用于通过交互页面进行数据读取与处理操作；

胎盘图像分析软件的左侧以树状视图的形式列出工作路径中的所有数据，右侧大面积的主工作区用于显示当前节点下的所有文件；

医生选择某一节点，如果该节点不是病理编号，则主工作区中显示所选节点下面的子节点；

如果该节点是病理编号，则主工作区中显示该病理编号的所有的胎盘大体图像和胎盘病理切片图像；

医生可以选择多个病理编号进行批量分析，也可以选择单个病理编号进行单独分析；

已经分析过的病理编号或图像，显示的图标将会有已分析的标记符号。

病理数据分析单元：用于通过所述交互页面对胎盘大体图像或胎盘病理切片图像进行分析，获取分析结果；

具体包括：

图像标注子单元：用于通过标注工具对胎盘大体图像以及胎盘病理切片图像中的目标区域进行人工标注；其中，所述胎盘大体图像中的目标区域为胎盘、脐带和血管区域，所述胎盘病理切片图像中的目标区域为癌症区域；

整理所有病理编号对应的大体图像和病理切片图像；

用标注软件标注大体图像的胎盘、脐带、血管区域；

用标注软件标注病理切片图像的癌症区域。

图像-文本分析子单元：用于整理所有病理编号对应的指标参数及分析报告，并将所述胎盘大体图像、胎盘病理切片图像以及诊断报告输入到图像-文本分析模型中，利用冻结的图像编码器提取图像特征数据和文本数据；

整理数据库服务器中所有病理编号的胎盘指标参数，以及对应的诊断报告；

选用基于VIT模型的图像编码器，将该编码器冻结以减少计算量，利用两个相同的编码器分别提取大体图像和病理切片图像的特征信息。

指标计算子单元：用于将所述图像特征数据和所述文本数据分别输入到不同的transformer模型中，获取图像的目标区域分割结果，计算指标参数；

设计三个transformer模块分别学习两种图像数据以及一种文本数据的信息，其中两个用于图像特征学习的transformer模块架构相同：由自注意力层、交叉注意力层和前馈层组成，用于文本特征学习的transformer模块由自注意力层和前馈层组成，且三个transformer模块的自注意力层相互学习以最大化利用图像与文本数据的信息；

双向的自注意力层使所有的图像特征块和文本互相学习，使输出的特征可以提取多模态的信息。

分析报告生成单元：用于将transformer模型输出的结果进行拼接并输入到图像-文本匹配器中，同时将拼接后的图像特征以及文本特征输入到图像-文本对比学习子单元中，学习图像数据和文本数据之间的关系，再将拼接后的文本特征输入到基于图像的文本生成器中生成分析报告。

将两个图像transformer模块的输入进行拼接，将拼接好的图像特征作为图像-文本匹配器的输入以学习图像与文本特征之间的关系；该匹配器是一个二分类的任务，即判定图像-文本对是否匹配，计算匹配分数来优化整个模型；

将文本transformer模块的输出作为基于图像的文本生成器的输入，该生成器将图像特征作为学习条件，利用多模态的transformer层来控制图像特征和文本之间的关联；

将拼接后的图像特征和文本transformer模块的输出作为图像-文本对比学习模块的输入，该模块学习对齐图像特征和文本特征以最大化两种特征之间的互信息；

图像-文本对比学习模块通过对比一个胎盘影像的所有图像特征和文本特征之间的相似度，选择最高值作为最终的相似度以辅助优化整个模型；

对每个病理编号进行上述分析，即完成整个队列中的病理编号对应的样本分析，生成分析报告并以表格的形式呈现给病理医生。

数据库服务器：用于读取胎盘大体数据、胎盘病理切片数据以及存储样本分析结果。

基于MySQL，Oracle，SQL Server等搭建数据库服务器，用于读取胎盘大体数据、读取胎盘病理切片数据以及存储样本分析结果。

(4)远程会诊客户端：用于病理医生浏览所述分析报告、胎盘大体图像或胎盘病理切片图像，并填写诊断报告；

病理医生登陆远程会诊客户端；

浏览胎盘大体图像和病理切片图像；

辅助图像-文本多模态模型训练时，病理医生标注胎盘大体图像和病理切片图像，并在分析报告的下方填写诊断报告；

需要获取胎盘大体的诊断结果时，选择需要分析的胎盘数据生成待分析列表，然后点击分析获取分析报告和诊断报告。

(5)移动客户端：用于浏览所述胎盘大体图像、所述胎盘病理切片图像或所述分析报告，并查看所述诊断报告；

患者首先需要登录移动客户端，然后进行如下系列操作：

浏览胎盘大体图像；

浏览胎盘病理切片数字图像；

查看分析报告。

胎盘大体分析仪采集胎盘外观、重量等宏观数据，全玻片扫描仪采集胎盘病理切片微观影像。采用基于深度学习的图像-文本多模态模型，宏观上对胎盘大体、脐带异常进行像素级识别，对脐带插入位置进行中心点识别；微观上对胎盘绒毛、血管、纤维素进行像素级识别分析，获取目标面积占比等参数，实现基于胎盘的自动化胎儿和母体常见疾病的预测诊断。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。