结合组织学图像与深度迁移学习的血栓分期模型构建方法

技术领域

本发明属于疾病司法鉴定与计算机技术相结合的交叉领域，尤其涉及一种结合组织学图像与深度迁移学习的血栓分期模型构建方法。

背景技术

深静脉血栓(DVT)常发生于机体损伤后、手术后以及长期制动后的恢复阶段。其发病十分隐匿，即使患者损伤入院后立行DVT筛查，其发生率仍可达31.36％。因血栓脱落随体循环至肺部各级血管造成肺栓塞是法医实践当中常见的猝死相关疾病。此类情形下，由于损伤、疾病与死亡之间的关系难以明确界定而发生纠纷，对相关案件的司法鉴定通常被认为是法医实践工作中的疑难案件。时间作为事物发展、发展及变化的“三方衡量标准”可以辅助法医工作者厘清伤、病、死之间的多重杂糅关系。因此在分析创伤、医疗行为及其与肺栓塞发生的因果关系中，问题解决的关键在于对血栓形成时间的准确推断。然而现有对于血栓形成时间推断研究较为局限，主要依赖成像技术、免疫组化染色、蛋白组学及代谢组学技术，其在司法鉴定中推广应用范围有限。

发明内容

本发明为了解决目前对于血栓形成时间推断研究较为局限，提供了一种结合组织学图像与深度迁移学习的血栓分期模型构建方法。

本发明是通过以下技术方案实现的：

结合组织学图像与深度迁移学习进行血栓分期推断模型的建立方法，包括以下步骤：

(1)收集不同时间点的深静脉血栓检材，经固定、包埋、切片及染色后制备为组织切片；

(2)利用Tissue Faxs 200数字显微图像扫描仪将组织切片图像转化存储为WSI；

(3)对WSI进行前处理，包括FOV图块提取和图像颜色标准化；所述FOV图块提取是对原图行列进行滑动裁剪，将原始图像裁剪为相应尺寸图像块；所述图像颜色标准化是利用Reinhard算法对图像块进行归一化处理；

(4)对DenseNet121网络结构进行微调，输入前处理后的图像块数据集，计算输出值误差，对网络超参数进行微调，反复对比训练得到超参数，最后用最优超参数建立网络模型。

作为本发明技术方案的进一步改进，在步骤(1)中，所述深静脉血栓检材的不同时间点的数量为11个时间点。

作为本发明技术方案的进一步改进，在步骤(4)中，将前处理后的图像块数据集分为训练集、验证集。

作为本发明技术方案的进一步改进，所述训练集通过自适应矩估计算法最小化交叉熵损失来训练网络模型。

作为本发明技术方案的进一步改进，对DenseNet121网络结构进行微调时，去除网络原来的全连接层，在最后一层卷积层末端添加神经元个数为11的全连接层。

本发明所提供的结合组织学图像与深度迁移学习进行血栓分期推断模型的建立方法，与现有技术相比具有如下优点：本发明结合较为经济易获取的HE染色血栓组织切片及深度迁移学习算法训练卷积神经网络血栓分期判别模型用于血栓形成时间推断有望为DVT分期提供新的策略及方法。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述结合组织学图像与深度迁移学习进行血栓分期推断模型的建立方法的流程图。

图2为所述全景切片图像前处理、FOV图块数据集划分、模型训练示意图。

图3为迁移学习范式下DenseNet121模型的结构调整示意图。

图4为模型解释热图。

图5为模型外部测试并将预测结果推广至全景切片水平的流程示意图。

图6为模型迭代三种模型评估指标变化趋势图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。

下面对本发明的具体实施例进行详细说明。

1.对实验动物分组

选取购自斯贝福北京生物技术有限公司(动物许可证号SCXK(京)2019-0010)的66只10～12w周龄，体重约250-280g的雄性Sprague-Dewley大鼠进行实验。血栓形成时间分组为6h、12h、1d、2d、3d、4d、5d、6d、7d、10d、14d组，每组6只。另取11只大鼠作为上述各血栓分期组别下的外部测试样本。

2.大鼠DVT模型制备

大鼠空腹12h后，腹腔注射3％戊巴比妥钠进行麻醉后固定于动物手术台上；桌面和工作台用75％酒精喷洒消毒，动物剪毛器剃除大鼠腹部剑突到盆腔区的体毛，碘伏擦拭消毒；腹部做长2cm的正中切口，逐层剪开，勿损伤肠管、血管及膀胱；小肠牵拉至左上腹，暴露更大的手术视野，生理盐水浸润的消毒纱布包裹小肠，保持小肠湿润；棉棒分离下腔静脉周围的结缔组织，钝性分离下腔静脉和腹主动脉，上至左肾静脉处，下至髂静脉分叉处，避免过分牵拉造成血管破裂；用3号丝线完全结扎左右肾静脉，将0.1mm直径的丝线与下腔静脉一起结扎，随后抽出线条，建立未完全结扎模型。下腔静脉的颜色由红色变为暗褐色，且血管质地稍变硬，提示下腔静脉血栓造模成功；结扎损伤小血管进行止血、分层缝合，皮下撒青霉素粉末以预防感染；侧卧位分笼放置，保证温度湿度，防止舌后位，等待苏醒。避免过量饮食，剧烈运动。

各时间点血栓组大鼠于术后6h、12h、1d、2d、3d、4d、5d、6d、7d、10d、14d在麻醉状态下重新暴露造模部位进行下腔静脉血栓取材，取出后立即放入4％多聚甲醛中固定，每只小鼠制备一张组织切片用于后续分析。

3.血栓组织HE染色及制备切片

按照上述时间点取下腔静脉血栓组织标本后采用4％多聚甲醛固定、石蜡包埋及切片机切片后进行HE染色；二甲苯、梯度酒精对组织切片脱蜡；苏木素染色、盐酸酒精分化、氨水返蓝、伊红染色、梯度酒精脱水、二甲苯透明、中性树脂封片，明场显微镜下观察。

4.数据获取

利用全景组织细胞定量分析系统Tissue FAXs 200(Tissue Gnostics公司，奥地利)扫描不同时间点的血栓HE染色切片获取高质量图像，扫描倍数为400×；得到WSI。

5.图像数据前处理：

图像前处理流程如图2所示，详细步骤如下：

(1)WSI中FOV图像块提取

设置2048×2048大小窗口沿原图行列进行滑动裁剪，将原始图像裁剪为相应尺寸图像块。

(2)图像颜色标准化

病理图像在制备过程中会引入染色不均匀、光照强度或角度等外界因素对图像采集后颜色造成影响，将导致组间或组内图像颜色不均一，增大数据偏差。将获取的图像通过Reinhard图像颜色标准化方法进行归一化处理，可以使不同组别图像颜色及曝光度趋于一致，降低因批次效应或颜色差异而引起的系统误差。

(3)图像压缩

使用OpenCV模块中resize算法将图像压缩调整为256×256大小便于模型对图像数据的读取与学习，同时节省计算资源。

对外部测试样本切片图像也应进行与上述步骤相同的前处理。

6.图像数据集划分

训练集和验证集划分是在FOV图像块数据集水平分割训练集及验证集，80％为训练数据集，用于模型训练；20％为验证数据集，用于模型内部性能测试以及参数调优。测试集是在样本水平，每个血栓形成时间分组中均有一只大鼠构成测试数据集，并经历切片制备、图像采集、图像前处理等过程获取相应的FOV图像数据集。详尽数据分组汇总统计如表1所示。

表1数据情况概览

7.DenseNet121血栓分期模型训练及验证

选择ImageNet数据集上预训练的DenseNet121模型，而后对模型进行结构调整使其适应于血栓分期任务：初始DenseNet121模型的结构由卷积层、平均池化层及若干稠密模块所组成。本研究中对其初始结构进行调整，具体如图4所示，首先舍弃原先的1000分类Softmax输出层将其替换为神经元个数为11的输出层(对应11组时间分组)。此外，在改造后输出层前添加入一个扁平化层、2个批标准化层及2个全连接层。微调训练时先锁定原先平均池化层及之前各层权重，在血栓组织学图像数据集上对全连接层进行微调训练，使得模型中由全连接层所组成的分类判别模块适应于血栓图像多分类任务。训练参数如下：损失函数为Sparse Categorical Cross entropy，分类器激活函数为Softmax，初始输入图像尺寸为256×256，应用openCV模块中的resize方法对图像尺寸进行压缩，将2048×2048大小的FOV图像压缩至256×256，Batch_size＝16，迭代次数为100次，网络训练(分类)通过自适应矩估计(Adam)算法最小化交叉熵损失来训练网络，初始学习率设置为0.0001。为避免模型过拟合，采用权值衰减策略进行训练每个时期的学习率乘以0.1，每经过10次训练，参照验证集准确率和损失函数值，若没有进一步优化，学习率会进一步衰减，直至下降至0.00001。最后保存最优网络结构各层权重和阈值。

而后解锁其余层，将整体模型在血栓图像数据集上进行整体微调训练。上述训练过程中同步跟踪每个轮次内部验证过程中三种指标(准确率、召回率、精确度)变化趋势。前述步骤中经过微调的分类判别模块可以作为此步骤中的监督学习器，辅助模型整体训练，使模型在少量样本情况下尽快适配与血栓组织学图像分期任务。

8.对模型效能进行评价

如图5所示，基于DenseNet121微调所得的深度学习血栓分期模型显示训练集准确率、召回率以及精确度分别最高达到98.6％、98.5％及98.8％，模型内部验证集预测准确率、召回率以及精确度达到83.3％、82.8％及84.6％。三种模型评估指标所反映的结果表明实验训练获得的深度学习模型具备基于组织学图像进行血栓形成时间推断的能力，对于血栓形成时间分类识别的准确程度和覆盖能力全面而平衡。

9.模型可视化解释及分析

应用Smooth Grad-CAM算法与完成训练的深度学习模型相互适配，将训练集数据重新导入模型，通过梯度回溯，分析深度学习模型对于组织学图像中哪些部分结构关注程度较大，以此提升训练所得血栓分期模型可解释性，从模型关注的结构中认清模型对血栓组织学图像的判定规则是否符合专家预期。如图4所示，通过Smooth Grad-CAM算法对学习到的血栓图像的深度判别特征进行检测，结果表明训练后的DenseNet121模型能够关注到不同时间段血栓的关键特征，例如早期血栓中的红细胞聚集区域，中晚期血栓中的纤维结缔组织等。因此模型具有较高的可信度和预测能力。

10.模型测试及FOV水平预测向切片预测的推广

将外部测试样本血栓切片按照上述1-5步骤进行样本检测，获得该样本的数字病理图像，将FOV图像块导入深度学习血栓分期模型当中预测，推断大鼠的血栓形成时间。结果如表2所示，除4d组及6d组外的绝大多数外部测试FOV图片均被正确预测到相应的血栓分期时间点，说明本发明中构建的深度学习血栓分期模型测试效果良好，模型构建成功。根据表中数据汇总统计，在FOV图块水平，模型预测准确率为5720/7170≈78.8％；在WSI水平模型预测准确率为(11-2)÷11≈81.9％。

表2测试样本预测结果汇总

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。尽管参照前述各实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离各实施例技术方案的范围，其均应涵盖权利要求书的保护范围中。