一种基于自监督学习的颈动脉超声图像识别方法

技术领域

本发明属于计算机技术与医学图像的交叉领域，尤其涉及超声图像分类识别的方法。

背景技术

超声影像学起源于20世纪，由于其图像生成实时、无电离辐射、无创无痛等优势，在医学诊断中具有难以取代的作用。医学超声检查利用声波从不同组织间的界面反射回探头的回声，通过超声主机处理成数字图像，以供临床医师判别。在临床实践中，超声心动图、乳腺超声、腹部超声、颈动脉超声等医学超声已经被广泛应用专项检查中。超声影像作为最常用的成像手段之一，已经被公认为是临床医生和放射科医生普遍而有效的筛查诊断工具。

超声图像分类识别是医学图像分析领域中最为重要的基础任务之一。目前传统的超声诊断主要采用人工判别，对医生的临床经验具有很强的依赖性。随着医疗影像应用的推广，有越来越多的医学图像需要医生解读，而临床医生数量的增长远不及影像数据量的增长，医生处理影像数据的压力日渐增长。此外，超声图像中良、恶性结节的图像表现存在重叠，超声图像自身也存在噪声大、分辨率低的缺点，这些因素都容易导致诊断时误判漏判。随着多学科交叉的应用发展，计算机辅助诊断开始进入医疗影像行业，通过自动超声图像分析使得诊断评估及引导治疗更为客观、准确和智能，然而传统CAD软件主要依靠专家手工编写判定规则，由于其操作复杂、需大量人机交互、诊断效果不明显，并未得到医疗行业的认可。

近年来机器学习和人工智能技术发展迅速，在计算机辅助诊断、图像引导治疗等医学领域中发挥了重要作用。与传统方法相比，深度学习方法减少人工操作的目标检测、目标分割、特征提取等步骤，直接以输入图像和图像标签的方式，学习具有复杂参数的高级模型，从而对新输入的图像进行判断。虽然深度学习技术加快了医学图像分析的脚步，但是超声影像成像质量差，图像分辨率和对比度低，存在严重的斑点噪声、伪影，病变区域形状复杂多变等特点，给分类诊断增加了难度。此外，目前尚缺乏公开的大型标注超声图像数据集，也给分类算法的研究带来了一定的困难。深度学习在计算机视觉任务中的发展很大程度依赖于海量的训练样本，导致基于深度学习的有监督学习算法在小样本数据集上的识别准确率依然很低。而由于医疗超声影像的特殊性及其隐私性，目前的超声图像数据集大多是私人的，非公开的，已公开的数据集规模仅在200-500张左右，且缺乏用于深度学习训练的无噪声的注释数据，这正是当前深度学习在小样本医学超声图像领域应用中的瓶颈挑战。

针对小样本超声数据集，为了节约收集和注释大规模数据集的成本，采用自监督学习方法来解决此问题。自监督学习属于无监督学习方法的一种。自监督学习方法可以从未标记的数据中学习到有效的特征表示而无需任何人工标注的标签信息。为了从未标记的数据中学习视觉特征，一种解决方案是提出各种代理任务让网络解决，这样网络可以通过学习代理任务的目标函数来训练，从而在这一过程中学习特征。研究者们已经提出了各种自监督学习的代理任务，包括为灰度图像着色，图像修补，拼图游戏等。这些代理任务具有两个共同的特性：卷积层需要捕获图像或视频的视觉特征来解决代理任务和代理任务的伪标签可以根据图像或视频的属性自动生成。通过这些自监督学习方法可以对原始超声数据集进行数据扩充并打上伪标签，增加数据量后会使得神经网络的训练效果变得更好。

发明内容

本发明针对现有技术的不足，提供一种基于自监督学习的颈动脉超声图像识别方法。

本发明的技术方案为一种基于自监督学习的颈动脉超声图像识别方法，包含以下步骤：

步骤1：采集颈动脉超声图像数据，对此进行预处理获得预处理后的颈动脉超声图像数据集和对应的标签集；

步骤2：根据步骤1所得的预处理后的颈动脉超声图像数据集使用自监督学习的辅助任务来对数据集的每张超声图像进行高度方向和宽度方向上的a*b的分块，再将分块后的超声图像样本块顺序打乱，将打乱后的超声图像样本块进行重组成新的超声图像，将重组后的超声图像数据集与未打乱顺序的超声图像数据集合并为新的扩充后的数据集并打上对应的标签集；

步骤3：对步骤2得到的扩充后的颈动脉超声图像数据集，将其加载到ResNeXt网络中，对颈动脉超声图像数据集进行判断为正确或错误的二分类任务训练，经过多次迭代训练，不断地更新损失函数的损失值，多次训练后得到最佳的ResNeXt网络权重参数并保存；

步骤4：将步骤3所得的最佳网络权重参数进行迁移学习，迁移到目标神经网络ResNeXt网络中，初始化目标神经网络的权重，对步骤1所得的预处理后的颈动脉超声图像数据集进行训练，在训练中不断更新目标神经网络损失函数的损失值，保存多次训练后最佳的目标神经网络ResNeXt网络的权重参数，加载保存后的权重参数对测试超声图像样本进行分类识别，得到最终的超声图像识别结果。

技术效果：在少量样本情况下，通过自监督学习方法能使得样本数量增多以及打上伪标签，再经过神经网络的训练后能更好的学习颈动脉超声图像的特征信息。与现有技术相比，本发明提出的基于自监督学习的颈动脉超声图像识别方法，可有效提升在少量标签样本情况下颈动脉超声图像识别的准确性。

附图说明

图1是本发明实施例的基于自监督学习的颈动脉超声图像识别方法的流程图。

图2是本发明实施例的对颈动脉超声图像数据集的测试精度的对比图。

具体实施方式

本发明主要基于自监督学习方法，考虑小样本超声图像数据集的数据量少和人工标记的成本问题，提出的一种基于自监督学习的颈动脉超声图像识别方法。本方法充分考虑了超声图像数据量太少的问题，通过自监督学习方法使得超声图像数据集的数量扩充一倍，并生成对应的伪标签，再以神经网络对此进行训练获得图像识别的精度。通过本发明获得的结果更加科学，更加精确。

本发明提供的方法能够用计算机软件技术实现流程。参见图1，实施例以颈动脉超声图像为例对本发明的流程进行一个具体的阐述，如下：

步骤1，获取原始的颈动脉超声图像，通过预处理得到预处理后的颈动脉超声图像数据集以及对应的标签集；

实施例的具体实施过程说明如下：

步骤1所述的原始颈动脉超声图像数据集为：

X＝[x

其中，X表示原始颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的超声样本，m-l个为第二个类别(软斑块)的超声样本，后n-m个为第三个类别(混合型斑块)的超声样本，n为颈动脉超声图像数据集的总个数；

步骤1所述的原始颈动脉超声图像的标签集为：

Y＝[y

y

i∈[1,n]

其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，y

步骤1所述预处理方法为：对原始颈动脉超声图像的ROI(感兴趣区域)进行切割并保存，保存后的图像即为表示颈动脉病变区域的超声图像；

步骤1所述预处理后的颈动脉超声图像数据集为：

X′＝[x′

其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数。

步骤2，通过自监督学习的辅助任务对步骤1获取的预处理后的颈动脉超声图像数据集进行处理，处理步骤为：对每个颈动脉超声图像从高度和宽度方向上进行a*b的分块，分成多个小的颈动脉超声图像样本块，再将多块小超声图像样本块的原始顺序打乱，再重组成新的颈动脉超声图像样本，从而扩充数据集并生成对应的伪标签；

实施例的具体实施过程说明如下：

步骤2所述的分块后的颈动脉超声图像样本块表示为：

z

其中，x′

步骤2所述的将分块后的超声图像样本块的原始顺序打乱：

α∈random([1，a])

β∈random([1，b])

其中，random函数表示将传入的列表里的元素随机打乱；

步骤2所述的每个乱序重组后的新的颈动脉超声图像样本为：

r′

其中，r′

由x′

X″＝[x′

其中，X″为步骤2中扩充后的颈动脉超声图像数据集，[x′

将预处理后的代表正确的颈动脉超声图像样本的标签设置为1，将乱序重组后代表错误的颈动脉超声图像样本的标签设置为0，构成扩充数据集的标签集：

其中，Y″表示扩充数据集的标签集，

步骤3，对步骤2得到的扩充后的颈动脉超声图像数据集，将其加载到ResNeXt101网络中进行训练得到颈动脉超声图像是否为正确的二分类结果，根据对应的标签集构建ResNeXt101网络的损失函数，经过多次迭代训练，不断地更新ResNeXt101网络的最佳权重参数，得到最佳的ResNeXt101网络权重参数并保存；

实施例的具体实施过程说明如下：

步骤3所述的自监督学习的辅助任务中ResNeXt101神经网络使用的数据集为扩充后的颈动脉超声图像数据集，对应的标签设为0和1：

X″＝[x′

步骤3所述的ResNeXt101神经网络的损失函数为交叉熵损失函数：

其中，

步骤3中网络的具体参数为：扩充数据集按8∶2的比例分为训练集和测试集，网络为ResNeXt101层神经网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为32，训练的次数(epoch)设为30，经过多次迭代训练后获得最佳的网络权重参数，即为自监督学习的辅助任务学习的最优权重参数。

步骤4，将自监督学习的辅助任务学习后的最优权重参数进行迁移学习，迁移到目标神经网络ResNeXt101网络中，初始化目标神经网络ResNeXt101网络的权重，根据步骤1所得的预处理后的颈动脉超声图像数据集对应的标签集构建目标神经网络ResNeXt101网络的损失函数，对步骤1所得的预处理后的颈动脉超声图像数据集进行训练，在训练中不断更新目标神经网络损失函数的损失值，保存多次训练后最佳的目标神经网络ResNeXt101网络的权重参数，加载保存后的权重参数对测试超声图像样本进行分类识别，得到最终的超声图像识别结果。

实施例的具体实施过程说明如下：

步骤4所述的目标神经网络ResNeXt101网络中载入的步骤1所得的预处理后的颈动脉超声图像数据集为

X′＝[x′

其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数；

步骤4所述的预处理后的颈动脉超声图像的对应的标签集为：

Y＝[y

y

i∈[1，n]

其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，y

步骤4中网络具体参数为：将步骤1所得的预处理后的颈动脉超声数据集按6∶2∶2的比例划分为训练集，验证集和测试集，目标神经网络为ResNeXt101层分类网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为16，训练的次数(epoch)设为100；

步骤4所述的目标神经网络使用的损失函数为交叉熵损失函数：

其中，

步骤4所述的目标神经网络ResNeXt101层分类网络使用的优化器为Adam优化器来更新参数，多次迭代训练后获得目标神经网络的最优网络权重参数，对测试集载入优化后的网络权重参数来进行分类测试，获取最终的颈动脉超声图像的分类准确率，参见图2，实施例以颈动脉超声图像为例对本发明的测试结果进行一个具体的展示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。