深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置

技术领域

本发明涉及图像处理识别领域，具体地涉及一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置。

背景技术

乳腺肿瘤疾病是女性最常见的恶性肿瘤之一，因此，乳腺病变的早期诊断和恶性病变与良性病变的鉴别对患者的预后极为重要。与其他乳腺肿瘤成像方法(包括数字乳房X线摄影(DM)，磁共振(MR)和计算机断层扫描(CT))相比，超声检查(US)具有实时动态，低成本，无辐射和高可重复性的优势。它已成为临床医学检查的重要组成部分。它为临床可疑的乳腺肿瘤检查提供了必要的影像学信息，并成为早期乳腺癌的主要筛查办法。目前对于乳腺超声图像的分析诊断工作主要由影像医师进行，并根据乳房成像报告和数据系统(BI-RADS)标准化用于描述和分类乳腺病变。然而，乳腺良恶性结节的鉴别主要取决于超声特征，如回声性，成分，形状，边缘和钙化。不同的特征与恶性肿瘤有不同的相关性，良性和恶性病变的形态学特征基本重叠。此外，图像的诊断在很大程度上取决于放射科医生的经验，因此，观察者之间可能会发生很大的变异。随着乳腺癌筛查的普及，乳腺期患者的数量逐年增加。提高筛查效率已成为放射科医生的主要问题。计算机辅助诊断(CAD)技术的出现使解决这些问题成为可能。

随着机器学习深度学习的不断发展，计算机辅助诊断在医学图像处理领域得到广泛的应用，此前的研究集中于人工手动提取超声图像的特征，如回声性，成分，形状，边缘，钙化等，然后进行特征选择算法对提取的特征进行优选得到最优的特征组合，最后利用支持向量机(SVM)、随机森林(RF)等分类器进行分类。传统的机器学习方法依赖于人工设计复杂的特征提取和特征选择方法，提取到的特征维度较高，工作量大且效率较低。最近一些经典的卷积神经网络被应用于乳腺肿瘤超声图像特征的自动提取，但是由于医学影像有着数据量小、病变区域不明显和噪声大的缺陷，而现有的卷积神经网络模型都是基于大规模二维图像数据所提出的，无法适应医学影像数据，因此一般的网络对乳腺肿瘤图像的特征不敏感，很难用于提取出具有代表性的特征。

发明内容

为了克服上述现有技术的不足，提出一种基于深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置。该装置采用基于特征融合的策略，利用改进的ResNet50模型提取的深度特征和浅层LBP特征对乳腺肿瘤结节进行良恶性分类。该装置能有效修复肿瘤图像边缘不清和噪声等质量问题，并提取乳腺肿瘤结节的具有代表性的特征。

具体地，本发明提供一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其包括图像数据库建立单元、图像预处理单元、兴趣区域提取单元、深层特征提取单元、浅层LBP特征提取提取单元、特征融合单元以及分类单元；

所述图像数据库建立单元用于建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果；

所述图像预处理单元用于对超声图像进行数据增强，同时对肿瘤图像分别进行直方均衡化增强和Sobel算子边缘提取，将原始肿瘤图像、直方均衡化图像、边缘提取图像融合；

图像预处理单元进行图像预处理操作包括如下步骤：

S11、对原始超声图像进行直方图均衡化以增强动态范围偏小的图像的对比度；

S12、对原始超声图像进行Sobel算子运算图像亮度函数的灰度之近似值以提供精确的边缘方向信息，Sobel算子用来检测图像边缘，Sobel算子提取计算公式为：

其中，A为原始图像，G

S13、将原始超声图像、直方均衡化图像和边缘提取图像融合；

所述兴趣区域提取单元用于提取感兴趣区域，得到图像分析所关注的重点，具体包括以下步骤：

采用最大类间阈值分割(Otsu)和形态学处理的方法进行感兴趣区域的提取；

提取超声图像的颜色信息并转换到lab空间的a分量；

采用Otsu算法实现图像的自动阈值分割，按照图像的灰度特性，将图像分为背景和目标两部分；

将灰度图像转换为二值图像，运用形态学处理的方法得到图像的边界轮廓曲线和感兴趣区域；

所述深层特征提取单元用于训练预训练的卷积神经网络模型，自动提取不同兴趣度和不同尺度的图像深度特征；

所述浅层LBP特征提取单元用于提取的旋转不变性局部二值模式(LBP)特征作为图像的浅层纹理特征；

所述特征融合单元用于将深度特征和浅层特征融合得到最终的特征向量；

所述分类单元用于将最终获得的特征输入SVM实现乳腺肿瘤超声图像的良恶性分类。

优选地，所述深层特征提取单元进行图像深度特征提取具体包括以下步骤：

S21、搭建基础模型ResNet50，利用迁移学习，加载ImageNet预训练的权重，并去除顶层全连接层；

S22、添加全局平均池化层、Batch Normalization(BN代表批量归一化))、全连接层；

S23、采用Dropout正则化方法防治过拟合。

优选地，浅层LBP特征提取单元进行浅层LBP特征提取具体包括以下步骤：

S31、将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；

S32、对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较能产生8位二进制数，即得到该窗口中心像素点的LBP值。LBP的计算公式如下：

其中，p表示3*3窗口中除中心像素点之外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示第p个像素点的灰度值，s(x)的计算公式如下：

S33、计算每块区域特征图像的直方图，将直方图进行归一化；

S34、将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量。

优选地，特征融合单元进行特征融合具体包括以下步骤：

S41、采用早融合的策略，先融合多层的特征，然后在融合后的特征上训练分类器；

S42、将经过迁移学习的ResNet50提取的深度特征和浅层LBP特征分别进行BN层的参数归一化，然后进行concat操作。对于单通道的输出，若两路输入的通道分别为X

优选地，分类单元进行分类的具体步骤如下：

S51、将S42提取的融合特征作为SVM的输入；

S52、对数据进行简单的缩放操作，并选择核函数；

S53、采用五倍交叉验证，选择最佳参数C和g；

S54、用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。

与现有技术相比，本发明具有以下有益效果：

(1)本发明基于通道融合的预处理，利用直方均衡化提高超声图像的对比度，Sobel算子提取超声图像的边缘信息，原始图像、直方均衡化和Sobel边缘提取可以改善超声图像边缘模糊、噪声大等图像质量问题，有助于深度特征提取器对乳腺肿瘤超声图像特征的敏感提取，提高图像提取的精度和准确度。

(2)本发明基于深度学习网络对图像的深度特征提取能够描述肿瘤图像的高层复杂特征，基于旋转不变局部二值模式的特征提取能够描述肿瘤图像的低层简单特征，特征融合可以组合这些信息以获得更多区分特征，从而能够有效的提高分类性能。

(3)本发明采用端到端的流程，未使用传统图像识别中的大量手工特征，使得对图像的处理相比较传统的基于特征的训练方法更加快捷。另外本发明的装置的处理方法操作简单，直接输入乳腺肿瘤超声图像就能获得分类后的处理结果，图像处理快速且精度高，节约了大量的人力物力的付出。

附图说明

图1是本发明的结构示意框图；

图2是本发明方法的流程示意图；

图3a是实施例2中的原始图像；

图3b是实施例2中对原始图像进行Sobel算子边缘提取的图像；

图3c是实施例2中对原始图像直方均衡化后的图像；

图3d是实施例2中的融合图像；

图4是实施例3的残差结构示意图；

图5是实施例5的特征提取和融合流程图。

具体实施方式

以下将参考附图详细说明本发明的示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

具体地，本发明提供一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其包括图像数据库建立单元1、图像预处理单元2、兴趣区域提取单元3、深层特征提取单元4、浅层LBP特征提取提取单元5、特征融合单元6以及分类单元7。

图像数据库建立单元1用于建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果；

图像预处理单元2用于对超声图像进行数据增强，同时对肿瘤图像分别进行直方均衡化增强和Sobel算子边缘提取，将原始肿瘤图像、直方均衡化图像、边缘提取图像融合；

兴趣区域提取单元3用于提取感兴趣区域，得到图像分析所关注的重点；

深层特征提取单元4用于训练预训练的卷积神经网络模型，自动提取不同感受和不同尺度的图像深度特征；

浅层LBP特征提取单元5用于提取的旋转不变性局部二值模式(LBP)特征作为图像的浅层纹理特征；

特征融合单元6用于将深度特征和浅层特征融合得到最终的特征向量；

分类单元7用于将最终获得的特征输入SVM实现乳腺肿瘤超声图像的良恶性分类。

优选地，图像预处理单元进行图像预处理操作包括如下步骤：

S11、对原始超声图像进行直方图均衡化以增强动态范围偏小的图像的对比度；

S12、对原始超声图像进行Sobel算子运算图像亮度函数的灰度之近似值以提供精确的边缘方向信息。Sobel算子用来检测图像边缘，Sobel算子提取计算公式为：

其中，A为原始图像，G

S13、将原始超声图像、直方均衡化图像和边缘提取图像融合。

优选地，深层特征提取单元进行图像深度特征提取具体包括以下步骤：

S21、搭建基础模型ResNet50，利用迁移学习，加载ImageNet预训练的权重，并去除顶层全连接层；

S22、添加全局平均池化层、Batch Normalization(BN)、全连接层；

S23、采用Dropout正则化方法防治过拟合。

优选地，浅层LBP特征提取单元进行浅层LBP特征提取具体包括以下步骤：

S31、将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；

S32、对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。LBP的计算公式如下：

其中，p表示3*3窗口中除中心像素点之外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示第p个像素点的灰度值，s(x)的计算公式如下：

S33、计算每块区域特征图像的直方图，将直方图进行归一化；

S34、将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量。

优选地，特征融合单元进行特征融合具体包括以下步骤：

S41、采用早融合的策略，先融合多层的特征，然后在融合后的特征上训练分类器；

S42、将经过迁移学习的ResNet50提取的深度特征和浅层LBP特征分别进行BN层的参数归一化，然后进行concat操作。对于单通道的输出，若两路输入的通道分别为X

优选地，分类单元进行分类的具体步骤如下：

S51、将S42提取的融合特征作为SVM的输入；

S52、对数据进行简单的缩放操作，并选择核函数；

S53、采用五倍交叉验证，选择最佳参数C和g；

S54、用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。

实施例

建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果

原始数据集由河北医科大学第二医院从乳腺结节患者处采集，所有的样本均由有经验的放射科医生进行标记和分类。整个数据集共2422张原始图像，包括1907张恶性肿瘤图像和515张良性肿瘤图像。

数据预处理：

针对超声图像对比度低、存在噪声、伪影等质量问题，本发明采用基于三通道融合的方法，分别将原始图像、直方均衡化图像、Sobel算子边缘提取图像融合。以图像为例，图3a为原始超声图像，图3b为Sobel算子边缘提取图像，图3c为直方均衡化图像，图3d为融合图像。

深度特征提取：

(1)残差结构

残差元的主要设计有两个，远挑连接和恒等映射，远跳使得残差变得可能，而恒等映射使得网络变深图4为残差结构示意图。

当输入为x时其学习到的特征记为H(x)，理想能学习到残差，原始的学习特征是F(x)+x。当残差为0时，此时堆积层只做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。

(2)训练ResNet50模型

本专利利用迁移学习的方法，使用去除顶层全连接层的ResNet50模型作为基础模型，加载ImageNet上预训练的权重，同时添加全局平均池化层、Batch Normalization(BN)、全连接层；

在添加的全连接层后采用Dropout正则化方法防治过拟合。设置Dropout比例为0.5，首先随机(临时)删掉网络中一半的隐藏神经元，输入输出神经元保持不变，然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数。

浅层LBP特征提取：

浅层LBP特征提取的具体步骤如下：

将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；

对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；

计算每块区域特征图像的直方图，将直方图进行归一化；

将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量；

特征融合：

将经过迁移学习的ResNet50提取的深度特征和LBP提取的浅层纹理特征进行融合，具体地，先将两部分特征通过池化操作进行归一化，再将其级联(concat)可得到融合的特征。

SVM分类：

将实施例5提取的融合特征作为SVM的输入；对数据进行简单的缩放操作，并选择核函数；采用五倍交叉验证，选择最佳参数C和g；用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。