用于超声图像编解码间的画质补偿方法及其卷积神经网络

技术领域

本发明涉及超声图像处理技术领域，具体涉及一种用于超声图像编解码间的画质补偿方法及其卷积神经网络。

背景技术

在视频传输、远程视频等场景中，图像会占用大量网络带宽，造成传输速度慢，面对这样的问题，图像压缩是关键技术。在包括视频会议、遥感、文本和医学图像处理过程中，通常采用图像压缩编码，以降低图像的数据量，当压缩比越大时，需要传输的数据量越小，从而降低对网络带宽的要求。

虽然图像压缩技术能使得需要传输图像的数据量变小，然而随之而来的问题是数据损失随着数据量的变小而增大，从而使得压缩解码后的图像质量变差。

发明内容

本发明提供一种用于超声图像编解码间的画质补偿方法及其卷积神经网络，用以解决现有技术中图像数据损失随着数据量的变小而增大的问题。

根据本发明提供的技术方案，作为本发明的第一方面，提供一种用于超声图像编解码间的画质补偿方法，包括：

获取解压缩后的超声图像；

将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形；

将所述第一层特征图形中的数据经过激活函数进行处理，得到第二层特征图形；

根据所述第二层特征图形，确定所述超声图像中出现数据残缺的像素位置；

对所述第二层特征图形进行升采样，预测超声图像中出现数据残缺像素位置处的像素值；

将预测的所述像素值插入到对应出现数据残缺的像素位置处；

输出补偿超声图像。

可选的，预先进行神经网络训练，确定所述卷积核。

可选的，所述预先进行神经网络训练，确定所述卷积核包括：

获取海量具有映射关系的压缩前图像和解压后图像，构建训练样本集；

基于所述训练样本集，训练神经网络；

在训练时观察训练样本集上的损失函数情况，当训练损失函数稳定下降且不再提升时，确定卷积核。

可选的，所述将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形，包括：

所述卷积核按照预设步长，在所述超声图像的各通道上移动，对所述超声图像在各通道的数据进行卷积；

将卷积结果加上偏置矩阵得到所述第一层特征图形。

可选的，在所述获取超声图像之后，在所述将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形之前，还进行：

在各通道上的超声图像边缘扩充至少一圈像素，使得各通道的帧宽度是预设步长的整数倍；

向扩充的像素中填充数据。

可选的，所述向扩充的像素中填充的数据为0。

作为本发明的第二方面，提供一种用于超声图像编解码间画质补偿的卷积神经网络，从卷积神经网络的输入端至输出端，依次设置有：

输入层，所述输入层用于获取解压缩后的超声图像；

卷积层，所述卷积层包括卷积核，所述卷积层用于将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形；

激活函数层，所述激活函数层用于将所述第一层特征图形中的数据经过激活函数进行处理，得到第二层特征图形；

池化层，所述池化层用于根据所述第二层特征图形，确定所述超声图像中出现数据残缺的像素位置；

升采样层，所述升采样层用于对所述第二层特征图形进行升采样，预测超声图像中出现数据残缺像素位置处的像素值，将预测的所述像素值插入到对应出现数据残缺的像素位置处；

输出层，所述输出层用于输出补偿超声图像。

可选的，所述卷积层和激活函数层均有多层，且卷积层和激活函数层交替设置。

可选的，所述激活函数层采用线性整流函数、泄露线性整流函数、参数化线性整流函数中的任意一种。

可选的，所述池化层包括最大池化层或平均池化层。

从以上所述可以看出，本发明提供的用于超声图像编解码间的画质补偿方法，与现有技术相比具备以下优点：

由于解压缩后的超声图像，原超声图像相比，会存在丢失或者损坏部分像素数据的问题，从而造成局部区域或者像素出现瑕疵。本实施例通过对解压缩后的超声图像进行卷积，提取超声图像的特征，根据超声图像的特征确定出现数据残缺的像素位置，然后利用升采样，通过周围像素点的已知值，来预测出现数据残缺像素位置处的像素值。从而能够补偿解压缩后的超声图像所丢失的像素数据，提高超声图像的画面质量。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一方面S1步骤示意图；

图2本发明第一方面一种实施例的流程图。

图3为本发明第一方面S2的具体流程图。

图4为本发明第二方面一种实施例的结构示意图。

图5为本发明第二方面另一种实施例的结构示意图。

100.输入层，200.卷积层，300.激活函数层，400.池化层，500.升采样层，600. 输出层。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

作为本发明的第一方面，

提供一种用于超声图像编解码间的画质补偿方法，参照图2，具体包括以下步骤：

S1：获取解压缩后的超声图像；解压缩后的超声图像的帧尺寸为W*H；

参照图1，所述超声图像包括三个帧尺寸相同的通道，分别为R通道，G通道和B通道每个通道的帧宽度W为6帧高度为H；

S2：将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形；

所述卷积核的尺寸为3*3*3，即所述卷积核的宽度为3，长度为3，并且具有3个通道。通过卷积核在所述超声图像在各通道滑动，进行卷积计算，从而能够提取超声图像数据中的特征；

若所述卷积核在超声图像在各通道上滑动的步长为1，则所述第一层特征图形参照图1所示，所述第一层特征图形的大小为4*4，即其长度为4，宽度为4。

S3：将所述第一层特征图形中的数据经过激活函数进行处理，得到第二层特征图形；

所述激活函数用于给神经网络中的神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，优选地，所述激活函数采用线性整流函数、泄露线性整流函数、参数化线性整流函数中的任意一种。

S4：根据所述第二层特征图形，确定所述超声图像中出现数据残缺的像素位置；

将所述第二层特征图形分割为不同的区域，遍历每个所述区域中像素的像素值，确定所述超声图像中出现数据残缺的像素位置；

S5：对所述第二层特征图形进行升采样，预测超声图像中出现数据残缺像素位置处的像素值；

通过对第二层特征图形进行升采样，根据所述出现数据残缺像素位置处周围像素的像素值进行计算，预测出，出现数据残缺像素位置处的像素值。

S6：将预测的所述像素值插入到对应出现数据残缺的像素位置处；

S7：输出补偿超声图像。

由于解压缩后的超声图像，原超声图像相比，会存在丢失或者损坏部分像素数据的问题，从而造成局部区域或者像素出现瑕疵。本实施例通过对解压缩后的超声图像进行卷积，提取超声图像的特征，根据超声图像的特征确定出现数据残缺的像素位置，然后利用升采样，通过周围像素点的已知值，来预测出现数据残缺像素位置处的像素值。从而能够补偿解压缩后的超声图像所丢失的像素数据，提高超声图像的画面质量。

对于本实施例中的卷积核，是预先进行神经网络训练得到，所述预先进行神经网络训练，确定所述卷积核包括：

获取海量具有映射关系的压缩前图像和解压后图像，构建训练样本集；

基于所述训练样本集，训练神经网络；

在训练时观察训练样本集上的损失函数情况，当训练损失函数稳定下降且不再提升时，即可确定卷积核。

具体地，设训练样本集为

在神经网络训练过程中，首先需要对γ进行初始化，训练过程中当观察到训练损失函数稳定下降且不再提升时，确定对应的卷积核的权值参数γ，进而可以确定卷积核。

参照图3，上述S2：将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形，包括：

S210：所述卷积核按照步长a，在所述超声图像的各通道上移动，对所述超声图像在各通道的数据进行卷积；

S220：将卷积结果加上偏置矩阵得到所述第一层特征图形。

通过偏置矩阵来控制所述卷积核在超声图像各通道上移动的方向。

卷积运算的缺点是，卷积图像的大小随着卷积进程会不断缩小，另外图像的左上角的元素只被一个输出所使用，所以在图像边缘的像素在输出中采用较少，也就意味着在提取图像特征的过程中，会丢掉了很多图像边缘的信息，为了解决这两个问题，S1：在所述获取超声图像之后，在S2：在所述将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形之前，还进行：

在各通道上的超声图像边缘扩充至少一圈像素，使得各通道的帧宽度是预设步长的整数倍；

向扩充的像素中填充数据，优选的，向扩充的像素中填充的数据为0。

通过在超声图像边缘扩充至少一圈像素，可以保证输出的图像尺寸与输入的图像尺寸一致，从而能够使得在卷积过程中能够充分利用图像边缘像素，有效地提取图像边缘位置处的特征。

作为本发明的第二方面，参照图4，提供一种用于超声图像编解码间画质补偿的卷积神经网络，所述用于超声图像编解码间画质补偿的卷积神经网络包括：

输入层100，所述输入层100用于获取解压缩后的超声图像；参照图1，所述超声图像包括三个帧尺寸相同的通道，每个通道的帧宽度W为6，帧长度S 为，每个通道上对应像素点处设有相应的通道数据。

卷积层200，所述卷积层200包括卷积核，所述卷积层200用于将所述超声图像在各通道上的数据，分别与卷积核进行卷积得到第一层特征图形；所述卷积核的尺寸为3*3*3，即所述卷积核的宽度为3，长度为3，并且具有3个通道。通过卷积核在所述超声图像在各通道滑动，进行卷积计算，从而能够提取超声图像数据中的特征；

若所述卷积核在超声图像在各通道上滑动的步长为2，则所述第一层特征图形参照图1所示，所述第一层特征图形的大小为4*4，即其长度为4，宽度为4。

激活函数层300，所述激活函数层300用于将所述第一层特征图形中的数据经过激活函数进行处理，得到第二层特征图形；

所述激活函数用于给神经网络中的神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，优选地，所述激活函数采用线性整流函数、泄露线性整流函数、参数化线性整流函数中的任意一种。

池化层400，所述池化层400用于根据所述第二层特征图形，确定所述超声图像中出现数据残缺的像素位置；所述池化层400包括最大池化层400或平均池化层400。

升采样层500，所述升采样层500用于对所述第二层特征图形进行升采样，预测超声图像中出现数据残缺像素位置处的像素值，将预测的所述像素值插入到对应出现数据残缺的像素位置处。

输出层600，所述输出层600用于输出补偿超声图像。

由于解压缩后的超声图像，原超声图像相比，会存在丢失或者损坏部分像素数据的问题，从而造成局部区域或者像素出现瑕疵。本方面的实施例的卷积神经网络结构，通过卷积层200对解压缩后的超声图像进行卷积，提取超声图像的特征，根据超声图像的特征确定出现数据残缺的像素位置，然后利用升采样，通过周围像素点的已知值，来预测出现数据残缺像素位置处的像素值。从而能够补偿解压缩后的超声图像所丢失的像素数据，提高超声图像的画面质量。

本实施例中，参照图5，所述卷积层200和激活函数层300可以有相对应的多层，具体结构为一层卷积层200和一层激活函数层300交替设置。多个卷积层200能够更为逐层精确地提取超声图像中的特征。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的主旨之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。