基于长短时记忆模型的扫查影像压缩方法、解压缩方法

技术领域

本发明涉及技术领域，具体涉及一种基于长短时记忆模型的扫查影像压缩方法、解压缩方法。

背景技术

超声扫描是一种医学成像技术，使用超声波来生成人体内部器官和组织的图像。它是一种无创检查方法，通常用于产前检查和肝脏、心脏、乳腺等器官的检查。超声扫描的图像质量受多种因素的影响，例如设备性能、扫描技术和受检者的体型等。通常而言，超声扫查影像在整体的扫查过程中为连续的、依照时间序列排列的多帧成像图像拼接形成的整体视频，其可以反应特定部位依照时序的变化，比如颈动脉的搏动、斑块等。

现有技术中，为实现较好的远程诊断效果，通常会将该类扫查影像完整发送至远端，由远端的人工智能模型或医生进行对照、诊断，从而判断出特定部位是否存在病变，或者识别病变类型。有时，为实现较好的实时检查效果，还会通过视频串流的方式将视频发送至远端进行实时检查。

但是，在实际实施过程中，当需要进行远程诊断时，其通常是在需要移动医疗或低医疗条件的地区。此时，由于扫查影像在发送时需要占用较大的带宽，制约了该类检查方式的应用。

发明内容

针对现有技术中存在的上述问题，现提供一种基于长短时记忆模型的扫查影像压缩方法。

具体技术方案如下：

一种基于长短时记忆模型的扫查影像压缩方法，适用于影像生成端，包括：

步骤A1：依次获取依时间顺序排列的单帧扫查影像，对单帧扫查影像采用长短时记忆模型进行分割得到前景区域和背景区域，以及，依照所述时间顺序和第一间隔帧数将不同的所述单帧扫查影像分别标记为基准图像和待压缩图像；

步骤A2：对所述待压缩图像的所述背景区域进行纯色填充，以形成填充图像；

步骤A3：将所述基准图像和所述填充图像依照所述时间顺序进行组装得到待压缩视频流；

步骤A4：对所述待压缩视频流进行压缩后传输压缩视频流。

另一方面，所述步骤A1包括：

步骤A11：获取依次排列的所述单帧扫查影像，依照所述时间顺序和所述第一间隔帧数对所述单帧扫查影像进行分组，得到影像合并组；

步骤A12：于所述影像合并组中，将第一张所述单帧扫查影像作为所述基准图像，将其余的所述单帧扫查影像作为所述待压缩图像；

步骤A13：将所述影像合并组中的所述单帧扫查影像依次输入所述长短时记忆模型，得到组内前景区域作为所述前景区域；

所述步骤A2中，依照所述组内前景区域进行纯色填充。

另一方面，所述步骤A2包括：

步骤A21：对所述前景区域进行膨胀，以形成修正前景区域和修正背景区域；

步骤A22：将所述修正背景区域进行纯色填充，以得到所述填充图像。

另一方面，于执行所述步骤S1之前还包括：

步骤A01：获取对应于所述单帧扫查影像的示例视频流，采用所述长短时记忆模型对所述示例视频流进行识别，以确定所述示例视频流中每一帧示例图像的前后关联性；

步骤A02：依照所述前后关联性对所述示例图像进行分组得到示例分组结果；

步骤A03：依照所述示例分组结果调整所述第一间隔帧数。

一种基于长短时记忆模型的扫查影像解压缩方法，适用于影像接收端，包括：

步骤B1：接收压缩视频流，对所述压缩视频流进行解压缩得到解压缩视频流，于所述解压缩视频流中提取得到基准图像和填充图像；

步骤B2：对所述填充图像进行识别得到纯色填充区域，依照所述纯色填充区域对所述基准图像进行分割得到背景区域；

步骤B3：基于所述背景区域对所述纯色填充区域进行替换，以将填充图像还原成待压缩图像。

另一方面，所述步骤B1包括：

步骤B11：接收并对所述压缩视频流进行解压缩，得到所述解压缩视频流；

步骤B12：于所述解压缩视频流中，对每一帧的视频图像的图像属性进行读取；

步骤B13：依照所述图像属性将所述视频图像划分为所述基准图像和所述填充图像。

另一方面，所述步骤B2包括：

步骤B21：对多幅所述填充图像进行阈值分割，得到所述纯色填充区域；

步骤B22：对多幅所述纯色填充区域进行面积统计，以得到最大纯色填充区域；

步骤B23：依照所述最大纯色填充区域对所述基准图像进行分割，获取到对应于所述最大纯色填充区域的所述背景区域。

另一方面，所述步骤B3包括：

步骤B31：对当前获取的所述填充图像进行阈值分割以得到所述纯色填充区域，以及，获取对应于所述填充图像的所述基准图像；

步骤B32：将所述背景区域作为所述纯色填充区域的蒙版，以替换所述纯色填充区域，得到所述待压缩图像。

上述技术方案具有如下优点或有益效果：

针对现有技术中的扫查视频传输方法需要占用较多带宽的问题，本方案中引入了长短时记忆模型，对单帧扫查图像中相对固定的背景区域进行提取，并采用纯色填充的方式对部分的待压缩图像中的背景区域进行去除，从而使得后续的待压缩视频流中所包含的信息量减少，能够实现更高的压缩率；随后，在接收侧再基于基准图像对图像进行还原，得到正常的视频流。该视频流中，主要的前景区域的信息得到了完整的保留，而变化相对较小的背景区域的信息则以“抽帧”的方式被删去，在对诊断效果影响较低的前提下实现了更好的压缩效果。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明实施例的压缩方法示意图；

图2为本发明实施例中步骤A1子步骤示意图；

图3为本发明实施例中步骤A2子步骤示意图；

图4为本发明实施例中第一间隔帧数确定过程示意图；

图5为本发明实施例中解压缩方法示意图；

图6为本发明实施例中步骤B1子步骤示意图；

图7为本发明实施例中步骤B2子步骤示意图；

图8为本发明实施例中步骤B3子步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明包括：

一种基于长短时记忆模型的扫查影像压缩方法，适用于影像生成端，如图1所示，包括：

步骤A1：依次获取依时间顺序排列的单帧扫查影像，对单帧扫查影像采用长短时记忆模型进行分割得到前景区域和背景区域，以及，依照时间顺序和第一间隔帧数将不同的单帧扫查影像分别标记为基准图像和待压缩图像；

步骤A2：对待压缩图像的背景区域进行纯色填充，以形成填充图像；

步骤A3：将基准图像和填充图像依照时间顺序进行组装得到待压缩视频流；

步骤A4：对待压缩视频流进行压缩后传输压缩视频流。

具体地，针对现有技术中的扫查影像在远程诊断场景中需要较大带宽的问题，本实施例中，针对扫查、图像重建得到的单帧扫查影像的时间序列，引入了长短时记忆模型。该长短时记忆模型能够通过对比时间序列上的多帧扫查影像来确定前景区域和背景区域。以颈动脉超声扫查为例，前景区域是指超声扫查图像中主要对应于动脉的区域，其在时间序列上会体现血流、脉搏等信息，而背景区域则是指颈部的其他组织部分，通常体现为相对固定的图像信息。考虑到该部分相对固定的图像信息在时间序列上的变化较小，且部分检查过程中对该部分图像信息的依赖程度较低，因此可考虑将背景区域去除来减少数据量。为实现较高压缩率，以及便于后续进行图像还原，采用了纯色填充的方式来去除背景区域，该颜色可根据实际需要进行调整，通常需要避开灰度图像的色彩范围。

进一步地，为避免完整去除背景区域对诊断过程的影响，本实施例中，还引入了“抽帧”的方式，依照预先设置的第一间隔帧数补入相应的基准图像，该基准图像相对于填充图像保留了完整的背景区域，可用于后续解压时对背景区域进行还原，形成相对完整的扫查图像，从而满足诊断要求。

作为可选的实施方式，长短时记忆模型包括：

预处理层，预处理层对输入的单帧扫查影像依照预设步长进行滑窗处理，形成多个图像块；

针对依照时间序列输入的每幅单帧扫查影像，其生成的图像块具有相同的像素区域；每个图像块上设置有对应的像素坐标范围和序号；

长短时记忆模块，长短时记忆模块接收输入的图像块，并依照序号计算得到每个像素坐标范围上的图像块之间的关联性；

筛选模块，筛选模块依照关联性和关联性阈值筛选得到关联性较低的像素坐标范围上的图像块作为疑似前景区域；

形态学模块，形态学模块依照预先设置的扫查部位对疑似前景区域进行形态学处理，以得到前景区域，并分割得到背景区域。

具体地，为实现较好的图像分割效果，本实施例中，引入了长短时记忆模型对图像进行处理。由于输入数据是由单帧扫查影像依次排列形成的图像序列，因此，通过引入长短时记忆模块，可以对单帧扫查影像中随时间变化程度较低的区域，即背景组织进行有效识别，而不易受到运动的前景区域，即，器官搏动的影响。该长短时记忆模块为典型的长短时记忆网络(Long Short-Term Memory，LSTM)，包括记忆细胞、输入门、输出门和遗忘门，还包括一个用于输出的全连接层；记忆细胞用于对图像中的重要信息进行暂存，输入门用于选择当前时刻输入记忆细胞的数据，遗忘门用于控制下一时刻时，记忆细胞中暂存的数据是否保留，输出门用于控制记忆细胞的输出是否对后续的模块产生影响。由于输入的图像块为同一位置上不同时间点的图像块，当组织结构相对固定时，记忆细胞的输出能够正常收敛，此时通过全连接层进行组织分类并给出相应的置信度。一般而言，置信度较高时，表明前后图像块的关联性较高，能够用于预测；而当置信度较低时，表明其关联性较低无法进行预测。通过预先实验容易构建对应的经验公式或量表进行转换，基于置信度生成关联性，并配置关联性阈值进行筛选。为避免输入的图像视野较大导致全连接层容易分类至特定器官的问题，还预先通过预处理层进行滑窗处理，将输入图像块替换为局部图像，从而对全连接层分类过程中的置信度进行了整体降低。同时，为避免图像中的伪影部分对识别产生影响，在确定了前景区域后，还进一步对前景区域进行了联通域检测、膨胀来一定程度上对前景区域的部分进行扩增，避免了前景区域的图像特征丢失过多。

在一个实施例中，如图2所示，步骤A1包括：

步骤A11：获取依次排列的单帧扫查影像，依照时间顺序和第一间隔帧数对单帧扫查影像进行分组，得到影像合并组；

步骤A12：于影像合并组中，将第一张单帧扫查影像作为基准图像，将其余的单帧扫查影像作为待压缩图像；

步骤A13：将影像合并组中的单帧扫查影像依次输入长短时记忆模型，得到组内前景区域作为前景区域；

步骤A2中，依照组内前景区域进行纯色填充。

具体地，考虑到实际扫查过程中扫查部位可能发生的变化，本实施例中，在识别前景区域之前，预先对单帧扫查影像进行分组，得到影像合并组，再在每个影像合并组中分别识别组内前景区域作为前景区域，而非将单次识别到的前景区域作为整体的前景区域使用，实现了更为准确的分割效果。

在一个实施例中，如图3所示，步骤A2包括：

步骤A21：对前景区域进行膨胀，以形成修正前景区域和修正背景区域；

步骤A22：将修正背景区域进行纯色填充，以得到填充图像。

具体地，为实现对前景区域中的图像信息较好的保留，本实施例中，在进行纯色填充之前，还预先对前景区域进行膨胀处理，从而形成了膨胀后的修正前景区域，随后基于修正前景区域对单帧扫查图像重新分割形成修正背景区域，再对修正背景区域进行纯色填充，以得到填充图像，避免了前景区域中的图像信息的过多损失。

在一个实施例中，如图4所示，于执行步骤S1之前还包括：

步骤A01：获取对应于单帧扫查影像的示例视频流，采用长短时记忆模型对示例视频流进行识别，以确定示例视频流中每一帧示例图像的前后关联性；

步骤A02：依照前后关联性对示例图像进行分组得到示例分组结果；

步骤A03：依照示例分组结果调整第一间隔帧数。

具体地，为实现较好的图像信息保留效果，本实施例中，在对单帧扫查图像进行分割之前，预先获取与单帧扫查影像具有相同扫查部位、扫查方式的示例视频流，该示例视频流能够反应出实际扫查过程中，随着扫查步骤的进行图像的变化情况，进而确定采用较长或较短的第一间隔帧数来减少图像中关键信息的丢失。

一种基于长短时记忆模型的扫查影像解压缩方法，适用于影像接收端，如图5所示，包括：

步骤B1：接收压缩视频流，对压缩视频流进行解压缩得到解压缩视频流，于解压缩视频流中提取得到基准图像和填充图像；

步骤B2：对填充图像进行识别得到纯色填充区域，依照纯色填充区域对基准图像进行分割得到背景区域；

步骤B3：基于背景区域对纯色填充区域进行替换，以将填充图像还原成待压缩图像。

具体地，在采用了上述的扫查影像压缩方法后，本实施例中通过构建上述解压缩方法来实现对图像的还原过程。其中，当接收到压缩视频流后，依照预先配置的解压算法对压缩视频流进行解压缩，得到解压缩视频流。该解压缩视频流中，包括基准图像和填充图像两部分图像，其中基准图像为完整的扫查图像，填充图像则仅包含分割后的前景部分和纯色填充部分。随后，通过对填充图像进行识别得到纯色填充区域，再依照相关的基准图像中的背景区域对其进行替换，从而实现了对填充图像的还原过程。

在一个实施例中，如图6所示，步骤B1包括：

步骤B11：接收并对压缩视频流进行解压缩，得到解压缩视频流；

步骤B12：于解压缩视频流中，对每一帧的视频图像的图像属性进行读取；

步骤B13：依照图像属性将视频图像划分为基准图像和填充图像。

具体地，为实现对基准图像和填充图像的识别，本实施例中，在接收到压缩视频流后，依照预先配置的解压算法对压缩视频流进行解压缩。随后，针对解压缩视频流，读取其视频图像的图像属性。该图像属性为视频图像的码率。通常情况下，由于填充图像相对于基准图像丢失了背景区域，因此在基准图像处视频的码率会突然增大。基于该规律容易提取到视频码率初始突变位置的基准图像，以及码率再次突变时体现出的帧数，即，第一预设数量，进而依次查找得到基准图像和填充图像。

在一个实施例中，如图7所示，步骤B2包括：

步骤B21：对多幅填充图像进行阈值分割，得到纯色填充区域；

步骤B22：对多幅纯色填充区域进行面积统计，以得到最大纯色填充区域；

步骤B23：依照最大纯色填充区域对基准图像进行分割，获取到对应于最大纯色填充区域的背景区域。

具体地，为实现较好的背景替换效果，本实施例中，在对基准图像和填充图像进行分组后，针对每一组中的多幅填充图像，采用预先划定的像素色彩阈值进行阈值分割，该像素色彩阈值与预先设置的填充颜色相关，从而得到纯色填充区域；随后，针对当前组内的纯色填充区域进行面积统计，通过像素数进行比较得到最大纯色填充区域。一般而言，考虑到纯色填充区域本质是扫查图像的边缘组织形成的背景图像，因此其面积仅会受到扫查对象在时间上的变化，比如组织的膨胀/收缩，进而发生改变，而总体位置不变。基于该方式，可以依照最大纯色填充区域对基准图像进行分割，从而筛选到能够对最大纯色填充区域进行完整替换的的背景区域作为素材。

在一个实施例中，如图8所示，步骤B3包括：

步骤B31：对当前获取的填充图像进行阈值分割以得到纯色填充区域，以及，获取对应于填充图像的基准图像；

步骤B32：将背景区域作为纯色填充区域的蒙版，以替换纯色填充区域，得到待压缩图像。

具体地，为实现较好的填充效果，在获取到作为替换素材的背景区域后，对当前需要处理的填充图像进行阈值分割以得到纯色填充区域，随后，将背景区域作为纯色填充区域的蒙版，从而实现对纯色填充区域，进而完成图像还原过程。此时，将待压缩图像重新放回视频流中，即可得到完整的扫查影像。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。