颈部淋巴结超声分区图像的生成系统和方法

技术领域

本申请涉及颈部淋巴结超声图的分析与处理，特别是涉及颈部淋巴结超声分区图像的生成系统和方法。

背景技术

在医学诊断方面，通过颈部超声准确评估淋巴结转移状态以及分区位置对肿瘤鉴别、寻找原发灶、颈部淋巴结清扫有重用价值。目前颈部淋巴结分区采用外科学分区标准分为六区，分区的依据来自于骨、肌肉、血管或神经等标志，由超声科医生主观判断，但是超声成像含斑点噪声、对比度低以及分区标记物未必能显示和辨认，超声科医生很难精确地对颈部淋巴结分区。随着深度学习领域的迅速发展，目前还未有基于深度学习的颈部淋巴结分区的研究。

发明内容

本申请要解决的技术问题是在超声图获取模块上获得的颈部淋巴结超声图像上如何实现对颈部淋巴结准确分区。

为解决上述技术问题，根据本申请的一个方面，提供一种颈部淋巴结超声分区图像的生成系统，包括：超声图获取模块，通过对患者的检查生成颈部淋巴结超声图像；超声图预处理模块，与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理；超声图分区模块，通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；热力图加载模块，通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及输出模块，输出可视化颈部淋巴结超声分区图像。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块，显示模块可显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括优化模块，优化模块可从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。

根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块可集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。

根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

根据本申请的实施例，超声图分区模块基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

根据本申请的实施例，超声图获取模块可包括常规B超机

根据本申请的另一方面，提供一种通过颈部淋巴结超声分区图像的生成系统生成颈部淋巴结超声分区图像的方法，颈部淋巴结超声分区图像的生成系统包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块，方法包括如下步骤：S1、通过超声图获取模块生成颈部淋巴结超声图像；S2、通过加载有OpenCv软件的超声图预处理模块对颈部淋巴超声图像进行预处理；S3、通过加载有经过训练的Transformer模型的超声图分区模块对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；S4、通过热力图加载模块选择Grad-cam、Grad-cam++、X-grad热力图程序在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及S5、通过输出模块输出超声分区图像。

根据本申请的实施例，系统还可包括显示模块，并且方法还可包括通过显示模块显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。

根据本申请的实施例，系统还可包括人工审核模块，并且方法还可包括通过人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。

根据本申请的实施例，系统还可包括优化模块，并且方法还可包括通过优化模块从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。

根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

根据本申请的实施例，超声图获取模块可包括常规B超机

与现有技术相比，根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法至少可实现如下有益效果：

因为根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。

超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。

在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。

通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。

可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本申请的一些实施例，而非对本申请的限制。

图1是根据本申请实施例的颈部淋巴结超声分区图像的生成系统的模块图。

图2是示出OpenCv模块的示意图。

图3是示出Transformer模型的示意图。

图4是根据本申请实施例的颈部淋巴结超声分区图像的生成的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

下面，结合附图描述本申请的实施例。

图1是根据本申请实施例的颈部淋巴结超声分区图像的生成系统的模块图。

参见图1，根据本申请的实施例，提供一种颈部淋巴结超声分区图像的生成系统，包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块，分述如下。

超声图获取模块通过对患者的检查生成颈部淋巴结超声图像。根据本申请的实施例，超声图获取模块例如可为常规B超机。然而，本申请的实施例不限于此，而是超声图获取模块也可为通过常规B型超声获取预定位置活体组织的常规二维超声图像的任何其它装置，例如，A型超声、M型超声、D型超声、彩超等装置。

超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理。

根据本申请的实施例，界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

图2是示出OpenCv模块的示意图。

如图2所示，OpenCV是一个跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。根据本申请的实施例，超声图预处理模块通过OpenCV软件对颈部淋巴结超声图像进行预处理。

超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

图3是示出Transformer模型的示意图。

如图3所示，Core是该模块包含OpenCV库的基础结构以及基本操作。因此，Transformer模型与上述的OpenCV具有良好的可兼容性。因为Transformer模型是微软公司的标准软件，所以在此不做进一步描述。

热力图加载模块通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。

输出模块，输出可视化颈部淋巴结超声分区图像。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块，显示模块可显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。

根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括优化模块，优化模块可从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。

根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块可集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。

根据本申请的实施例，超声图分区模块基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

关于颈部淋巴结六个分区的定义如下：

第一区域，包括颏下区即颌下区淋巴结，由二腹肌前腹与后腹围绕，上界为颌骨，下界为舌骨。

第二区域，为颈内静脉淋巴结上区，即二腹肌下，相当于颅底至舌骨水平，前界为胸骨舌骨肌侧缘，后界为胸锁乳突肌后缘。该区淋巴结常是喉癌转移首发部位，在临床中具有重要的参考价值。从影像学角度，建议采用颈内静脉后缘作为A和B区的分界。

第三区域，为颈内静脉淋巴结中区，上界为舌骨水平，下界为环状软骨下缘，前后界与第二区域相同。

第四区域，为颈内静脉淋巴结下区。从肩胛舌骨肌到锁骨上，前后界与第二区域相同，上界为第三区域的下界，下界为锁骨上水平。第二、三、四区域共同构成颈内静脉淋巴结链，收纳腮腺、颌下、颏下、咽后壁及颈前淋巴结的淋巴液，因此是经廓清术中的重点区域。

第五区域，为颈后三角淋巴结，包括枕后三角区及锁骨上淋巴结。后界为斜方肌前缘，前界为胸锁乳突肌后缘，下界为锁骨。

第六区域，为颈前区淋巴结。两侧界为颈动脉鞘内侧缘，上界为舌骨，下界为胸骨上切迹。

按照当前的颈部淋巴结的分区方法，除了六个区域的定义外，还有七个区域和八个区域的分区定义。在分区定义方式变化的情况下，根据本申请实施例的颈部淋巴结超声分区图像的生成系统仍然可做相应的变化，从而适应七个区域和八个区域的分区定义，因此七个区域和八个区域的分区定义仍在本申请的保护范围之内。

图4是根据本申请实施例的颈部淋巴结超声分区图像的生成的流程图。

参见图4，根据本申请的实施例，提供一种通过颈部淋巴结超声分区图像的生成系统生成颈部淋巴结超声分区图像的方法。在下面的描述中，为了避免冗余，将省略与参照图1-3描述的根据本申请实施例的颈部淋巴结超声分区图像的生成系统重复的描述。

如前所述，根据本申请实施例的颈部淋巴结超声分区图像的生成系统包括超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块和输出模块。优选地，根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括显示模块、人工审核模块和优化模块。此外，尽管图中没有示出，但是根据本申请的实施例，颈部淋巴结超声分区图像的生成系统还可包括如本领域技术人员所知的其它模块，例如，打印模块、存储模块、操作系统、学习模块等，而不再赘述。

根据本申请实施例的颈部淋巴结超声分区图像的生成方法包括如下步骤：S1、通过超声图获取模块生成颈部淋巴结超声图像；S2、通过加载有OpenCv软件的超声图预处理模块对颈部淋巴超声图像进行预处理；S3、通过加载有经过训练的Transformer模型的超声图分区模块对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区；S4、通过热力图加载模块选择Grad-cam、Grad-cam++、X-grad热力图程序在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像；以及S5、通过输出模块输出超声分区图像。

根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括显示模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过显示模块显示超声波预处理模块上预处理中的颈部淋巴结超声图像、超声图分区模块上分区过程中的颈部淋巴结超声图像、热力图加载模块加载热力图后的可视化颈部淋巴结超声分区图像、以及输出模块输出的可视化颈部淋巴结超声分区图像。

根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括人工审核模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过人工审核模块审核超声图预处理模块、超声图分区模块、热力图加载模块和输出模块的运行情况。人工审核模块在审核输出模块时可包括输入对可视化颈部淋巴结超声分区图像的结论性报告，并且可指示输出模块输出可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告。

根据本申请的实施例，根据本申请实施例的颈部淋巴结超声分区图像的生成系统还可包括优化模块，并且根据本申请实施例的颈部淋巴结超声分区图像的生成方法还可包括通过优化模块从输出模块接收可视化颈部淋巴结超声分区图像及对可视化颈部淋巴结超声分区图像的结论性报告，并且可通过机器深入学习和训练而不断优化超声图预处理模块、超声图分区模块和热力图加载模块。

根据本申请的实施例，超声图预处理模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，超声图预处理模块、超声图分区模块、热力图加载模块和输出模块集成在一台PC中。在某些情况下，超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块集成在一台PC中。甚至根据需要，超声图获取模块、超声图预处理模块、超声图分区模块、热力图加载模块、输出模块、显示模块、人工审核模块和优化模块可集成在一起。

根据本申请的实施例，超声图预处理模块的预处理可包括界面截取超声、超声边界标记清除以及超声内部十字标记清除。界面截取超声可包括通过使用OpenCv方法从附带界面信息的超声上截取超声图像，超声边界标记清除可包括通过OpenCv的图像修复算法对固定的边界标记进行清除，超声内部十字标记清除可包括通过分析连通区域的像素信息，定位超声图像中的十字标记位置，通过OpenCv图像修复算法对十字标记进行清除。

根据本申请的实施例，超声图分区模块的Transformer模型可为可进行不断训练和调整模型超参数的SwinTransformer模型。

根据本申请的实施例，超声图分区模块可基于颈部淋巴结六个分区的定义在颈部淋巴结超声图像上分区。

与现有技术相比，根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法至少可实现如下有益效果：

因为根据本申请实施例的颈部淋巴结超声分区图像的生成系统和方法采用传统的超声图获取模块来获取常规的超声波图像，并且由此通过处理获得准确的颈部淋巴结分区，所以无需对超声图获取模块进行任何改造，从而对B超成像本身的成本没有增加。

超声图预处理模块与超声图获取模块通信连接，从超声图获取模块接收颈部淋巴结超声图像，并且对颈部淋巴结超声图像通过其上加载的OpenCV软件进行预处理，从而可以获得去除各种噪声的清洗图像。

在清楚噪声的基础上，超声图分区模块通过其上加载的经过训练的Transformer模型对经过超声图预处理模块预处理的颈部淋巴结超声图像进行分区，因此获得精确的颈部淋巴结超声分区图像。

通过选择其上加载的Grad-cam、Grad-cam++、X-grad热力图程序，在超声图分区模块上分区后的颈部淋巴结超声图像上加载热力图，以形成可视化颈部淋巴结超声分区图像。因此，可使颈部淋巴结超声分区图像更加清晰，大大提高了其可视性。

可视化颈部淋巴结超声分区图像的形成可辅助医生进行临床决策，为医疗水平的提升提供了支持。同时，可视化颈部淋巴结超声分区图像的形成对于准确确定原病灶和临床医生精准手术提供了不可或缺的影像资料支持。

以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范围，本申请的保护范围由所附的权利要求确定。