一种支气管镜图像的识别分类方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种支气管镜图像的识别分类方法、装置、设备及介质。

背景技术

肺癌是一种恶性肿瘤，早诊早治是提高肺癌患者生存的关键。

支气管镜钳夹活检、经皮穿刺活检和外科肺活检的引入虽然可以获取标本，然而获取的样本数量小，而且效率低，创伤大，有产生气胸的隐患，因此在临床上更多的经验性诊断。

今年虚拟导航辅助的有引导鞘的超声电子支气管技术被陆续引入临床，与以往的方式相比，虽然可以提高取样效率与诊断效率，但是，肺外周病变缺乏特定的影像学表现，容易被其他组织干扰，导致系统的误判。

因此，如何有效避免这些误判，提高系统识别的准确性是目前亟待解决的技术问题。

发明内容

鉴于上述问题，本发明提供了一种克服上述问题或者至少部分地解决上述问题的支气管镜图像的识别分类方法、装置、设备及介质。

第一方面，本发明提供了一种支气管镜图像的识别分类方法，包括：

获取支气管镜采集到的N个历史图像；

对所述N个历史图像中的部分历史图像增加对抗性补丁，得到针对所述部分历史图像中每个历史图像的变体，除所述部分历史图像之外的其他历史图像为非变体，所述对抗性补丁用于对所述部分历史图像造成识别干扰；

对所述非变体和所述变体分别进行预处理，得到初始图像；

对所述初始图像采用消融训练处理，得到训练数据；

基于所述训练数据，对视觉转换器进行训练，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，其中，所述视觉转换器包括坐标注意力模块以及自注意力模块；

获取待识别的目标图像；

基于所述目标图像和所述平滑分类器，得到所述目标图像的识别分类结果。

优选地，所述对所述非变体和所述变体均进行预处理，得到初始图像，包括：

对所述非变体和所述变体分别进行灰度值归一化、中心剪裁以及重采样的标准预处理，得到初始图像。

优选地，所述对所述非变体和所述变体分别进行灰度值归一化、中心剪裁以及重采样的标准预处理，得到初始图像，包括：

对所述非变体和所述变体分别进行灰度值归一化处理，得到归一化图片，使得所述归一化图片的像素灰度值分布在0～255之间；

将所述归一化图片从中心位置开始，剪裁出围绕所述中心位置预设长度和预设宽度的图片，得到剪裁图片；

对所述剪裁图片利用已采样点进行内插，得到初始图像。

优选地，所述对所述初始图像采用消融训练处理，得到训练数据，包括：

将每个初始图像切割，得到多个行向区域或者多个列向区域；

将所述多个行向区域或者多个列向区域分别进行标记，得到每个行向区域或者每个列向区域的标记令牌，其中，有所述对抗性补丁存在的行向区域或者列向区域的第一面积总和小于没有所述对抗性部分存在的行向区域或者列向区域的第二面积总和，将所述标记令牌作为训练数据，在以任一行向区域或者列向区域的标记令牌进行训练时，其他行向区域或者列向区域的标记令牌被屏蔽。

优选地，所述基于所述训练数据，对视觉转换器进行训练，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，其中，所述视觉转换器包括坐标注意力模块以及自注意力模块，包括：

将所述训练数据输入分类器中，得到针对每个历史图像的第一分类结果；

基于所述训练数据和所述第一分类结果，对所述视觉转换器进行训练，其中，所述坐标注意力模块用于增强所述训练数据的特征，所述自注意力模块用于提取所述特征，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，所述坐标注意力模块的输出连接所述自注意力模块的输入。

优选地，所述平滑分类器还用于对所述历史图像进行准确分类且可抵抗对抗样本造成的识别干扰。

第二方面，本发明还提供了一种支气管镜图像的识别分类装置，包括：

第一获取模块，用于获取支气管镜采集到的N个历史图像；

第一得到模块，用于对所述N个历史图像中的部分历史图像增加对抗性补丁，得到针对所述部分历史图像中每个历史图像的变体，除所述部分历史图像之外的其他历史图像为非变体，所述对抗性补丁用于对所述部分历史图像造成识别干扰；

第二得到模块，用于对所述非变体和所述变体分别进行预处理，得到初始图像；

第三得到模块，用于对所述初始图像采用消融训练处理，得到训练数据；

第四得到模块，用于基于所述训练数据，对视觉转换器进行训练，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，其中，所述视觉转换器包括坐标注意力模块以及自注意力模块；

第二获取模块，用于获取待识别的目标图像；

第五得到模块，用于基于所述目标图像和所述平滑分类器，得到所述目标图像的识别分类结果。

第三方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中所述的方法步骤。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序,该程序被处理器执行时实现第一方面中所述的方法步骤。

本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提供了一种支气管镜图像的识别分类方法，该方法包括：获取支气管镜采集到的N个历史图像；对N个历史图像中的部分历史图像增加对抗性补丁，得到针对该部分历史图像中每个历史图像的变体，除该部分历史图像之外的其他历史图像为非变体，对抗性部分用于对部分历史图像造成识别干扰；对非变体和变体均进行预处理，得到初始图像；对初始图像采用消融训练处理，得到训练数据；基于训练数据，对视觉转换器进行训练，得到平滑分类器，该平滑分类器用于对历史图像进行准确分类且可抵抗对抗性部分造成的识别干扰，其中，视觉转换器包括坐标注意力模块以及自注意力模块；获取待识别的目标图像；基于目标图像和平滑分类器，得到目标图像的识别分类结果，通过主动增加对抗性补丁，增加干扰的样本数量，并采用消融训练处理方式处理初始图像，得到训练数据，在训练中可提高对对抗性补丁的抗干扰能力，所采用的视觉转换器中包括了坐标注意力模块以及自注意力模块，通过增强特征的方式，提高识别准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：

图1示出了本发明实施例中支气管镜图像的识别分类方法的步骤流程示意图；

图2示出了本发明实施例中自注意力模块的结构示意图；

图3示出了本发明实施例中压缩-激励网络的结构示意图；

图4示出了本发明实施例中压缩-激励网络增加位置信息的结构示意图；

图5示出了本发明实施例中整体逻辑思路的示意图；

图6示出了本发明实施例中支气管镜图像的识别分类装置的示意图；

图7示出了本发明实施例中实现支气管镜图像的识别分类方法的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本发明的实施例提供了一种支气管镜图像的识别分类方法，如图1所示，包括：

S101，获取支气管镜采集到的N个历史图像；

S102，对N个历史图像中的部分历史图像增加对抗性补丁，得到针对部分历史图像中每个历史图像的变体，除该部分历史图像之外的其他历史图像为非变体，对抗性补丁用于对部分历史图像造成识别干扰；

S103，对非变体和变体均进行预处理，得到初始图像；

S104，对初始图像采用消融训练处理，得到训练数据；

S105，基于训练数据，对视觉转换器进行训练，得到平滑分类器，该平滑分类器用于对历史图像进行准确分类且可抵抗对抗性部分造成的识别干扰，其中，视觉转换器包括坐标注意力模块以及自注意力模块；

S106，获取待识别的目标图像；

S107，基于目标图像和平滑分类器，得到目标图像的识别分类结果。

首先，S101，获取支气管镜采集到的N个历史图像。

具体地，支气管镜从患者口或者鼻插入，深入到支气管时获取到图像信息，这些历史图像信息样本数量不多，而且，存在对抗性补丁的样本数量更少。

因此，需要手动增加具有干扰作用的样本。因此，执行S102，对N个历史图像中的部分历史图像增加对抗向补丁，得到针对部分历史图像中每个历史图像的变体，除部分历史图像之外的其他历史图像为非变体，对抗性补丁用于对该部分历史图像造成识别干扰。

具体地，对于部分历史图像来说，将每张历史图像的部分区域抠出，得到一个空白区域，然后，采用与该空白区域尺寸相同的相似图像对该空白区域打补丁，该相似历史图像有些能够用肉眼区分，有些则无法用肉眼区分，由此得到的历史图像为原历史图像的变体。其中，对抗性比补丁能够对识别造成干扰。对于除部分历史图像之外的其他历史图像则为非变体。

在得到变体和非变体之后，执行S103，对非变体和变体分别进行预处理，得到初始图像。

在一种可选的实施方式中，对非变体和百年提分别进行灰度值归一化、中心剪裁以及重采样的标准预处理，得到初始图像，该预处理是标准的预处理过程，当然，还有其他的变形处理，在此并不做限定。

具体地，先对非变体和变体分别进行灰度值归一化处理，得到归一化图片，使得归一化图片的像素灰度值分布在0～255之间，从而避免图片的对比度不足，对后续处理带来干扰；

将归一化图片从中心位置开始，剪裁出围绕中心位置预设长度和预设宽度的图片，得到剪裁图片，通过剪裁出尺寸相同的图片，有利于后续的处理；

对剪裁图片利用已采样点进行内插，得到初始图像，提高采样效率，同时也不会影响后续处理。

接下来，执行S104，对初始图像采用消融训练处理，得到训练数据。

具体地，将每个初始图像中切割，得到多个行向区域或者多个列项区域；

将多个行向区域或者多个列向区域分别进行标记，得到每个行向区域或者每个列向区域的标记令牌，其中，有对抗性部分存在的行向区域或者列向区域的第一面积总和小于没有对抗性补丁存在的行向区域或者列向区域的第二面子总和，将标记令牌作为训练数据，在以任一行向区域或者列项区域的标记令牌进行训练时，其他行向区域或者列向区域的标记令牌被屏蔽。

在具体的实施方式中，将一个初始图像分割为多个区域，可以是行向的区域也可以是列向的区域，而且分别进行编号，得到每个行向区域或者每个列向区域的标记令牌，列向的区域就是列状分割，将一个历史图像分割为多个柱状的小图像。由于对抗性补丁所在的区域范围小，而非对抗性补丁所处的区域范围大，对于整个图像来所，以任一行向区域或者列向区域作为训练数据训练时，其他区域都是被屏蔽的，而且，若该任一行向区域为非对抗性补丁所处的区域，那么对抗性部分所在的区域就会被屏蔽。

采用标记化方式，并对其他区域的标记令牌屏蔽，以便于后续处理过程中适用该标记令牌，降低了数据的复杂度，以提高处理效率。

接下来，进行训练，即执行S105，基于训练数据，对视觉转换器进行训练，得到平滑分类器，该平滑分类器用于对历史图像进行准确分类且可抵抗对抗性补丁造成的识别干扰，其中，视觉转换器包括坐标注意力模块以及自注意力模块。

具体地，将训练数据输入分类器中，得到针对每个历史图像的第一分类结果。

基于训练数据和第一分类结果，对视觉转换器进行训练，其中，坐标注意力模块用于增强训练数据的特征，自注意力模块用于提取该特征，得到平滑分类器，平滑分类器用于对历史图像进行准确分类且可抵抗对抗性补丁造成的识别干扰，坐标注意力模块的输出连接自注意力模块的输入。

对于变体来说，其分割为多个行向区域或者列向区域，将其输入分类器中，得到的第一分类结果可以根据多个行向区域或者列向区域的分类结果来确定的，由于存在对抗性补丁的行向区域或者列项区域的范围较小，则综合一个变体来说，其分类结果会忽略对抗性部分所对应的分类结果，由此，该第一分类结果可以忽略掉对抗性补丁对应的分类结果。进而提高了识别的鲁棒性。

下面对所采用的视觉转换器进行描述：

本发明中采用该视觉转换器而并非卷积网络作为其主干，主要是适用自注意力模块，能够忽略被屏蔽的区域。该自注意力模块如图2所示，对输入的训练数据创建三个向量，包括查询(query)向量，密钥(key)向量和输入元素设定值(value)向量，由查询(query)向量和密钥(key)向量产生自注意力，可以捕捉到长程的依赖性和适应性。

本发明主要采用通道注意力机制的自注意力模块，即压缩-激励网络，如图3所示，该压缩-激励网络分为压缩和激励两个部分，其中压缩部分的目的是对全局空间信息进行压缩，在通道维度进行特征学习，形成各个通道的重要性，最后通过激励部分对各个通道进行不同的权重分配。

采用该自注意力模块，可以忽略上述被屏蔽的区域的标记令牌，对其不进行处理。

由于压缩-激励网络只对通道施加了权重，而忽略了位置信息，即只考虑了通道间信息的编码而忽视了位置信息的重要性，而位置信息其实对于需要捕获目标结构的视觉任务至关重要。为了缓解二维全局池化造成的位置信息丢失，将通道注意力分解为两个并行的一维特征编码，将空间坐标信息(垂直和水平方向的)聚合为由两个独立方向感知特征注意力图，分别捕获沿此方向的长程依赖，最终保存了位置信息且用于增强特征图的表达能力。具体如图4所示。

为了提高识别的准确性，该视觉转换器中还包括：位于自注意力模块的输入之前的坐标注意力模块(CA)，用于增强特征表达能力。

对于一个视觉分类器来说，当且仅当n

其中，令Δ表示一个对抗性补丁最多可以同时相交的对抗性补丁的数目，对于宽度为b的列向区域的对抗性补丁来说，m×m的对抗性补丁，Δ＝m+b+1，在n

虽然，本发明中是对对抗性补丁具有鲁棒识别的效果，有利于提高识别的准确性，但是，本发明同样适用于对抗样本，对图像进行准确分类且抵抗对抗样本造成的识别干扰。

在对抗性补丁大小满足预设尺寸时，对同类型框架，比如mobile-net v2，以及加入了压缩-激励网络增强鲁棒性的框架，准确率增长了约1％～2％，约为74.6％，该对抗性补丁尺寸越小，则准确率越高。

上述是通过训练来得到该平滑分类器，接下来，执行S106和S107，对该平滑分类器进行应用。

S106，获取待识别的目标图像，当然，该目标图像即为支气管镜采集到的图像，接着，将该目标图像输入平滑分类器中，得到目标图像的识别分类结果。

当然，处理过程中，还是需要将目标图像进行切割，得到该目标图像的多个行向区域或者列项区域，并分别标记令牌，再输入平滑分类器中，最终得到分类结果。

采用上述的处理方式以及平滑分类器，能够提高识别准确性。

如图5所示，为本发明的整体逻辑思路。通过输入N个历史图像，接着对N个历史图像中的部分历史图像增加对抗性补丁，之后对变体和非变体进行预处理，然后进行消融训练，标记化等操作，输入该视觉转换器中进行训练，由此得到平滑分类器，该视觉转换器中包括坐标注意力模块(CA)以及自注意力模块，最终将平滑分类器进行应用。

本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提供了一种支气管镜图像的识别分类方法，该方法包括：获取支气管镜采集到的N个历史图像；对N个历史图像中的部分历史图像增加对抗性补丁，得到针对该部分历史图像中每个历史图像的变体，除该部分历史图像之外的其他历史图像为非变体，对抗性部分用于对部分历史图像造成识别干扰；对非变体和变体均进行预处理，得到初始图像；对初始图像采用消融训练处理，得到训练数据；基于训练数据，对视觉转换器进行训练，得到平滑分类器，该平滑分类器用于对历史图像进行准确分类且可抵抗对抗性部分造成的识别干扰，其中，视觉转换器包括坐标注意力模块以及自注意力模块；获取待识别的目标图像；基于目标图像和平滑分类器，得到目标图像的识别分类结果，通过主动增加对抗性补丁，增加干扰的样本数量，并采用消融训练处理方式处理初始图像，得到训练数据，在训练中可提高对对抗性补丁的抗干扰能力，所采用的视觉转换器中包括了坐标注意力模块以及自注意力模块，通过增强特征的方式，提高识别准确性。

实施例二

基于相同的发明构思，本发明实施例还提供了一种支气管镜图像的识别分类装置，如图6所示，包括：

第一获取模块601，用于获取支气管镜采集到的N个历史图像；

第一得到模块602，用于对所述N个历史图像中的部分历史图像增加对抗性补丁，得到针对所述部分历史图像中每个历史图像的变体，除所述部分历史图像之外的其他历史图像为非变体，所述对抗性补丁用于对所述部分历史图像造成识别干扰；

第二得到模块603，用于对所述非变体和所述变体分别进行预处理，得到初始图像；

第三得到模块604，用于对所述初始图像采用消融训练处理，得到训练数据；

第四得到模块605，用于基于所述训练数据，对视觉转换器进行训练，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，其中，所述视觉转换器包括坐标注意力模块以及自注意力模块；

第二获取模块606，用于获取待识别的目标图像；

第五得到模块607，用于基于所述目标图像和所述平滑分类器，得到所述目标图像的识别分类结果。

在一种可选的实施方式中，第二得到模块603，用于：

对所述非变体和所述变体分别进行灰度值归一化、中心剪裁以及重采样的标准预处理，得到初始图像。

在一种可选的实施方式中，第二得到模块603，具体用于：

对所述非变体和所述变体分别进行灰度值归一化处理，得到归一化图片，使得所述归一化图片的像素灰度值分布在0～255之间；

将所述归一化图片从中心位置开始，剪裁出围绕所述中心位置预设长度和预设宽度的图片，得到剪裁图片；

对所述剪裁图片利用已采样点进行内插，得到初始图像。

在一种可选的实施方式中，第三得到模块604，用于：

将每个初始图像切割，得到多个行向区域或者多个列向区域；

将所述多个行向区域或者多个列向区域分别进行标记，得到每个行向区域或者每个列向区域的标记令牌，其中，有所述对抗性补丁存在的行向区域或者列向区域的第一面积总和小于没有所述对抗性部分存在的行向区域或者列向区域的第二面积总和，将所述标记令牌作为训练数据，在以任一行向区域或者列向区域的标记令牌进行训练时，其他行向区域或者列向区域的标记令牌被屏蔽。

在一种可选的实施方式中，第四得到模块605，用于：

将所述训练数据输入分类器中，得到针对每个历史图像的第一分类结果；

基于所述训练数据和所述第一分类结果，对所述视觉转换器进行训练，其中，所述坐标注意力模块用于增强所述训练数据的特征，所述自注意力模块用于提取所述特征，得到平滑分类器，所述平滑分类器用于对所述历史图像进行准确分类且可抵抗所述对抗性补丁造成的识别干扰，所述坐标注意力模块的输出连接所述自注意力模块的输入。

在一种可选的实施方式中，所述平滑分类器还用于对所述历史图像进行准确分类且可抵抗对抗样本造成的识别干扰。

实施例三

基于相同的发明构思，本发明实施例提供了一种计算机设备，如图7所示，包括存储器704、处理器702及存储在存储器704上并可在处理器702上运行的计算机程序，所述处理器702执行所述程序时实现上述支气管镜图像的识别分类方法的步骤。

其中，在图7中，总线架构(用总线700来代表)，总线700可以包括任意数量的互联的总线和桥，总线700将包括由处理器702代表的一个或多个处理器和存储器704代表的存储器的各种电路链接在一起。总线700还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口706在总线700和接收器701和发送器703之间提供接口。接收器701和发送器703可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器702负责管理总线700和通常的处理，而存储器704可以被用于存储处理器702在执行操作时所使用的数据。

实施例四

基于相同的发明构思，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述支气管镜图像的识别分类方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个实施例中所明确记载的特征更多的特征。更确切地说，如每个实施例所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在具体实施方式中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的支气管镜图像的识别分类装置、计算机设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。