幽门螺杆菌的数据增强方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种幽门螺杆菌的数据增强方法、装置、电子设备及存储介质。

背景技术

幽门螺杆菌(HP)感染与胃部疾病的发病密切相关，如胃炎、消化性溃疡、胃癌和淋巴瘤等。这意味着许多人需要进行胃粘膜活检以进行胃疾病诊断和HP检测。因此，对幽门螺杆菌进行自动检测变得尤为重要。HP数目检测是一种基于深度学习的幽门螺杆菌检测方法，它的关键之一就是需要大量的标注数据。

相关技术中，常见的幽门螺杆菌数据增强方法主要包括：随机翻转、随机裁剪、随机旋转、随机缩放以及噪声添加等，这些方法在实际应用中可能会出现数据偏移、模型过度拟合以及计算复杂度较高等问题。

发明内容

本发明提供了一种幽门螺杆菌的数据增强方法、装置、电子设备及存储介质，以实现生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

根据本发明的一方面，提供了一种幽门螺杆菌的数据增强方法，该方法包括：

获取待处理组织图像和幽门螺杆菌图像；

根据所述待处理组织图像中是否含有所述幽门螺杆菌，确定所述幽门螺杆菌图像在所述待处理组织图像中的合成位置；

基于所述合成位置对所述幽门螺杆菌图像和所述待处理组织图像进行图像合成，得到目标组织图像。

根据本发明的另一方面，提供了一种幽门螺杆菌的数据增强装置，该装置包括：

图像获取模块，用于获取待处理组织图像和幽门螺杆菌图像；

合成位置确定模块，用于根据所述待处理组织图像中是否含有所述幽门螺杆菌，确定所述幽门螺杆菌图像在所述待处理组织图像中的合成位置；

图像合成模块，用于基于所述合成位置对所述幽门螺杆菌图像和所述待处理组织图像进行图像合成，得到目标组织图像。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的幽门螺杆菌的数据增强方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的幽门螺杆菌的数据增强方法。

本发明实施例的技术方案，通过获取待处理组织图像和幽门螺杆菌图像，进一步的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，最后，基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像，解决了相关技术中可能会出现的数据偏移、模型过度拟合以及计算复杂度较高等问题，实现了根据原始样本数据生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，不仅扩充了数据集的数量，还扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性；同时，可以生成更加接近实际分布的数据集，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种幽门螺杆菌的数据增强方法的流程图；

图2是根据本发明实施例二提供的一种幽门螺杆菌的数据增强方法的流程图；

图3是根据本发明实施例三提供的一种幽门螺杆菌的数据增强方法的流程图；

图4是根据本发明实施例四提供的一种幽门螺杆菌的数据增强装置的结构示意图；

图5是实现本发明实施例的幽门螺杆菌的数据增强方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种幽门螺杆菌的数据增强方法的流程图，本实施例可适用于在不增加原始幽门螺杆菌样本数量的情况下，对幽门螺杆菌进行数据增强，以增加幽门螺杆菌样本数量的情况，该方法可以由幽门螺杆菌的数据增强装置来执行，该幽门螺杆菌的数据增强装置可以采用硬件和/或软件的形式实现，该幽门螺杆菌的数据增强装置可配置于终端和/或服务器中。如图1所示，该方法包括：

S110、获取待处理组织图像和幽门螺杆菌图像。

在本实施例中，待处理组织图像可以是需要进行图像处理的部位组织图像。部位组织图像可以是表征任意部位微观组织结构的图像。示例性的，待处理组织图像可以是待处理的胃粘膜组织图像。本领域技术人员应当理解，为了可以对针对某些部位的疾病情况进行系统地分析，一般情况下，可以先对已患有相应疾病的部位组织图像进行图像分析，从而，可以根据分析结果判断该部位的疾病引发原因。

需要说明的是，待处理组织图像可以是从医学影像设备中实时获取；也可以是从医学影像数据库中获取；还可以是接收于外部设备的图像传输，本实施例对此不作具体限定。

还需说明的是，部位组织图像通常是尺寸较大的图像，而进行图像处理所需的待处理组织图像通常是部位组织图像中其中一部分图像。因此，在确定待处理组织图像时，可以对已获取的部位组织图像进行图像分割。从而，可以得到满足条件的待处理组织图像。待处理组织图像的生成过程具体来说可以是：获取部位组织切片，并对部位组织切片进行数字化处理，得到原始组织图像；根据预设图像尺寸对原始组织图像进行划分，并对已划分的原始组织图像进行幽门螺杆菌标注，得到待处理组织图像。

其中，部位组织切片可以是供光学显微镜或电子显微镜观察的部位组织薄片。部位组织切片可以是幽门螺杆菌阳性(即包括幽门螺杆菌)的部位组织切片。示例性的，部位组织切片可以是包括幽门螺杆菌的胃粘膜组织切片。一般情况下，将部位组织切片放置在显微镜的观察区域，可以观察到该部位组织细胞的形态。数字化处理可以理解为，将该部位组织切片显示在显微镜下的图像存储在终端设备中。相应的，原始组织图像可以是表征部位组织细胞形态的图像。预设图像尺寸可以是预先设置的，用于对裁剪后的图像大小进行限定的图像尺寸。预设图像尺寸可以是任意尺寸，可选的，可以是512×512。本领域技术人员应当理解，幽门螺杆菌是一种附着在胃部或者十二指肠粘膜层上的细菌。在图像中，幽门螺杆菌一般表现为小的S形或弧形弯曲。

在实际应用中，可以首先获取包括幽门螺杆菌的部位组织切片，进而，通过高通量扫描仪对部位组织切片进行数字化处理，得到原始组织图像。进一步的，可以根据预设图像尺寸对原始组织图像进行划分，并对已划分的原始组织图像中的幽门螺杆菌进行标注。从而，可以得到待处理组织图像。需要说明的是，待处理组织图像可以包括含有幽门螺杆菌的图像和/或未含有幽门螺杆菌的图像。

需要说明的是，幽门螺杆菌的标注过程，可以是通过人工标注程序对已划分的原始组织图像进行标注，也可以是采用其他方式进行标注，本实施例对此不作具体限定。

在本实施例中，幽门螺杆菌图像可以是包括幽门螺杆菌的图像。其中，幽门螺杆菌图像可以是从真实组织图像中分割出来的图像；或者，也可以是通过预先学习幽门螺杆菌特征的生成模型所生成的图像。

S120、根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置。

在本实施例中，合成位置可以是将幽门螺杆菌图像添加至待处理组织图中的位置。合成位置也可以理解为，幽门螺杆菌图像在待处理组织图像中的摆放位置。

在实际应用中，已得到的待处理组织图像中可以包括含有幽门螺杆菌的图像和/或未含有幽门螺杆菌的图像。在得到待处理组织图像和幽门螺杆菌图像之后，在确定幽门螺杆菌图像在待处理组织图像中的合成位置时，可以根据待处理组织图像中是否含有幽门螺杆菌来确定。

可选的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，包括：根据待处理组织图像中是否含有幽门螺杆菌，确定与待处理组织图像对应的幽门螺杆菌摆放策略；基于幽门螺杆菌摆放策略，确定幽门螺杆菌生成图像在待处理组织图像中的合成位置。

在本实施例中，幽门螺杆菌摆放策略可以是对幽门螺杆菌的摆放位置进行限定的规则。一般情况下，幽门螺杆菌会定位在胃粘膜和上皮组织中，并且，幽门螺杆菌通常分布密集，因此，可以根据这些规则，对幽门螺杆菌的摆放位置进行合理预测。

在实际应用中，在得到待处理组织图像之后，可以根据每张待处理组织图像中是否含有幽门螺杆菌，分别确定与每张待处理组织图像对应的幽门螺杆菌摆放策略。

可选的，根据待处理组织图像中是否含有幽门螺杆菌，确定与待处理组织图像对应的幽门螺杆菌摆放策略，包括：在待处理组织图像中含有幽门螺杆菌的情况下，将幽门螺杆菌摆放策略确定为在已含有的幽门螺杆菌周围摆放；在待处理组织图像中未含有幽门螺杆菌的情况下，将幽门螺杆菌摆放策略确定为在空白区域摆放。

在本实施例中，已含有的幽门螺杆菌周围可以是在原有幽门螺杆菌周围随机摆放预设数量的幽门螺杆菌。其中，预设数量可以为任意值，可选的，可以是4个或5个。空白区域可以理解为待处理组织图像中的黏膜区域。

在实际应用中，在待处理组织图像中已经含有幽门螺杆菌的情况下，可以将幽门螺杆菌摆放策略确定为在已含有的幽门螺杆菌周围摆放。在待处理组织图像中未含有幽门螺杆菌的情况下，可以将幽门螺杆菌摆放策略确定为在空白区域摆放，且摆放预设数量的幽门螺杆菌。

进一步的，在待处理组织图像中含有幽门螺杆菌的情况下，可以在幽门螺杆菌周围随机确定多个幽门螺杆菌摆放位置，可以将这些幽门螺杆菌摆放位置作为合成位置。在待处理组织图像中未含有幽门螺杆菌的情况下，可以在待处理组织图像中空白区域确定多个幽门螺杆菌摆放位置，可以将这些幽门螺杆菌摆放位置作为合成位置。

S130、基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像。

在本实施例中，在确定与每张待处理组织图像对应的合成位置之后，针对每张待处理组织图像，可以将幽门螺杆菌图像按照合成位置合成至待处理组织图像中。从而，可以得到目标组织图像。其中，目标组织图像可以是在原有待处理组织图像中添加幽门螺杆菌后的图像。

在实际应用中，在确定每张待处理组织图像对应的合成位置的情况下，针对每张待处理组织图像，可以将幽门螺杆菌图像按照待处理组织图像对应的合成位置设置在待处理组织图像中。进而，可以采用泊松融合算法对设置后的幽门螺杆菌图像和待处理组织图像进行图像合成。从而，可以得到合成后的图像，即为目标组织图像。

其中，泊松融合算法是一种图像合成技术，可以将幽门螺杆菌图像和待处理组织图像合成为一个平滑、自然的图像。泊松融合算法的核心思想是基于梯度信息的优化。

本发明实施例的技术方案，通过获取待处理组织图像和幽门螺杆菌图像，进一步的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，最后，基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像，解决了相关技术中可能会出现的数据偏移、模型过度拟合以及计算复杂度较高等问题，实现了根据原始样本数据生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，不仅扩充了数据集的数量，还扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性；同时，可以生成更加接近实际分布的数据集，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

实施例二

图2是本发明实施例二提供的一种幽门螺杆菌的数据增强方法的流程图，在前述实施例的基础上，对S110作了进一步细化。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法包括：

S210、获取待处理组织图像，并根据含有幽门螺杆菌的待处理组织图像生成幽门螺杆菌图像。

在实际应用中，在得到已标注幽门螺杆菌的待处理组织图像的情况下，可以在已获取的待处理组织图像中将含有幽门螺杆菌的待处理组织图像筛选出并获取。进一步的，可以根据已获取的含有幽门螺杆菌的待处理组织图像确定幽门螺杆菌图像。

在实际应用中，由于幽门螺杆菌图像可以包括至少两种类型的图像，因此，幽门螺杆菌图像的生成方式可以包括至少两种。下面可以分别对这两种生成方式进行说明。

第一种幽门螺杆菌图像生成方式可以为：根据含有幽门螺杆菌的待处理组织图像确定幽门螺杆菌图像，包括：对含有幽门螺杆菌的待处理组织图像进行图像分割，得到与幽门螺杆菌对应的待处理分割图像，并将待处理分割图像作为幽门螺杆菌图像。

在本实施例中，待处理分割图像可以是幽门螺杆菌在待处理分割图像中的图像面积占比大于预设面积占比阈值的图像。预设面积占比阈值可以是任意值，可选的，可以是90％。

在实际应用中，在得到含有幽门螺杆菌的待处理组织图像之后，可以对已获取的含有幽门螺杆菌的待处理组织图像进行图像分割，得到幽门螺杆菌在图像中的面积占比大于预设面积阈值的待处理分割图像。从而，可以将已得到的待处理分割图像作为幽门螺杆菌图像。

可选的，对含有幽门螺杆菌的待处理组织图像进行图像分割，得到与幽门螺杆菌对应的待处理分割图像，包括：根据待处理组织图像中幽门螺杆菌对应的标注像素点和预设半径，确定待融合裁剪图像；对待融合裁剪图像和预设背景图像进行泊松融合处理，得到待处理裁剪图像；对待处理裁剪图像进行图像锐化处理，得到与幽门螺杆菌对应的待处理分割图像。

在本实施例中，标注像素点可以是幽门螺杆菌在图像中被标注的像素点；也可以理解为，图像中表征幽门螺杆菌的像素点。预设半径可以是预先设置的裁剪半径。预设半径可以是任意值，可选的，可以是8个像素点。预设背景图像可以是预先设置的，用于进行图像融合处理的背景图像。预设背景图像可以是任意背景图像，可选的，可以是白色背景图像。本领域技术人员应当理解，泊松融合是图像融合算法中的其中一种算法，其原理是将一张图像的一部分无缝融合到另一张图像中，保持融合部分的自然感觉。泊松融合利用了拉普拉斯方程的性质，将两幅图像的像素值作为边界条件，通过求解拉普拉斯方程得到融合后的图像。

在实际应用中，在得到含有幽门螺杆菌的待处理组织图像之后，可以将待处理组织图像中标注幽门螺杆菌的标注像素点作为中心，将预设半径作为裁剪半径，对待处理组织图像进行裁剪处理，得到裁剪后的图像，可以将裁剪后的图像作为待融合裁剪图像。进一步的，可以对待融合裁剪图像和预设背景图像进行泊松融合处理，得到融合后的图像，可以将融合后的图像作为待处理裁剪图像。为了进一步强化待处理裁剪图像中幽门螺杆菌的形状，可以对待处理裁剪图像进行图像锐化处理。从而，可以得到与幽门螺杆菌对应的待处理分割图像。

需要说明的是，由于裁剪后的图像，即，待融合裁剪图像的图像背景颜色较深，且存在细胞核等组织形态的干扰，在将待融合裁剪图像和预设背景图像进行融合之前，可以将待融合裁剪图像的图像尺寸扩大，并基于扩大后的待融合裁剪图像和预设背景图像进行泊松融合处理。示例性的，未扩大之前的待融合裁剪图像的图像尺寸可以是16×16；扩大后的待融合裁剪图像的图像尺寸可以是64×64。

可选的，对待处理裁剪图像进行图像锐化处理，得到与幽门螺杆菌对应的待处理分割图像，包括：对待处理裁剪图像进行二阶微分处理，得到待叠加图像；将待处理裁剪图像与待叠加图像进行相加，得到与幽门螺杆菌对应的待处理分割图像。

在本实施例中，二阶微分处理可以是对图像进行锐化处理的一种图像处理方式。一般情况下，二阶微分处理可以是利用二阶微分算子对图像进行处理。可选的，二阶微分算子可以包括拉普拉斯算子、拉普拉斯和高斯算子以及高斯差分算子。

在实际应用中，在得到待处理裁剪图像之后，为了可以使边缘信息在图像中更加明显，可以对待处理裁剪图像进行二阶微分处理，可以将处理后的图像作为待叠加图像。进一步的，可以将待处理裁剪图像和待叠加图像进行图像相加，可以将两张图像相加得到的图像作为幽门螺杆菌对应的待处理分割图像。这样设置的好处在于：通过将待处理裁剪图像与经过二阶微分处理的图像相加来得到所需的锐化效果，从而可以突出图像中的细节和纹理，并进一步减少图像中的模糊和噪声。

第二种幽门螺杆菌图像生成方式可以为：根据含有幽门螺杆菌的待处理组织图像确定幽门螺杆菌图像，包括：对含有幽门螺杆菌的待处理组织图像进行图像分割，得到与幽门螺杆菌对应的待处理分割图像；根据预先训练完成的数据增强模型对待处理分割图像进行处理，得到幽门螺杆菌生成图像，并将幽门螺杆菌生成图像作为幽门螺杆菌图像。

在本实施例中，数据增强模型可以是预先训练完成的，用于生成符合预设图像特征的图像的神经网络模型。示例性的，数据增强模型可以是深度卷积生成对抗网络模型(Deep Convolution Generative Adversarial Networks，DCGAN)。数据增强模型的核心是使用深度卷积神经网络来构建生成模型和判别模型，使其能够更好地生成高质量图像。在实际应用中，在应用数据增强模型之前，可以对待训练模型进行训练，以使待训练模型学习幽门螺杆菌的形态特征。从而，可以得到训练完成的数据增强模型。示例性的，假设数据增强模型是DCGAN模型，相应的，待训练模型的训练过程可以是训练一个生成器网络和一个判别器网络，使得生成器网络能够生成更加真实的图像，判别器网络能够准确地区分生成的图像和真实的图像，不断迭代，直到损失函数收敛。需要说明的是，为了可以使DCGAN模型更加有效地生成高质量的图像，在模型构建时，可以使用卷积神经网络来构建生成器和判别器；在生成器中使用反卷积层来生成更加真实的图像；使用Leaky ReLU激活函数来避免参数过度稀疏等。

在实际应用中，在得到与幽门螺杆菌对应的待处理分割图像之后，可以将待处理分割图像输入至预先训练完成的数据增强模型，以基于数据增强模型对待处理分割图像进行处理。进而，可以得到幽门螺杆菌生成图像，可以将幽门螺杆菌生成图像作为幽门螺杆菌图像。需要说明的是，输入至数据增强模型的待处理分割图像的数量可以为一张或多张。一张待处理分割图像可以对应于多张幽门螺杆菌生成图像，也就是说，将一张待处理分割图像输入至数据增强模型中，可以输出多张幽门螺杆菌生成图像。

需要说明的是，采用DCGAN来学习幽门螺杆菌的形态特征，从而生成幽门螺杆菌的图像。与传统的生成模型相比，DCGAN在像素级别建模，可以提高生成图像的纹理、颜色等细节。生成器可以通过大规模的图像数据来进行训练，从而提高了生成图像的真实度和可靠性。

S220、根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置。

S230、基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像。

本发明实施例的技术方案，通过获取待处理组织图像和幽门螺杆菌图像，进一步的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，最后，基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像，解决了相关技术中可能会出现的数据偏移、模型过度拟合以及计算复杂度较高等问题，实现了根据原始样本数据生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，不仅扩充了数据集的数量，还扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性；同时，可以生成更加接近实际分布的数据集，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

实施例三

图3是本发明实施例三提供的一种幽门螺杆菌的数据增强方法的流程图，在前述实施例的基础上，对S130作了进一步细化。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图3所示，该方法包括：

S310、获取待处理组织图像和幽门螺杆菌图像。

S320、根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置。

S330、将与幽门螺杆菌图像对应的蒙层按照预设透明度覆盖在待处理组织图像中的合成位置处，得到待融合图像。

本领域技术人员可以理解，蒙层即为覆盖在某一区域上的图层，并且，该图层可以为透明或者半透明状态。预设透明度可以以百分数的形式表示，通过预设透明度，可以将蒙层与无色透明度之间的阶段分为100份。可以理解，预设透明度值较低时，蒙层所呈现的效果更趋向于不透明；预设透明度值较高时，蒙层所呈现的效果更趋向于透明。预设透明度可以为任意值，可选的，可以为30％、40％或者50％等。

在实际应用中，针对每张待处理组织图像，在确定幽门螺杆菌图像在待处理组织图像中的合成位置的情况下，可以首先确定幽门螺杆菌图像对应的蒙层，即，将幽门螺杆菌图像作为蒙层。进一步的，将蒙层按照预设透明度覆盖在待处理组织图像中的合成位置处。从而，可以得到待融合图像。

S340、确定待融合图像中幽门螺杆菌图像对应的第一梯度信息与待处理组织图像对应的第二梯度信息。

需要说明的是，由于图像合成时每个图像片段之间都存在一些微小的颜色差异，这可能导致混合图像中出现边缘失真的问题。在幽门螺杆菌图像合成过程中，这种问题尤其明显。为了解决这个问题，可以对融合图像中的颜色梯度进行优化。

其中，第一梯度信息可以是表征幽门螺杆菌图像颜色梯度变化的信息。第一梯度信息可以表示为幽门螺杆菌图像对应的梯度场。相应的，第二梯度信息可以是表征待处理组织图像颜色梯度变化的信息。第二梯度信息可以表示为待处理组织图像对应的梯度场。需要说明的是，在本实施例中，是将幽门螺杆菌图像融合至待处理组织图像中，因此，可以将待处理组织图像对应的第二梯度信息作为在图像融合过程中起到指导作用的源梯度场；将幽门螺杆菌图像对应的第一梯度信息作为图像融合过程中起到背景图像作用的目标梯度场。

在实际应用中，在将幽门螺杆菌图像融合至待处理组织图像的过程中，可以根据预先部署的梯度信息确定算法确定待融合图像中幽门螺杆菌图像的梯度信息，进而，可以得到第一梯度信息。同时，可以根据梯度信息确定算法确定待融合图像中待处理组织图像的梯度信息，进而，可以得到第二梯度信息。

S350、根据第一梯度信息和第二梯度信息，对待融合图像进行处理，得到目标组织图像。

在本实施例中，在确定幽门螺杆菌图像对应的第一梯度信息和待处理组织图像对应的第二梯度信息之后，即可根据第一梯度信息和第二梯度信息，对待融合图像进行处理。从而，可以得到目标组织图像。

在实际应用中，对于每一张待融合图像，在得到幽门螺杆菌图像对应的第一梯度信息和待处理组织图像对应的第二梯度信息的情况下，会存在第一梯度信息大于第二梯度信息，或者，第一梯度信息不大于第二梯度信息的情况。对于这两种情况，可以分别对应不同的梯度信息处理方式对第一梯度信息和第二梯度信息进行处理。下面可以分别对这两种情况进行说明。

第一种情况可以为：根据第一梯度信息和第二梯度信息，对待融合图像进行处理，得到目标对象组织图像，包括：在第一梯度信息大于第二梯度信息的情况下，根据第一梯度信息和第二梯度信息，确定待融合图像的目标梯度信息，并基于目标梯度信息对待融合图像进行处理，得到目标对象组织图像。

在本实施例中，目标梯度信息可以是第一梯度信息和第二梯度信息融合后的梯度信息。

在实际应用中，在幽门螺杆菌图像对应的第一梯度信息大于待处理组织图像对应的第二梯度信息的情况下，可以将第一梯度信息和第二梯度信息按照一定比例融合，得到融合后的梯度信息，可以将融合后的梯度信息作为目标梯度信息。

可选的，根据第一梯度信息和第二梯度信息，确定待融合图像的目标梯度信息，包括：确定第一梯度信息对应的第一权重，以及，确定第二梯度信息对应的第二权重；将第一梯度信息与第一权重进行相乘，得到第一待叠加梯度信息，以及，将第二梯度信息与第二权重进行相乘，得到第二待叠加梯度信息；对第一待叠加梯度信息和第二待叠加梯度信息进行相加，得到待融合图像的目标梯度信息。

在本实施例中，第一权重可以为第一梯度信息对应的权重值。第二权重可以为第二梯度信息对应的权重值。需要说明的是，第一权重和第二权重相加之后的和为1，并且，第一权重和第二权重可以是相等的权重值，也可以是不相等的权重值。示例性的，第一权重可以是0.7；第二权重可以是0.3。

在实际应用中，确定第一梯度信息对应的第一权重，以及，确定第二梯度信息对应的第二权重。进一步的，可以将第一梯度信息和第一权重相乘，得到第一待叠加梯度信息；同时，将第二梯度信息和第二权重相乘，得到第二待叠加梯度信息。之后，可以将已得到的第一待叠加梯度信息和第二待叠加梯度信息相加。从而，可以得到待融合图像对应的目标梯度信息。

示例性的，可以基于如下公式确定目标梯度信息：

其中，v(x)表示目标梯度信息；0.7表示第一权重；

第二种情况可以为：根据第一梯度信息和第二梯度信息，确定待融合图像的目标梯度信息，包括：在第一梯度信息不大于第二梯度信息的情况下，将第二梯度信息作为待融合图像的目标梯度信息，并基于目标梯度信息对待融合图像进行处理，得到目标组织图像。

在实际应用中，在幽门螺杆菌图像对应的第一梯度信息不大于待处理组织图像对应的第二梯度信息的情况下，可以将第二梯度信息作为待融合图像的目标梯度信息。进而，可以根据目标梯度信息对待融合图像进行处理。从而，可以得到目标组织图像。

需要说明的是，改进的泊松融合的混合梯度算法相对于一般的泊松融合方法有以下优势：1)更快的收敛速度：采用混合梯度算法可以加快收敛速度，因为该算法在每次迭代中同时考虑正梯度和负梯度，从而更快地找到最优解。2)更高的图像质量：采用混合梯度算法可以减少图像合成的误差，从而得到更高质量的图像。这是因为该算法考虑了正梯度和负梯度对于图像整体的影响，从而能够更准确地拟合图像。3)更强的适应性：改进后的泊松融合算法可以根据输入的图像自动调整梯度权重，更完整地保留幽门螺杆菌的形态。

本发明实施例的技术方案，通过获取待处理组织图像和幽门螺杆菌图像，进一步的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，最后，基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像，解决了相关技术中可能会出现的数据偏移、模型过度拟合以及计算复杂度较高等问题，实现了根据原始样本数据生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，不仅扩充了数据集的数量，还扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性；同时，可以生成更加接近实际分布的数据集，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

实施例四

图4是本发明实施例四提供的一种幽门螺杆菌的数据增强装置的结构示意图。如图4所示，该装置包括：图像获取模块410、合成位置确定模块420以及图像合成模块430。

其中，图像获取模块410，用于获取待处理组织图像和幽门螺杆菌图像；合成位置确定模块420，用于根据所述待处理组织图像中是否含有所述幽门螺杆菌，确定所述幽门螺杆菌图像在所述待处理组织图像中的合成位置；图像合成模块430，用于基于所述合成位置对所述幽门螺杆菌图像和所述待处理组织图像进行图像合成，得到目标组织图像。

本发明实施例的技术方案，通过获取待处理组织图像和幽门螺杆菌图像，进一步的，根据待处理组织图像中是否含有幽门螺杆菌，确定幽门螺杆菌图像在待处理组织图像中的合成位置，最后，基于合成位置对幽门螺杆菌图像和待处理组织图像进行图像合成，得到目标组织图像，解决了相关技术中可能会出现的数据偏移、模型过度拟合以及计算复杂度较高等问题，实现了根据原始样本数据生成不同风格、不同内容的幽门螺杆菌合成图像的效果，进而，不仅扩充了数据集的数量，还扩展了数据集的多样性，提高了幽门螺杆菌检测模型的可适应性和可扩展性；同时，可以生成更加接近实际分布的数据集，提高了幽门螺杆菌检测模型的泛化能力、鲁棒性以及检测准确率。

可选的，所述装置还包括：幽门螺杆菌图像生成模块。

幽门螺杆菌图像生成模块，用于根据所述含有幽门螺杆菌的待处理组织图像生成幽门螺杆菌图像。

可选的，幽门螺杆菌图像生成模块包括：幽门螺杆菌分割图像确定单元、图像分割单元以及幽门螺杆菌生成图像确定单元。

幽门螺杆菌分割图像确定单元，用于对所述含有幽门螺杆菌的待处理组织图像进行图像分割，得到与幽门螺杆菌对应的待处理分割图像，并将所述待处理分割图像作为所述幽门螺杆菌图像；或者，

图像分割单元，用于对所述含有幽门螺杆菌的待处理组织图像进行图像分割，得到与幽门螺杆菌对应的待处理分割图像；

幽门螺杆菌生成图像确定单元，用于根据预先训练完成的数据增强模型对所述待处理分割图像进行处理，得到幽门螺杆菌生成图像，并将所述幽门螺杆菌生成图像作为所述幽门螺杆菌图像。

可选的，幽门螺杆菌分割图像确定单元包括：图像裁剪子单元、图像融合子单元以及图像锐化处理子单元。

图像裁剪子单元，用于根据所述待处理组织图像中幽门螺杆菌对应的标注像素点和预设半径，确定待融合裁剪图像；

图像融合子单元，用于对所述待融合裁剪图像和预设背景图像进行泊松融合处理，得到待处理裁剪图像；

图像锐化处理子单元，用于对所述待处理裁剪图像进行图像锐化处理，得到与幽门螺杆菌对应的待处理分割图像。

可选的，图像锐化处理子单元，具体用于对所述待处理裁剪图像进行二阶微分处理，得到待叠加图像；将所述待处理裁剪图像与所述待叠加图像进行相加，得到与幽门螺杆菌对应的待处理分割图像。

可选的，合成位置确定模块包括：摆放策略确定单元和合成位置确定单元。

摆放策略确定单元，用于根据所述待处理组织图像中是否含有幽门螺杆菌，确定与所述待处理组织图像对应的幽门螺杆菌摆放策略；

合成位置确定单元，用于基于所述幽门螺杆菌摆放策略，确定所述幽门螺杆菌生成图像在所述待处理组织图像中的合成位置。

可选的，摆放策略确定单元包括：摆放策略第一确定子单元和摆放策略第二确定子单元。

摆放策略第一确定子单元，用于在所述待处理组织图像中含有幽门螺杆菌的情况下，将所述幽门螺杆菌摆放准则确定为在已含有的幽门螺杆菌周围摆放；

摆放策略第二确定子单元，用于在所述待处理组织图中未含有幽门螺杆菌的情况下，将所述幽门螺杆菌摆放准则确定为在空白区域摆放。

可选的，图像合成模块包括：图像融合子模块、梯度信息确定子模块以及目标组织图像确定子模块。

图像融合子模块，用于将与所述幽门螺杆菌图像对应的蒙层按照预设透明度覆盖在所述待处理组织图像中的合成位置处，得到待融合图像；

梯度信息确定子模块，用于确定所述待融合图像中所述幽门螺杆菌图像对应的第一梯度信息与所述待处理组织图像对应的第二梯度信息；

目标组织图像确定子模块，用于根据所述第一梯度信息和所述第二梯度信息，对所述待融合图像进行处理，得到所述目标组织图像。

可选的，目标组织图像确定子模块包括：目标组织图像第一确定单元和目标组织图像第二确定单元。

目标组织图像第一确定单元，用于在所述第一梯度信息大于所述第二梯度信息的情况下，根据所述第一梯度信息和所述第二梯度信息，确定所述待融合图像的目标梯度信息，并基于所述目标梯度信息对所述待融合图像进行处理，得到所述目标组织图像；

目标组织图像第二确定单元，用于在所述第一梯度信息不大于所述第二梯度信息的情况下，将所述第二梯度信息作为所述待融合图像的目标梯度信息，并基于所述目标梯度信息对所述待融合图像进行处理，得到所述目标组织图像。

可选的，目标组织图像第一确定单元包括：权重确定子单元、相乘处理子单元以及相加处理子单元。

权重确定子单元，用于确定所述第一梯度信息对应的第一权重，以及，确定所述第二梯度信息对应的第二权重；

相乘处理子单元，用于将所述第一梯度信息与所述第一权重进行相乘，得到第一待叠加梯度信息，以及，将所述第二梯度信息与所述第二权重进行相乘，得到第二待叠加梯度信息；

相加处理子单元，用于对所述第一待叠加梯度信息和所述第二待叠加梯度信息进行相加，得到所述待融合图像的目标梯度信息。

本发明实施例所提供的幽门螺杆菌的数据增强装置可执行本发明任意实施例所提供的幽门螺杆菌的数据增强方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5给出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如幽门螺杆菌的数据增强方法。

在一些实施例中，幽门螺杆菌的数据增强方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的幽门螺杆菌的数据增强方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行幽门螺杆菌的数据增强方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。