一种用于创伤的视觉识别检测系统及其检测方法

技术领域

本发明涉及视觉检测的技术领域，具体涉及一种用于创伤的视觉识别检测系统及其检测方法。

背景技术

一些创伤，如深度烧伤、严重的皮肤割裂伤、骨折和感染等，可能导致伤口难以愈合，并发展为慢性伤口。现有的伤口测量、评估方式多数为肉眼评估的方式，手动观察，肉眼评估也是最基本的测量评估方式。这种方式的缺点在于较为依赖临床医生和医护人员的经验和主观判断，因为其治疗周期长，医生每次诊断都需要对伤口重新进行判断，而每一次对伤口现状的判断也不一定相同，这样会导致治疗效率低下，数据失去可靠性，且对于经验较少的医护人员可能会对伤口的判断存在偏差，导致数据不太可靠，也会影响此后治疗的进度，给医护人员带来巨大的工作量。其次，在评估伤口的过程中，医护人员难以避免地可能会接触到伤口，有的伤口需要极其干净地恢复环境，这也会对治疗造成困扰。因此，训练一个能够对慢性伤口进行多分类的模型具有非常重要的意义。传统方法进行创伤识别测量的步骤繁琐，准确率低。基于深度学习的创伤识别需要依赖于大型数据集才能真正发挥深度神经网络能力，然而关于伤口图像分割识别的大型数据集几乎没有，而制作大型伤口图像分割数据集需要大量人工标记，耗费大量时间和精力，而较小的数据集训练的网络识别效果欠佳，难以发挥视觉神经网络的优势。

如申请公开号为CN111523507A的专利公开了一种人工智能伤口评估面积测算方法及装置，其中该方法包括以下步骤：S1、构建用于伤口评估面积测算的特征提取网络及卷积神经网络；S2、拍摄伤口图片并使用深度学习标注工具标注伤口图片；S3、基于标注的伤口图片生成伤口图片训练集；S4、将伤口图片训练集输入到特征提取网络及卷积神经网络进行图像数据训练，产生训练模型；S5、基于训练好的特征提取网络及卷积神经网络，对拍摄的伤口图片进行伤口评估面积测算获取创伤信息。有益效果是通过人工智能算法，节省人力资源、提高效率和准确率。

如申请公开号为CN114627067A的专利公开了一种基于图像处理的伤口面积测量及辅助诊疗方法，包括建立数据集模块，图像识别模块，图像增强模块，图像分割和轮廓提取模块，面积计算模块。该发明的一种基于图像处理的伤口面积测量及辅助诊疗方法，通过图像处理的方法，具体是伤口纹理的边缘检测，计算面积相当于图像的像素级别，结果更加精准，方法中的图像识别模块，在准确识别伤口类型后，能够进一步识别伤口是否为复合型伤口，且是哪几种伤口的复合型表现，足够准确的识别结果能够为临床用药护理提供有效的参考。

以上专利都存在本背景技术提出的问题：采用较小的数据集训练的网络识别效果欠佳，难以发挥神经网络的优势。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种用于创伤的视觉识别检测系统及其检测方法，进行自动化创伤识别，帮助医务人员更快速地制定治疗方案、评估伤情，并跟踪创伤愈合的进展。

为解决上述技术问题，本发明提供如下技术方案：

一方面，本发明提供一种用于创伤的视觉识别检测系统，包括图像获取模块、图像预处理模块、视觉神经网络模块、创伤分析模块、数据存储管理模块、结果显示模块；其中：

图像获取模块用于获取患者的创伤图像；

图像预处理模块用于对所述创伤图像进行预处理；

视觉神经网络模块用于识别创伤区域和创伤状态；

创伤分析模块用于计算创伤数据、评估创伤的恢复趋势，并推荐治疗方案；

数据存储管理模块用于存储患者的创伤数据和治疗记录；

结果显示模块用于显示创伤数据、恢复趋势和推荐治疗方案。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述预处理包括调整大小、降噪、归一化；其中，调整大小的方法为填充和裁剪；降噪的方法为双边滤波；归一化的方法为Min-Max归一化。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述视觉神经网络模块包括创伤区域分割单元、创伤图像裁剪单元、创伤状态识别单元；其中，创伤区域分割单元用于从创伤图像中识别并分割出创伤区域；创伤图像裁剪单元用于裁剪区域分割后的创伤图像；创伤状态识别单元基于裁剪后的创伤图像识别创伤状态。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述创伤区域分割单元采用改进的ResNet-50模型，包括以下结构：

输入层，输入图像尺寸为224*224，通道数为3；

初始卷积层，采用7*7的卷积核，步长为2；

初始池化层，采用3*3的池化核，步长为2，池化方法为最大池化；

残差连接层，包含4个残差阶段，其中第一个残差阶段有3个残差块，第二个残差阶段有4个残差块，第三个残差阶段有6个残差块，第四个残差阶段有3个残差块，每个残差块内部署卷积层和批量归一化层；

全卷积层，卷积核大小和步长通过训练来优化；

转置卷积层，采用3*3的卷积核，步长为1；

输出层，采用sigmoid函数作为激活函数，实现像素级别的图像分割，公式如下：

；

其中，

若

若

其中，

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述转置卷积层共有5层，每层转置卷积层进行转置卷积的方法均如下：首先对特征图的像素矩阵进行插值，在任意相邻的两个像素点之间插入一个像素值为0的像素点，然后进行填充，在差值后的像素矩阵的上方和下方添加像素值全为0的行，在左侧和右侧添加像素值全为0的列；最后对插值和填充后的特征图进行卷积；最后一个转置卷积层的输出是大小为224*224的特征图。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述创伤状态识别单元包括图像输入子单元、特征提取子单元、特征融合子单元、分类器子单元；其中：

图像输入子单元用于接收图像分割后的创伤图像；

特征提取子单元由卷积层和池化层组成，用于提取创伤图像的局部特征；

特征融合子单元由展开层构成，用于所述局部特征的整合；

分类器子单元由全连接层和输出层组成，用于实现创伤的状态分类，识别创伤状态。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述创伤状态共有5类，分别为干性坏死期、炎症反应期、肉芽生长期、上皮形成期、伤口感染；

采用softmax函数来进行创伤的状态识别，公式如下：

；

其中，

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述创伤图像裁剪单元进行创伤图像裁剪的方法如下：

确定裁剪框的大小；

计算创伤区域的中心坐标，统计创伤区域的像素点的坐标值，将最大横坐标记作

将裁剪框的中心坐标与创伤区域的中心坐标对齐，然后根据确定好的裁剪框的大小，在红外图像上标注出裁剪框的位置；根据标注好的裁剪框对创伤图像进行裁剪。

作为本发明所述用于创伤的视觉识别检测系统的一种优选方案，其中：所述创伤分析模块计算的创伤数据包括伤口长度、伤口宽度、伤口面积；评估创伤的恢复趋势的方法为将本次计算的创伤数据和创伤状态识别结果与历史创伤数据和创伤状态进行对比，分析创伤的恢复趋势，并根据创伤状态和恢复趋势推荐治疗方案。

第二方面，本发明提供一种用于创伤的视觉识别检测方法，包括以下步骤：

S1：获取患者的创伤图像；

S2：对创伤图像进行预处理；

S3：对预处理后的创伤图像进行创伤区域分割；

S4：将分割后的创伤图像进行图像裁剪；

S5：对裁剪后的创伤图像进行状态识别；

S6：根据创伤区域分割和状态识别的结果计算创伤数据，评估创伤的恢复趋势；

S7：根据创伤状态和恢复趋势推荐治疗方案。

第三方面，本发明提供一种电子设备，包括存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现本发明所述的一种用于创伤的视觉识别检测方法的操作。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时，实现本发明所述的一种用于创伤的视觉识别检测方法。

与现有技术相比，本发明所达到的有益效果如下：

在大量数据训练下，视觉神经网络能够准确地识别分类不同阶段的创伤，可以提高医疗工作效率，帮助医生更快速地对患者的创伤进行诊断。本发明能够进行自动化创伤识别，减少了主观判断的误差，在辅助医疗决策方面发挥了积极作用，提高创伤识别和测量的效率和准确性，帮助医务人员更快速地制定治疗方案、评估伤情，并跟踪创伤愈合的进展。

在创伤识别前进行图像分割，确定创伤部位的感兴趣区域，将注意力集中在创伤部位，有助于提高识别的效率和准确性，减少后续处理的计算和时间成本。利用在ImageNet数据集上预训练的ResNet50网络作为视觉神经网络的特征提取器，能够充分发挥深度神经网络的优势，提取到足够多的图像信息，使图像可以更好地适应深度学习或机器学习模型的需求，提高模型对创伤的识别准确性和鲁棒性，提高了创伤识别的准确性、效率和可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明提供的用于创伤的视觉识别检测系统的结构示意图；

图2为本发明提供的用于创伤的视觉识别检测方法的流程图；

图3为本发明提供的创伤区域分割单元的结构示意图；

图4为本发明提供的创伤状态识别单元的结构示意图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

实施例1

本实施例介绍一种用于创伤的视觉识别检测系统，参照图1，该系统包括图像获取模块、图像预处理模块、视觉神经网络模块、创伤分析模块、数据存储管理模块、结果显示模块；其中：

图像获取模块用于获取患者的创伤图像；

图像预处理模块用于对所述创伤图像进行预处理；

该模块集成图像处理和分析程序，用于对摄取的图像进行预处理；包括降噪、调整大小、归一化，以提高图像质量。其中，调整大小的方法为填充和裁剪；降噪的方法为双边滤波；归一化的方法为Min-Max归一化。

Min-Max归一化能够将数据缩放到一个统一的范围内，这有助于提高模型的训练效果和泛化能力，同时也可以加速模型的收敛过程。

双边滤波是一种结合了空间域和灰度相似性的滤波方法，能够在保持图像边缘清晰的同时减少噪声。双边滤波考虑了像素之间的空间距离和颜色相似性，对于创伤图像的降噪和保留重要信息都有良好效果。

填充和裁剪：将图像的短边缩放到与神经网络的输入尺寸相同，然后在较长的边上进行填充或裁剪，以使图像尺寸与神经网络的输入尺寸完全匹配。这种方法可以保持创伤图像的纵横比，并减少信息丢失。

视觉神经网络模块用于识别创伤区域和创伤状态；包括创伤区域分割单元、创伤图像裁剪单元、创伤状态识别单元；其中，创伤区域分割单元用于从创伤图像中识别并分割出创伤区域；创伤图像裁剪单元用于裁剪区域分割后的创伤图像；创伤状态识别单元基于裁剪后的创伤图像识别创伤状态。其中：

所述创伤区域分割单元采用改进的ResNet-50模型，参照图3，该单元包括以下结构：

输入层，输入图像尺寸为224*224，通道数为3；

初始卷积层，采用7*7的卷积核，步长为2；

初始池化层，采用3*3的池化核，步长为2，池化方法为最大池化；

残差连接层，包含4个残差阶段，其中第一个残差阶段有3个残差块，第二个残差阶段有4个残差块，第三个残差阶段有6个残差块，第四个残差阶段有3个残差块，每个残差块内部署卷积层和批量归一化层；

全卷积层，卷积核大小和步长通过训练来优化；

在ResNet-50的基础上添加一系列的全卷积层来改变特征图的空间维度和通道数。这些全卷积层的作用是提取特征并逐渐减小特征图的空间尺寸，同时保留重要的语义信息，并使用ReLU等激活函数来引入非线性。

转置卷积层，采用3*3的卷积核，步长为1；

通过转置卷积层来将特征图进行上采样，恢复到输入图像相同的空间尺寸。转置卷积层可以实现空间维度的恢复，将特征图放大到与输入图像相同的尺寸，从而能够进行像素级的预测。转置卷积过程对特征图有一定程度的平滑和去噪，从而减少了来自原始图像的低级噪声和细节信息，使得最终的特征图更适合用于分割任务。

首先下载预训练好的ResNet50模型，作为创伤区域分割单元的特征提取器。ResNet50模型是在ImageNet数据集上预训练的。ImageNet数据集是一个大型的图像分类数据集，含有120万张图片，1000个类别，该数据集足够大，训练出来的模型能够充分发挥神经网络的优势，训练出的ResNet50模型能够充分提取图像特征。

对ResNet50模型的结构进行调整以适应图像分割的任务。在进行图像分割任务时，需要密集的像素级预测，因此需要保留尺寸较大的特征图，而全局平均池化会导致丢失特征图中的空间信息。因此，首先去掉ResNet50模型的全局平均池化层，以确保输出特征图的空间信息得以保留。然后将ResNet-50的全连接层替换为全卷积层，以便可以接受任意尺寸的输入并输出密集的像素级预测。在全卷积层之后添加转置卷积层，用于将卷积特征图恢复到与输入图像相同的尺寸。这样能够实现像素级别的预测，即生成与输入图像相同尺寸的分割结果图。通过添加一系列的卷积层和转置卷积层来将ResNet-50转换为全卷积网络，最后添加一个输出层来生成分割结果。

所述转置卷积层共有5层，每层转置卷积层进行转置卷积的方法均如下：首先对特征图的像素矩阵进行插值，在任意相邻的两个像素点之间插入一个像素值为0的像素点，然后进行填充，在插值后的像素矩阵的上方添加两行像素值全为0的行，下方添加1行像素值全为0的行，在左侧添加两列像素值全为0的列，右侧添加1列像素值全为0的列；最后对插值和填充后的特征图进行卷积；最后一个转置卷积层的输出是大小为224*224的特征图。

原始图像中包含了大量的低级视觉特征和细节信息，而这些信息并不一定对于分割任务有着决定性的作用。相比之下，经过神经网络处理后得到的特征图，其中蕴含了更多的语义信息和高层次的抽象特征，这些特征更适合用于进行分割任务。

输出层，采用sigmoid函数作为激活函数，实现像素级别的图像分割，公式如下：

；

其中，

若

若

其中，

对上采样后的特征图中的每一个像素位置进行激活函数的处理。

在进行图像分割的网络训练时，保留特征提取模块的参数，不对其进行随机初始化；对部署的全卷积层和转置卷积层、输出层的参数进行随机初始化。采集创伤图片，进行数据增广，通过图像裁剪、翻转、旋转、添加噪声来生成相似但不同的训练图片，扩充数据集，从而减少模型训练时对图像中某些无关属性的依赖，使模型的泛化性更好。用Lableme软件对每张图片进行标注。用多边形将创伤区域勾勒出来，并生成分割后的图片，构建用于创伤区域分割网络的训练集。

使用Keras作为深度学习框架，来训练创伤识别子单元的视觉神经网络。

参照图4，所述创伤状态识别单元包括图像输入子单元、特征提取子单元、特征融合子单元、分类器子单元；其中：

图像输入子单元用于接收图像分割后的创伤图像；输入图像的大小为128*128，并且有RGB三个通道。

特征提取子单元用于提取创伤图像的局部特征；

卷积层和池化层组成的部分构成了特征提取子单元。这些层对输入图像进行卷积操作并通过非线性激活函数提取图像中的特征，然后通过池化操作降低特征图的维度。本实施例使用了3个卷积层，每个卷积层都使用了ReLU激活函数来引入非线性。随着层级的增加，卷积核的数量也逐渐增加，以便从图像中提取更高级别的特征。在每个卷积层之后添加了最大池化层，以降低特征图的维度，帮助模型对位置和尺寸的变化具有一定的鲁棒性。

特征融合子单元由展开层构成，用于所述局部特征的整合；将最后一个池化层的输出展开成一维向量，将提取的局部特征融合成全局特征表示，以便后续的全连接层进行处理。

分类器子单元用于实现创伤的状态分类，识别创伤状态。

所述创伤状态共有5类，分别为干性坏死期、炎症反应期、肉芽生长期、上皮形成期、伤口感染；

干性坏死期是指组织坏死后，由于缺乏血液供应，组织逐渐干燥并变得坚硬。这个阶段通常发生在缺血或坏死组织受到干燥的环境影响时，如在周围环境条件下，比如局部血液循环受到影响时。

炎症反应期是指在组织受损后，机体通过炎症反应来清除坏死组织和外来病原体，并启动修复过程。在这一阶段，炎症细胞会聚集到受损区域，以清除损伤组织和预备修复过程。

肉芽生长期是指在炎症反应期之后，新的血管和结缔组织开始形成，形成了所谓的肉芽组织。这个阶段是新的血管和组织开始填充创伤区域，并为再生组织提供支持的关键阶段。

上皮形成期是指在肉芽生长期之后，上皮细胞开始从创伤边缘向内生长，以覆盖伤口表面，最终形成新的上皮组织。这个阶段标志着创伤愈合过程的结束，伤口表面恢复正常功能。

感染会对伤口愈合过程产生影响，令上述伤口愈合阶段出现变化，并且愈合过程会受到一定程度的延迟和干扰。对于感染的伤口，及时发现并进行治疗和管理是非常重要的。

全连接层和输出层组成了分类器子单元，负责将融合后的特征进行分类。本实施例添加了两个全连接层，分别包含128个和64个神经元。这些层有助于学习输入数据中的复杂模式，通过权重连接实现特征的组合。最后是一个具有5个神经元的输出层，使用softmax激活函数来输出对5种创伤类型的概率预测。输出层使用softmax函数将特征映射到各个类别的概率上，输出对5种创伤类型的概率预测，公式如下：

；

其中，

在创伤图像经过创伤区域分割，进行创伤状态识别之前，由创伤图像裁剪单元进行创伤图像裁剪，方法为居中裁剪，具体如下：

确定裁剪框的大小；

计算创伤区域的中心坐标，统计创伤区域的像素点的坐标值，将最大横坐标记作

将裁剪框的中心坐标与创伤区域的中心坐标对齐，然后根据确定好的裁剪框的大小，在红外图像上标注出裁剪框的位置；根据标注好的裁剪框对创伤图像进行裁剪。

进行居中剪裁的目的是将图像的中心部分提取出来，而丢弃周围的部分。这样做可以保留图像的主要内容，并且使输入图像的大小与模型的输入要求相匹配，从而方便在视觉神经网络中进行处理。同时，它还可以帮助模型关注图像的核心部分，忽略不重要的边缘信息，有助于提高模型的性能和泛化能力。

创伤分析模块用于计算创伤数据、评估创伤的恢复趋势，并推荐治疗方案；

创伤数据包括伤口长度、伤口宽度、伤口面积；评估创伤的恢复趋势的方法为将本次计算的创伤数据和创伤状态识别结果与历史创伤数据和创伤状态进行对比，分析创伤的恢复趋势，并根据创伤状态和恢复趋势推荐治疗方案。

数据存储管理模块用于存储患者的创伤数据和治疗记录；

结果显示模块用于显示创伤数据、恢复趋势和推荐治疗方案。

实施例2

本实施例为本发明的第二个实施例；与实施例1基于相同的发明构思，参照图2，本实施例介绍一种用于创伤的视觉识别检测方法，包括以下步骤：

S1：获取患者的创伤图像；

S2：对创伤图像进行预处理；

S3：对预处理后的创伤图像进行创伤区域分割；

S4：将分割后的创伤图像进行图像裁剪；

S5：对裁剪后的创伤图像进行状态识别；

S6：根据创伤区域分割和状态识别的结果计算创伤数据，评估创伤的恢复趋势；

S7：根据创伤状态和恢复趋势推荐治疗方案。

上述各步骤的具体功能实现参考实施1用于创伤的视觉识别检测系统中的相关内容，不予赘述。

实施例3

与其它实施例基于相同的发明构思，本实施例介绍一种电子设备，包括存储器和处理器，存储器用于存储指令，处理器用于执行该指令，使得计算机设备执行实现实施例2所提供的用于创伤的视觉识别检测方法。

由于本实施例所介绍的电子设备为实施本申请实施例中用于创伤的视觉识别检测方法所采用的电子设备，故而基于本申请实施例中所介绍的用于创伤的视觉识别检测方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中用于创伤的视觉识别检测方法所采用的电子设备，都属于本申请所欲保护的范围。

实施例4

与其它实施例基于相同的发明构思，本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时，实现实施例2所提供的用于创伤的视觉识别检测方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。