基于多光谱图像融合识别的目标判定方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于多光谱图像融合识别的目标判定方法。

背景技术

目前，青霉素皮试结果是由护士根据判断标准肉眼观察并做出判断，其标准参照《中华人民共和国药典临床用药须知》的推荐方法执行：局部红肿，直径＞1cm，或比原皮丘增大超过3mm，或局部红晕，为阳性。实际操作中由于护士主观判断的差异性，客观环境因素(光线、患者皮肤特质)干扰，对皮丘大小、红晕范围、与周围皮肤的界限，以及病人本身皮肤的特质(比如敏感型皮肤)很难做出准确统一的判断，即便用皮试尺等测量工具，也存在测量点选择不同而得出不同结果。碰到模棱两可的皮试反应，护士处于规避风险的考虑，往往判断阳性，而这一类病人通过做青霉素皮试对照试验，95％以上是假阳性(来自医院科室所做对照试验的数据)，病人如果被误判将失去最佳用药机会。因此需要有一种更智能、更精准的技术来帮助护士做出更准确的判断。

发明内容

本发明针对现有技术中的不足，提供一种基于多光谱图像融合识别的目标判定方法，目的是解决护士目测观察、判断青霉素皮试结果的主观差异性，提高结果判断的精准度、准确率。

为实现上述目的，本发明采用以下技术方案：一种基于多光谱图像融合识别的目标判定方法，包括如下步骤：

S1、采集已有图像样本；

S2、将图像样本以特定的格式导入电脑，读取、分析样本图像的特征，并按照注射时长及注射后的特征进行标注，建立样本数据库；

S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，进行图像配准；利用深度学习模型对多光谱图像时序性特征进行自动提取，送入分类器，进行目标检测、分类与定位；

S4、由目标识别算法对图像样本进行识别判定；如果算法判定的结果与人工判定结果一致，则直接在样本数据库中标注结果；反之，则经第三人参与判断，校正后标注结果；

S5、将目标检测及分类结果上传至APP，由医护人员对分类结果进行判断，得出最终结果。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤S1中，采集的图像样本包括注射0分钟时刻和注射20分钟时刻的图片，由医护人员给出判断结果。

进一步地，步骤S2中，分别对“注射0分钟”时刻、“注射20分钟”时刻及两个时刻的判断结果分别进行标注。

进一步地，步骤S3中，多光谱图像和目标识别算法对红外图像与可见光图像中的特征进行识别、检测，特征包括皮丘的大小、颜色、红晕范围，皮丘与周围皮肤的界限。

进一步地，在图像配准过程中，制作图像标定板，通过局部加热的方法增强红外图像中的特征，完成联合标定。

进一步地，步骤S3包括构建一种基于红外图像与可见光图像的离线配准方法，首先利用图像标定板和特征点获取红外图像和可见光图像的映射变换矩阵H，然后利用H矩阵实现多光谱图像对之间的配准。

进一步地，步骤S3具体包括如下步骤：

S31、分别使用红外相机和可见光相机采集图像数据，对同一张图像采集的一组数据包括一张红外图像和一张可见光图像；

S32、判断采集的图像对是否大于20组，如果否，则进入步骤S33；如果是，则进入步骤S34；

S33、对红外图像和可见光图像对应取4对特征点，计算可见光图像到红外图像平面的H矩阵；继续步骤S32；

S34、对其中20组H矩阵取均值并保存；

S35、判断剩余组计算H矩阵，输出标定结果；由医护人员判断标定的效果，若标定效果不好，则返回步骤S32；若标定的效果好，则图像配准结束。

进一步地，H矩阵即为单应性矩阵，由下面的公式来表示：

红外图像和可见光图像的像素转换关系可以写成如下形式：

式中，(x

进一步地，步骤S3包括构建一种目标检测神经网络模型，利用VGG16对可见光图像和红外图像分别进行特征提取并移除全连接层，在第四层卷积层后面增加多模态图像特征地图融合模块，在之后加入RPN网络、ROI网络与两个全连接层，并将全连接后的特征信息分别送入边界框回归预测头及分类预测头，得到最终的目标检测结果和皮试目标区域在可见光图像中的定位。

进一步地，在第四个VGG-16卷积模块之后，通过多模态图像特征地图融合模块对可见光图像和红外图像子网络得到的特征图进行融合，利用concat函数对特征地图进行堆叠，并利用1×1卷积层进行特征降维，使特征图的尺寸减小到512。

本发明的有益效果是：1、本发明在图像采集精度、图像配准、特征图像的提取、特征融合、结果检测等方面采用了优化的技术方案，充分利用细粒度特征，比如皮丘大小、红晕范围、颜色、与周围皮肤界限，从而提升目标检测结果的准确性。

2、随着样本数据库的不断扩充，海量数据为本发明算法提供更多的信息，机器深度学习的效能愈发明显，目标识别的精确度越来越高。最终创建手机APP应用程序，护士只需一部手机就可以得到检测结果并加以判断。

3、医护人员承担的工作风险降低，面对难以判断的皮试结果，缓解医护人员的工作压力。

附图说明

图1是本发明实施例基于传感器图像时序性特征分析的目标判定方法流程图。

图2是本发明实施例多光谱图像配准方法流程图。

图3是本发明实施例可见光图像与红外图像配准标定板示意图。

图4是本发明实施例基于多光谱图像融合的青霉素皮试结果检测神经网络模型示意图。

图5是本发明实施例多光谱图像特征融合模型结构图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

青霉素是目前常用的抗生素之一，具有疗效高、毒性低，但较易发生过敏反应的特点。因此，在使用各种剂型的青霉素制剂前，必须先做过敏试验(皮试)，试验结果阴性方可用药。试验方法：皮内注射青霉素试验液0.1ml(50U)，20分钟后观察结果。皮内试验结果判断：(1)阴性：皮丘无改变，周围无红肿、红晕，无自觉症状。(2)阳性：局部红肿，直径＞1cm，或比原皮丘增大超过3mm，或局部红晕。

如附图所示，本实施例基于多光谱图像融合识别的青霉素皮试结果判定技术，包括：

皮试多光谱图像采集设备、医院信息系统、高性能计算机、多光谱图像和目标识别算法、手机“青霉素皮试结果判定应用程序”APP。

本实施例应用基于多光谱图像融合识别的目标判定方法，包括如下步骤：

S1、采集图像样本。

本发明采集的图像样本为医院提供的数据库中已有的皮试图像，采集的图像样本包括在注射0分钟时刻和注射20分钟时刻的图片，由医护人员给出判断结果并录入系统。

医院在获取皮试图像时，预先在患者做皮试的位置装设采集设备，皮试多光谱图像采集设备采用银行系统的证件照拍摄仪，即S500L办公高拍仪。500万像素高清摄像头，可以连接window7以上操作系统，具有图像文字编辑功能。拍摄杆呈倒L型，采集图像时将患者皮试手臂平放于其底座上，拍摄仪摄像头正下方，可以保证拍摄距离固定不变，光线强度一致，最大程度减少干扰。

S2、将图像样本以RAW格式导入高性能计算机，读取、分析样本图像的特征，包括对皮丘形成(注射0分钟)和结果判断(注射后20分钟)两张图片逐一标注时间，并由医护人员标注“阴性”、“阳性”结果，每一例青霉素皮试图像均按以上步骤完成，建立样本数据库。

S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，进行图像配准，利用深度学习模型对多光谱图像时序性特征进行自动提取，如皮丘大小、颜色、红晕范围、与周围皮肤边界的变化等等，送入预先训练好的分类器，进行目标检测、分类与定位。

具体地，构建一种基于红外图像与可见光图像的离线配准方法，以保证同一目标位置在两幅图像的图像平面位置相同。在图像配准过程中，设计并制作铝合金标定板，通过局部加热的方法增强红外图像中的特征，进行旋转与平移，得到H矩阵，完成联合标定。如图3所示，每组图片都是红外线图像和可见光图像对，拍摄角度不同可以让获得H矩阵具有更好的鲁棒性。首先利用图像标定板和特征点获取红外图像和可见光图像的映射变换矩阵H，最终然后利用H矩阵实现多光谱图像对之间的配准。

如图2所示，包括如下步骤：

S31、分别使用红外相机和可见光相机采集图像数据，对同一张图像采集的一组数据包括一张红外图像和一张可见光图像；

S32、判断采集的图像对是否大于20组，如果否，则进入步骤S33；如果是，则进入步骤S34；

S33、对红外图像和可见光图像对应取4对特征点，计算可见光图像到红外图像平面的H矩阵，即单应性矩阵(Homography)，是一个从一张图像到另一张图像映射关系的转换矩阵(3*3)。可以由下面的公式来表示：

红外图像和可见光图像的像素转换关系可以写成如下形式：

式中，(x

继续步骤S32；

S34、对其中20组H矩阵取均值并保存；降低由于采集到质量较差的特征点而产生的误差。

S35、判断剩余组计算H矩阵，验证H矩阵是否能够达到满意的效果；输出标定结果，即图像配准的效果；由医护人员判断标定的效果，若标定效果不好，则返回步骤S32；若标定的效果好，则图像配准结束。

本发明实施例还提出一种基于多光谱图像融合的青霉素皮试结果检测方法(目标检测神经网络模型)。利用VGG16对可见光图像和红外图像分别进行特征提取并移除全连接层，通过大量的实验数据对比，在第四层卷积层后面增加多模态图像特征地图融合模块，这种中间阶段融合的网络结构能够更好地保留低卷积层得到图像细节特征，又能够摒除图像中过多的背景特征信息。在之后加入RPN网络、ROI网络与两个全连接层，并将全连接后的特征信息分别送入边界框回归预测头及分类预测头，得到最终的青霉素皮试结果检测结果和皮试目标区域在可见光图像中的定位。

其中，在第四个VGG-16卷积模块之后，通过融合模块对可见光图像和红外图像子网络得到的特征图进行了融合，利用concat函数对特征地图进行堆叠，并利用1×1卷积层进行特征降维，特征图的尺寸减小到512，如图5所示。

每采集一个皮试图片便按照上述步骤纳入样本数据库，让计算机获得更多的学习样本。

S4、数据库样本达到1000例以上后，通过以上目标识别算法开始对皮试图像进行识别判定。如果算法判定结果与人工判定的结果一致，则直接标注皮试结果；反之，则经第三人参与判断，校正后标注结果。每导入一张青霉素皮试图像，计算机会根据前期的学习和算法呈现一个判断结果。随着样本数据库的扩充，计算机识别精确度越来越高，直至达到或接近95-100％。创建一个手机APP程序“青霉素皮试结果判定应用程序”，程序得出的判定结果来辅助医护人员进行判断。需要说明的是，此发明只用于辅助医护人员对青霉素皮试皮肤反应的判断，如果患者皮试过程中伴随其他的身体反应，还需护士做出综合分析判断。

S5、将目标检测及分类结果上传至手机APP程序，由医护人员对分类结果进行判断，得出最终结果。

本发明实施例的实验验证方法如下：

1、建立多模态皮试目标变化图像数据集。本项目将构建图像管理系统用于皮试变化图像数据管理与数据集建立，具体包含以下功能：

(1)数据上传：将多模态光学传感器获取的环境数据上传到数据图像管理系统；

(2)目标位置及标签标记：同时显示红外热成像图像及相应可见光图像，进行多光谱图像对的精细配准，当在可见光图像上框选目标物体后所对应的红外热成像图像目标区域也将被自动框选起来；

(3)标记结果的评估与校核：为了提高人工标记图片的准确性，需要对标记的结果进行检查校验，比较两次标记目标边界框的重合度，如果出入较大则将需要进行第三次标记，取两次最接近的标记结果的均值作为最终的标记结果；

(4)训练样本扩充：采用旋转、平移、缩放、模糊等方式对目标样本进行扩充，提高深度神经网络的泛化能力，抑制样本量过小造成的过拟合问题。

2、搭建试验验证平台。设置一台RGB和红外相机感知平台，能够用于对本发明所提的基于多模态图像融合的青霉素皮试结果检测研究方案进行实验验证。由工业摄像机和红外热成像仪组成的多模态光学传感器，通过读取机载摄像头、红外热图像信息，开发皮试结果检测识别算法的设计和ROS程序编写。

本发明通过特定的软件程序对皮试样本图像进行读取、识别、分析、处理，从海量信息中提取特征性规律，并且在皮丘大小、红晕范围的测量，皮肤颜色、与周围皮肤的界限的辨别方面拥有人工肉眼不可替代的优势。基于多光谱图像融合识别的青霉素皮试结果判定技术，运用的越多时间越长，其准确率越高，是一项对患者、护士均有利的创新技术，也是人工智能(AI)在护理领域新的技术应用。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。