掌桥专利:专业的专利平台
掌桥专利
首页

医疗环境紫外线消毒管控系统

文献发布时间:2023-06-19 18:46:07


医疗环境紫外线消毒管控系统

技术领域

本发明涉及紫外线消毒技术领域,且更为具体的涉及一种医疗环境紫外线消毒管控系统。

背景技术

在医疗环境中的感染高风险部门如手术室、检验科等需要每天进行消毒,消毒方式一般采用紫外线消毒。

现有的医疗环境在紫外线消毒时一般依靠人为控制进行消毒,需要人工查看所要消毒的科室内有无人员滞留,增大了医护人员的劳动强度,且容易发生小概率事件,如查看不仔细,未能及时发现滞留人员,从而导致紫外线消毒过程中人员受伤,造成严重的后果。

因此,期待一种优化的医疗环境紫外线消毒管控智能方案。

发明内容

为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种医疗环境紫外线消毒管控系统,其采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息,且利用多个摄像头有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

根据本申请的一个方面,提供了一种医疗环境紫外线消毒管控系统,其包括:

监控模块,用于通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像;

聚合模块,用于分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像;

特征提取模块,用于将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量;

全局化模块,用于将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵;

关联特征提取模块,用于将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵;

识别结果生成模块,用于将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象;和

控制模块,用于基于所述分类结果,确定是否生成启动消毒指令。

在上述医疗环境紫外线消毒管控系统中,所述特征提取模块,包括:多尺度卷积编码单元,用于使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图;池化单元,用于分别对所述多尺度卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图;以及,激活单元,用于分别对所述池化特征图进行非线性激活以得到激活特征图。

在上述医疗环境紫外线消毒管控系统中,所述多尺度卷积编码单元,包括:第一尺度卷积编码子单元,用于基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图;第二尺度卷积编码子单元,用于基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图,其中,所述第二卷积核为具有第一空洞率的空洞卷积核;第三尺度卷积编码子单元,用于基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图,其中,所述第三卷积核为具有第二空洞率的空洞卷积核;第四尺度卷积编码子单元,用于基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图,其中,所述第四卷积核为具有第三空洞率的空洞卷积核;以及,多尺度融合子单元,用于融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述多尺度卷积特征图。

在上述医疗环境紫外线消毒管控系统中,所述多尺度融合子单元,包括:增强因子计算二级子单元,用于以如下公式分别计算所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图的类小波函数族能量聚合因数;其中,所述公式为:

其中f

在上述医疗环境紫外线消毒管控系统中,所述关联特征提取模块,包括:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述全局多尺度检测特征矩阵,所述第二卷积神经网络模型的第一层的输入为所述全局多尺度检测矩阵。

在上述医疗环境紫外线消毒管控系统中,所述识别结果生成模块,进一步用于:使用所述分类器以如下公式对所述全局多尺度检测特征矩阵进行处理以得到所述分类结果;其中,所述公式为:

softmax{(W

其中Project(M)表示将所述全局多尺度检测特征矩阵投影为向量,W

根据本申请的另一方面,还提供了一种医疗环境紫外线消毒管控方法,其包括:

通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像;

分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像;

将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量;

将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵;

将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵;

将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象;和

基于所述分类结果,确定是否生成启动消毒指令。

在上述医疗环境紫外线消毒管控方法中,所述将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量,包括:使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图;分别对所述多尺度卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图;以及,分别对所述池化特征图进行非线性激活以得到激活特征图。

在上述医疗环境紫外线消毒管控方法中,所述使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图,包括:基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图;基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图,其中,所述第二卷积核为具有第一空洞率的空洞卷积核;基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图,其中,所述第三卷积核为具有第二空洞率的空洞卷积核;基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图,其中,所述第四卷积核为具有第三空洞率的空洞卷积核;以及,将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到所述多尺度卷积特征图。

在上述医疗环境紫外线消毒管控方法中,所述融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述多尺度卷积特征图,包括:以如下公式分别计算所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图的类小波函数族能量聚合因数;其中,所述公式为:

其中f

在上述医疗环境紫外线消毒管控方法中,所述将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵,包括:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述全局多尺度检测特征矩阵,所述第二卷积神经网络模型的第一层的输入为所述全局多尺度检测矩阵。

在上述医疗环境紫外线消毒管控方法中,所述将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,包括:使用所述分类器以如下公式对所述全局多尺度检测特征矩阵进行处理以得到所述分类结果;其中,所述公式为:softmax{(W

根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的医疗环境紫外线消毒管控方法。

根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的医疗环境紫外线消毒管控方法。

与现有技术相比,本申请提供的医疗环境紫外线消毒管控系统,其采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息,且利用多个摄像头有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

附图说明

通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的医疗环境紫外线消毒管控系统的应用场景图。

图2为根据本申请实施例的医疗环境紫外线消毒管控系统的框图。

图3为根据本申请实施例的医疗环境紫外线消毒管控系统的系统架构图。

图4为根据本申请实施例的医疗环境紫外线消毒管控方法的流程图。

图5为根据本申请实施例的电子设备的框图。

具体实施方式

下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。

如上所述,现有的医疗环境在紫外线消毒时一般依靠人为控制进行消毒,需要人工查看所要消毒的科室内有无人员滞留,增大了医护人员的劳动强度,且容易发生小概率事件,如查看不仔细,未能及时发现滞留人员,从而导致紫外线消毒过程中人员受伤,造成严重的后果。因此,期待一种优化的医疗环境紫外线消毒管控智能方案。

目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。

近年来,深度学习以及神经网络的发展为医疗环境紫外线消毒的智能管控提供了新的解决思路和方案。

具体地,在本申请的技术方案中,可通过目标检测网络来监测待紫外线消毒的场所中是否存在人员目标对象,但是,在进行目标检测时,待消毒的场所中可能存在人体模型等干扰对象,另一方面,人员可能会因遮挡等问题,而导致无法检测到人员对象。因此,在本申请的技术方案中,采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息。并且,进一步利用多个摄像头以此能够有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

具体地,在本申请的技术方案中,首先,通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像。应可以理解,这里,利用所述待消毒科室的多个红外摄像头采集的多个热红外图像能够有效地利用所述热红外图像中的活人温度特性来避免人体模型的干扰,并且,利用多个摄像头能够有效地克服遮挡问题。然后,分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像,也就是,利用每组对应的所述热红外图像和所述RGB图像进行沿通道维度聚合构造为多个多通道图像。这样,能够在进行待消毒科室内的人员对象检测时融合每个通道维度下的所述热红外监控图像和RGB监控图像中的对于目标人员对象检测的隐含特征信息,从而有利于提高目标检测识别的精准度。

接着,将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型中进行处理,以分别提取出所述多个多通道图像中各个多通道图像的多尺度隐含特征分布信息,从而得到多个多尺度检测特征向量。也就是,在本申请的一个具体示例中,在所述混合卷积层中,此模块的设计包括并联的四个分支,由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成,分别对输入的所述多个多通道图像中各个多通道图像进行操作,将空洞卷积三个分支的扩张率分别设置为2、3、4,通过不同扩张率的设置可获得不同感受域的图像信息,即可得到不同尺度的特征图,在扩大感受野的同时,又避免了下采样损失信息,接着将4个分支特征图进行融合,使得采样更为密集,既拥有了高层特征,也没有增加额外的参数量,进而有利于提高分类的精准度。

特别地,在本申请的技术方案中,所述第一卷积神经网络模型的混合卷积层将多个分支获得的特征图融合,但是,由于每个分支的扩张卷积具有不同的扩张率,使得所述混合卷积层的每个分支获得的特征图具有不同的表达信息量。这样,直接通过诸如点加的方式融合各个分支获得的特征图会影响融合后的特征图的信息表达效果。

因此,对于每个分支得到的特征图,分别计算其类小波函数族能量聚合因数,表示为:

f

也就是,考虑到对于高维流形来说,由于信息表示倾向于集中在高频分量上,因此信息倾向于分布在流形边缘,类小波函数族作为用于分离特征分布维度上的边缘的可分离变换,通过其可以将高维特征的隐状态转换为频率分量,并以类小波能量的方式表达信息量。这样,以其作为加权系数对每个分支的特征图加权之后再进行融合,就可以提高融合后的特征图在其特征表达空间内的信息聚合程度,以提升融合后的特征图的信息表达效果。这样,有利于提高后续对于人员对象检测的精准度。

进一步地,在得到所述多通道图像的多尺度隐含关联特征后,将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵,并使用在隐含关联特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述全局多尺度检测矩阵进行特征挖掘,以提取出所述全局多尺度检测矩阵中的各个位置的隐藏关联特征分布信息,即所述多个摄像头的多通道图像中关于所述待消毒科室内的人员对象识别的隐含关联特征信息,从而得到全局多尺度检测特征矩阵。也就是,将所述各个摄像头所采集的图像数据进行矩阵化以此利用不同摄像头所采集的图像特征之间的上下文信息来提高对于人员对象目标识别和检测的精准度。

然后,再将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象。也就是,以所述全局多尺度检测特征矩阵作为分类特征矩阵来通过分类器中进行分类处理,就能够得到用于表示待消毒科室内是否存在人员对象的分类结果。进而基于所述分类结果,确定是否生成启动消毒指令。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

基于此,本申请提出了一种医疗环境紫外线消毒管控系统,其包括:监控模块,用于通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像;聚合模块,用于分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像;特征提取模块,用于将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量;全局化模块,用于将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵;关联特征提取模块,用于将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵;识别结果生成模块,用于将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象;和,控制模块,用于基于所述分类结果,确定是否生成启动消毒指令。

图1为根据本申请实施例的医疗环境紫外线消毒管控系统的应用场景图。如图1所示,在该应用场景中,首先获取通过部署于待消毒科室(例如,如图1中所示意的D)的多个红外摄像头(例如,如图1中所示意的IC1至ICn)和多个RGB摄像头(例如,如图1中所示意的C1至Cn)采集多个热红外监控图像和多个RGB监控图像。进而,将所述多个热红外监控图像和所述多个RGB监控图像输入至部署有医疗环境紫外线消毒管控算法的服务器(例如,如图1所示意的S)中,其中,所述服务器能够基于所述医疗环境紫外线消毒管控算法对所述多个热红外监控图像和所述多个RGB监控图像进行处理,以得到用于表示待消毒科室内是否存在人员对象的分类结果,并基于所述分类结果,确定是否生成启动消毒指令。

在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。

图2为根据本申请实施例的医疗环境紫外线消毒管控系统的框图。如图2所示,根据本申请实施例的医疗环境紫外线消毒管控系统100,包括:监控模块110,用于通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像;聚合模块120,用于分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像;特征提取模块130,用于将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量;全局化模块140,用于将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵;关联特征提取模块150,用于将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵;识别结果生成模块160,用于将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象;和,控制模块170,用于基于所述分类结果,确定是否生成启动消毒指令。

图3为根据本申请实施例的医疗环境紫外线消毒管控系统100的系统架构图。如图3所示,在所述医疗环境紫外线消毒管控系统100的系统架构中,首先通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像,并分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像。接着,将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量。然后,将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵。进而,将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵。接着,将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象。然后,基于所述分类结果,确定是否生成启动消毒指令。

在上述医疗环境紫外线消毒管控系统100中,所述监控模块110,用于通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像。如上所述,现有的医疗环境在紫外线消毒时一般依靠人为控制进行消毒,需要人工查看所要消毒的科室内有无人员滞留,增大了医护人员的劳动强度,且容易发生小概率事件,如查看不仔细,未能及时发现滞留人员,从而导致紫外线消毒过程中人员受伤,造成严重的后果。因此,期待一种优化的医疗环境紫外线消毒管控智能方案。

目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。近年来,深度学习以及神经网络的发展为医疗环境紫外线消毒的智能管控提供了新的解决思路和方案。

具体地,在本申请的技术方案中,可通过目标检测网络来监测待紫外线消毒的场所中是否存在人员目标对象,但是,在进行目标检测时,待消毒的场所中可能存在人体模型等干扰对象,另一方面,人员可能会因遮挡等问题,而导致无法检测到人员对象。因此,在本申请的技术方案中,采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息。并且,进一步利用多个摄像头以此能够有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

具体地,在本申请的技术方案中,首先,通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像。应可以理解,这里,利用所述待消毒科室的多个红外摄像头采集的多个热红外图像能够有效地利用所述热红外图像中的活人温度特性来避免人体模型的干扰,并且,利用多个摄像头能够有效地克服遮挡问题。

在上述医疗环境紫外线消毒管控系统100中,所述聚合模块120,用于分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像。也就是,利用每组对应的所述热红外图像和所述RGB图像进行沿通道维度聚合构造为多个多通道图像。这样,能够在进行待消毒科室内的人员对象检测时融合每个通道维度下的所述热红外监控图像和RGB监控图像中的对于目标人员对象检测的隐含特征信息,从而有利于提高目标检测识别的精准度。

在上述医疗环境紫外线消毒管控系统100中,所述特征提取模块130,用于将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量。将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型中进行处理,以分别提取出所述多个多通道图像中各个多通道图像的多尺度隐含特征分布信息,从而得到多个多尺度检测特征向量。也就是,在本申请的一个具体示例中,在所述混合卷积层中,此模块的设计包括并联的四个分支,由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成,分别对输入的所述多个多通道图像中各个多通道图像进行操作,将空洞卷积三个分支的扩张率分别设置为2、3、4,通过不同扩张率的设置可获得不同感受域的图像信息,即可得到不同尺度的特征图,在扩大感受野的同时,又避免了下采样损失信息,接着将4个分支特征图进行融合,使得采样更为密集,既拥有了高层特征,也没有增加额外的参数量,进而有利于提高分类的精准度。

具体地,在本申请实施例中,所述特征提取模块130,包括:多尺度卷积编码单元,用于使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图;池化单元,用于分别对所述多尺度卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图;以及,激活单元,用于分别对所述池化特征图进行非线性激活以得到激活特征图。

值得一提的是,上述特征提取模块130包括的所述多尺度卷积编码单元、所述池化单元和所述激活单元,仅仅是所述第一卷积神经网络模型中的一层编码结构,类似地,所述第一卷积神经网络模型其他层的编码结构也包含了多尺度卷积编码、池化和激活过程。也就是,所述特征提取模块130,包括:所述第一卷积神经网络模型的各层在层的正向传递中分别进行:使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图;分别对所述多尺度卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图;以及,分别对所述池化特征图进行非线性激活以得到激活特征图;其中,所述第一卷积神经网络模型的最后一层的输出为所述多尺度检测特征向量,所述第一卷积神经网络模型的第一层的输入为所述多个多通道图像中各个多通道图像。

具体地,在本申请实施例中,所述多尺度卷积编码单元,包括:第一尺度卷积编码子单元,用于基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图;第二尺度卷积编码子单元,用于基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图,其中,所述第二卷积核为具有第一空洞率的空洞卷积核;第三尺度卷积编码子单元,用于基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图,其中,所述第三卷积核为具有第二空洞率的空洞卷积核;第四尺度卷积编码子单元,用于基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图,其中,所述第四卷积核为具有第三空洞率的空洞卷积核;以及,多尺度融合子单元,用于将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到所述多尺度卷积特征图。

特别地,在本申请的技术方案中,所述第一卷积神经网络模型的混合卷积层将多个分支获得的特征图融合,但是,由于每个分支的扩张卷积具有不同的扩张率,使得所述混合卷积层的每个分支获得的特征图具有不同的表达信息量。这样,直接通过诸如点加的方式融合各个分支获得的特征图会影响融合后的特征图的信息表达效果。因此,对于每个分支得到的特征图,分别计算其类小波函数族能量聚合因数。

具体地,在本申请实施例中,所述多尺度融合子单元,包括:增强因子计算二级子单元,用于以如下公式分别计算所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图的类小波函数族能量聚合因数;其中,所述公式为:

其中f

也就是,考虑到对于高维流形来说,由于信息表示倾向于集中在高频分量上,因此信息倾向于分布在流形边缘,类小波函数族作为用于分离特征分布维度上的边缘的可分离变换,通过其可以将高维特征的隐状态转换为频率分量,并以类小波能量的方式表达信息量。这样,以其作为加权系数对每个分支的特征图加权之后再进行融合,就可以提高融合后的特征图在其特征表达空间内的信息聚合程度,以提升融合后的特征图的信息表达效果。这样,有利于提高后续对于人员对象检测的精准度。

在上述医疗环境紫外线消毒管控系统100中,所述全局化模块140,用于将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵。也就是,在得到所述多通道图像的多尺度隐含关联特征后,将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵。

在上述医疗环境紫外线消毒管控系统100中,所述关联特征提取模块150,用于将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵。也就是,使用在隐含关联特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述全局多尺度检测矩阵进行特征挖掘,以提取出所述全局多尺度检测矩阵中的各个位置的隐藏关联特征分布信息,即所述多个摄像头的多通道图像中关于所述待消毒科室内的人员对象识别的隐含关联特征信息,从而得到全局多尺度检测特征矩阵。可以理解为,将所述各个摄像头所采集的图像数据进行矩阵化以此利用不同摄像头所采集的图像特征之间的上下文信息来提高对于人员对象目标识别和检测的精准度。

具体地,在本申请实施例中,所述关联特征提取模块150,包括:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述全局多尺度检测特征矩阵,所述第二卷积神经网络模型的第一层的输入为所述全局多尺度检测矩阵。

在上述医疗环境紫外线消毒管控系统100中,所述识别结果生成模块160,用于将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象。也就是,以所述全局多尺度检测特征矩阵作为分类特征矩阵来通过分类器中进行分类处理,就能够得到用于表示待消毒科室内是否存在人员对象的分类结果。

具体地,在本申请实施例中,所述识别结果生成模块160,进一步用于:使用所述分类器以如下公式对所述全局多尺度检测特征矩阵进行处理以得到所述分类结果;其中,所述公式为:

softmax{(W

其中Project(M)表示将所述全局多尺度检测特征矩阵投影为向量,W

在上述医疗环境紫外线消毒管控系统100中,所述控制模块170,用于基于所述分类结果,确定是否生成启动消毒指令。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

综上,根据本申请实施例的所述医疗环境紫外线消毒管控系统100被阐明,其采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息,且利用多个摄像头有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

如上所述,根据本申请实施例的医疗环境紫外线消毒管控系统100可以实现在各种终端设备中,例如具有医疗环境紫外线消毒管控算法的服务器等。在一个示例中,根据本申请实施例的医疗环境紫外线消毒管控系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该医疗环境紫外线消毒管控系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该医疗环境紫外线消毒管控系统100同样可以是该终端设备的众多硬件模块之一。

替换地,在另一示例中,该医疗环境紫外线消毒管控系统100与该终端设备也可以是分立的设备,并且该医疗环境紫外线消毒管控系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。

图4为根据本申请实施例的医疗环境紫外线消毒管控方法的流程图。如图4所示,根据本申请实施例的所述医疗环境紫外线消毒管控方法,包括步骤:S110,通过部署于待消毒科室的多个红外摄像头和多个RGB摄像头采集多个热红外监控图像和多个RGB监控图像;S120,分别将每组对应的所述热红外监控图像和所述RGB监控图像沿通道维度进行聚合以得到多个多通道图像;S130,将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量;S140,将所述多个多尺度检测特征向量进行排列以得到全局多尺度检测矩阵;S150,将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵;S160,将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,所述分类结果用于表示待消毒科室内是否存在人员对象;和,S170,基于所述分类结果,确定是否生成启动消毒指令。

在一个示例中,在上述医疗环境紫外线消毒管控方法中,所述将所述多个多通道图像中各个多通道图像分别通过包含多个混合卷积层的第一卷积神经网络模型以得到多个多尺度检测特征向量,包括:使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图;分别对所述多尺度卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图;以及,分别对所述池化特征图进行非线性激活以得到激活特征图。

在一个示例中,在上述医疗环境紫外线消毒管控方法中,所述使用所述第一卷积神经网络模型的各个混合卷积层分别对其输入数据进行多尺度卷积编码以得到多尺度卷积特征图,包括:基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图;基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图,其中,所述第二卷积核为具有第一空洞率的空洞卷积核;基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图,其中,所述第三卷积核为具有第二空洞率的空洞卷积核;基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图,其中,所述第四卷积核为具有第三空洞率的空洞卷积核;以及,将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到所述多尺度卷积特征图。

在一个示例中,在上述医疗环境紫外线消毒管控方法中,所述融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述多尺度卷积特征图,包括:以如下公式分别计算所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图的类小波函数族能量聚合因数;其中,所述公式为:

其中f

在一个示例中,在上述医疗环境紫外线消毒管控方法中,所述将所述全局多尺度检测矩阵通过作为特征提取器的第二卷积神经网络模型以得到全局多尺度检测特征矩阵,包括:所述第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述全局多尺度检测特征矩阵,所述第二卷积神经网络模型的第一层的输入为所述全局多尺度检测矩阵。

在一个示例中,在上述医疗环境紫外线消毒管控方法中,所述将所述全局多尺度检测特征矩阵通过分类器以得到分类结果,包括:使用所述分类器以如下公式对所述全局多尺度检测特征矩阵进行处理以得到所述分类结果;其中,所述公式为:

softmax{(W

其中Project(M)表示将所述全局多尺度检测特征矩阵投影为向量,W

综上,根据本申请实施例的所述医疗环境紫外线消毒管控方法被阐明,其采用基于深度学习的人工智能检测算法,通过热红外图像和RGB图像构造多通道图像,以通过热红外图像中的活人温度特性来避免人体模型的干扰,并以此来提取出所述多通道图像的多尺度高维隐含特征信息,且利用多个摄像头有效地克服遮挡问题。然后,将各个摄像头所采集的图像数据融合特征进行矩阵化以利用不同摄像头所采集的图像特征之间的上下文信息来提高目标识别和检测的精准度。这样,能够对于待消毒科室内是否存在人员目标对象进行准确地检测判断,以此来保证消毒的安全性。

下面,参考图5来描述根据本申请实施例的电子设备。图5为根据本申请实施例的电子设备的框图。如图5所示,电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的医疗环境紫外线消毒管控方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如热红外监控图像和RGB监控图像等各种内容。

在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息,包括消毒指令等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然,为了简化,图5中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。

除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的医疗环境紫外线消毒管控方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的医疗环境紫外线消毒管控方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

技术分类

06120115686327