掌桥专利:专业的专利平台
掌桥专利
首页

图像识别方法和装置

文献发布时间:2024-04-18 20:02:18


图像识别方法和装置

技术领域

本发明涉及图像识别领域,具体而言,涉及一种图像识别方法和装置。

背景技术

在过去的几年里,深度学习已经成为人工智能技术的主流,特别是在计算机视觉领域,深度学习算法被广泛应用于图像分类、目标检测和分割等领域。其中,人像分割作为计算机视觉中的重要应用之一,基本目标是将图像中的人体与背景分离出来,从而提取出人体的特征与轮廓信息,为后续的分析和应用提供便利,比如可以通过采集办理不同事物人群的人像信息,分析人群共有特征,构建人像分析图谱,实现潜在客户的挖掘以及事物精准推送等。但是由于图像中的颜色、纹理和形状等因素的复杂变化性,对图像中的人像进行识别的效果受限较大,容易出现漏判和误判的情况。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像识别方法和装置,以至少解决相关技术中从原始图像中识别目标物体的准确度较差的技术问题。

根据本发明实施例的一个方面,提供了一种图像识别方法,包括:对原始图像进行特征处理,得到初始特征图,其中,原始图像中至少包含目标物体;基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征;利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值,其中,预设胶囊网络中不同胶囊层对应的耦合系数可以由预设路由算法确定得到,类别概率值用于表征像素点是否属于目标物体;基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果。

可选地,自适应注意力模块至少包括:第一处理模块和第二处理模块,基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征,包括:利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,其中,不同第二特征对应的尺度不同;利用第二处理模块对第二特征进行特征增强,得到第三特征;对第三特征进行多尺度聚合,得到图像语义特征。

可选地,第一处理模块至少包括:空洞卷积层、批量归一化层和激活函数层,利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,包括:基于空洞卷积对第一特征进行扩充,得到不同尺度的空洞卷积特征,其中,空洞卷积特征的感受野的面积大于第一特征的感受野的面积;基于批量归一化层对空洞卷积特征进行归一化处理,得到归一化特征;基于激活函数层对归一化特征进行映射,得到第二特征。

可选地,第二处理模块至少包括:通道注意力模块和空间注意力模块,利用第二处理模块对第二特征进行特征增强,得到第三特征,包括:基于通道注意力模块对第二特征进行注意力处理,得到通道注意力特征;基于空间注意力模块对通道注意力特征进行注意力处理,得到第三特征。

可选地,预设胶囊网络至少包括:主胶囊层、卷积胶囊层和类胶囊层,利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值,包括:基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量;基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量;基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量;基于第三特征向量的欧氏距离的平方根,确定类别概率值。

可选地,基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量,包括:基于第三特征对应的第一特征尺度,确定图像语义特征的特征类别,其中,特征类别用于表征图像语义特征是否属于低层特征;基于特征类别,从图像语义特征中提取出低层特征;对低层特征进行向量化处理,得到第一特征向量。

可选地,基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量,包括:基于预设路由算法对初始耦合系数进行更新,得到第一耦合系数;基于第一特征向量和预设共享权重的乘积,得到第一过渡向量;基于第一过渡向量和第一耦合系数的乘积,得到第二过渡向量;基于预设函数对第二过渡向量的和进行非线性转换,得到第二特征向量。

可选地,基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量,包括:基于预设路由算法对第一耦合系数进行更新,得到第二耦合系数;基于第二特征向量和预设共享权重的乘积,得到第三过渡向量;基于第三过渡向量和第二耦合系数的乘积,得到第三过渡向量;基于预设函数对第三过渡向量的和进行非线性转换,得到第三特征向量。

可选地,上述方法还包括:基于初始注意力模型和初始胶囊网络对多个样本图像进行识别,得到多个识别结果;获取多个样本图像之间的相似度系数,以及多个样本图像中目标物体对应的多个真值图像;将多个真值图像和多个识别结果进行匹配,得到交并比系数;基于相似度系数和交并比系数,对初始注意力模型和初始胶囊网络进行调整,得到自适应注意力模型和预设胶囊网络。

根据本发明实施例的另一方面,还提供了一种图像识别装置,装置包括:特征图确定模块,用于对原始图像进行特征处理,得到初始特征图,其中,原始图像中至少包含目标物体;特征聚合模块,用于基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征;概率值确定模块,用于利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值,其中,预设胶囊网络中不同胶囊层对应的耦合系数可以由预设路由算法确定得到,类别概率值用于表征像素点是否属于目标物体;图像识别模块,用于基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果。

可选地,自适应注意力模块至少包括:第一处理模块和第二处理模块,特征聚合模块包括:第一转换单元,用于利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,其中,不同第二特征对应的尺度不同;特征增强单元,用于利用第二处理模块对第二特征进行特征增强,得到第三特征;特征聚合单元,用于对第三特征进行多尺度聚合,得到图像语义特征。

可选地,第一处理模块至少包括:空洞卷积层、批量归一化层和激活函数层,第一转换单元还用于:基于空洞卷积对第一特征进行扩充,得到不同尺度的空洞卷积特征,其中,空洞卷积特征的感受野的面积大于第一特征的感受野的面积;基于批量归一化层对空洞卷积特征进行归一化处理,得到归一化特征;基于激活函数层对归一化特征进行映射,得到第二特征。

可选地,第二处理模块至少包括:通道注意力模块和空间注意力模块,特征增强单元还用于:基于通道注意力模块对第二特征进行注意力处理,得到通道注意力特征;基于空间注意力模块对通道注意力特征进行注意力处理,得到第三特征。

可选地,预设胶囊网络至少包括:主胶囊层、卷积胶囊层和类胶囊层,概率值确定模块包括:第一提取单元,用于基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量;第二转换单元,用于基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量;第三转换单元,用于基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量;概率值确定单元,用于基于第三特征向量的欧氏距离的平方根,确定类别概率值。

可选地,第一提取单元还用于:基于第三特征对应的第一特征尺度,确定图像语义特征的特征类别,其中,特征类别用于表征图像语义特征是否属于低层特征;基于特征类别,从图像语义特征中提取出低层特征;对低层特征进行向量化处理,得到第一特征向量。

可选地,第二转换单元还用于:基于预设路由算法对初始耦合系数进行更新,得到第一耦合系数;基于第一特征向量和预设共享权重的乘积,得到第一过渡向量;基于第一过渡向量和第一耦合系数的乘积,得到第二过渡向量;基于预设函数对第二过渡向量的和进行非线性转换,得到第二特征向量。

可选地,第三转换单元还用于:基于预设路由算法对第一耦合系数进行更新,得到第二耦合系数;基于第二特征向量和预设共享权重的乘积,得到第三过渡向量;基于第三过渡向量和第二耦合系数的乘积,得到第三过渡向量;基于预设函数对第三过渡向量的和进行非线性转换,得到第三特征向量。

可选地,上述装置还包括:样本识别模块,用于基于初始注意力模型和初始胶囊网络对多个样本图像进行识别,得到多个识别结果;数据获取模块,用于获取多个样本图像之间的相似度系数,以及多个样本图像中目标物体对应的多个真值图像;交并比确定模块,用于将多个真值图像和多个识别结果进行匹配,得到交并比系数;数据调整模块,用于基于相似度系数和交并比系数,对初始注意力模型和初始胶囊网络进行调整,得到自适应注意力模型和预设胶囊网络。

根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述的图像识别方法。

根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述的图像识别方法。

根据本发明实施例的另一方面,还提供了一种电子设备,包括:至少一个处理器;以及于至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的图像识别方法。

在本发明实施例中,采用对原始图像进行特征处理,得到初始特征图;基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征;利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值;基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果的方式,通过利用自适应注意力模型强化初始特征图中的高层语义信息,得到对应的图像语义特征,以增强目标物体在原始图像中的区域特征,同时降低斑点对目标物体分割的影响,利用预设胶囊网络,保存图像语义特征中高级特征的特征向量,并根据特征向量的长度来提高确定出的类别概率值的准确地,从而保证利用类别概率值对原始图像进行识别得到的目标识别结果与目标物体的匹配度,以提高目标识别结果的准确度,进而解决了相关技术中从原始图像中识别目标物体的准确度较差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例示出的一种图像识别方法的示意图;

图2是根据本申请实施例示出的一种图像识别过程的示意图;

图3是根据本申请实施例示出的一种自适应注意力模块处理过程的示意图;

图4是根据本申请实施例示出的一种胶囊层处理过程的示意图;

图5是根据本申请实施例示出的一种图像识别装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例,提供了一种图像识别的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例示出的一种图像识别方法的示意图,如图1所示,该方法包括如下步骤:

步骤S102,对原始图像进行特征处理,得到初始特征图。

其中,原始图像中至少包含目标物体。

上述原始图像可以是指当前需要进行图像识别的图像,在原始图像中可以至少包括目标物体。上述目标物体可以是指需要从原始图像中识别出的物体,可以包括但不限于:行人、人脸、车辆、车牌号等物体。

在本实施例的一种可选方案中,为了保证对原始图像中包含的目标物体进行识别时的准确度,可以首先获取当前需要进行识别的原始图像,并对该原始图像进行特征提取的操作,例如通过预设的特征提取模型对原始图像进行处理,得到该原始图像对应的初始特征图。

步骤S104,基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征。

在本实施例的一种可选方案中,为了提高从原始图像中识别出目标物体的准确度,可以对初始特征图中的多个特征中的高层特征进行强化,例如在一张人脸图像中,可以至少包括:脸的轮廓、五官的轮廓、位置等特征,对应的在该人脸图像中的高层特征就可以是指该图像中的人脸,对图像中的高层特征进行强化,可以在增强目标物体所处区域的区域特征的同时,降低斑点对目标物体分割的影响,基于此,在得到原始图像对应的初始特征图之后,可以利用上述的自适应注意力模型对该初始特征图进行聚合处理,以得到等级相对较高的图像语义特征。

步骤S106,利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值。

其中,预设胶囊网络中不同胶囊层对应的耦合系数可以由预设路由算法确定得到,类别概率值用于表征像素点是否属于目标物体;

上述预设胶囊网络可以是指以胶囊为基本单位,包含有许多神经元的网络,不同神经元相当于不同属性,属性由诸如色相、大小、位置等参数构成。

在本实施例的一种可选方案中,考虑到传统卷积神经网络一般是先通过卷积方式对图像进行特征提取得到特征图,然后利用池化操作缩小特征图,提高感受野的面积,从而提高提取到的特征的全面性、使得提取到的通知的语义级别更高。但是由于从原始图像中识别并分割出目标物体的过程是基于像素级别的,在后续处理过程中,还需要借助上采样操作将特征图大小恢复至和原图一样以保证分割精度,而大量池化操作会使得模型在捕获相关位置信息时表现较差,导致出现空间特征信息丢失的情况,可能会影响传统卷积神经网络在建模部分空间关系时的准确度,导致实际识别和分割出的目标物体不准确。因此,为了进一步地提高从原始图像中识别处目标物体的准确度,可以在按照预设形式的组织结构连接多种不同属性的多个神经元,来搭建多个胶囊层,不同胶囊层对应的耦合系数可以通过预设路由算法确定,并连接着多个胶囊层以形成上述的预设胶囊网络。在得到原始图像对应的图像语义特征之后,可以进一步地利用预设的胶囊网络对该图像语义特征进行处理,进一步地从该图像语义特征中确定出多个高层特征的类别概率值,即判断该高层特征是否属于目标物体,对应的原始图像中的像素点是否属于上述目标物体,例如,可以首先利用上述预设胶囊网络中不同胶囊层对图像语义特征进行处理,得到多个图像语义特征对应的特征向量,然后根据特征向量的大小来确定上述的类别概率值,若特征向量的向量长度大于或等于预设长度阈值,则可以确定对应的类别概率值确定为1,用来表示该像素点属于上述的目标物体;若特征向量的向量长度小于预设长度阈值,则可以确定对应的类别概率值确定为0,用来表示该像素点不属于上述的目标物体。需要说明的是,上述类别概率值的取值不局限于1和0,具体的设置可以由用户自行决定,在此不做限定。

步骤S108,基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果。

在得到原始图像中不同像素点对应的类别概率值之后,图像识别系统可以根据该类别概率值对原始图像进行图像识别的操作,以从原始图像中识别出目标物体,从而得到上述的目标识别结果,例如,图像识别系统可以将原始图像中的像素点和对应的类别概率值逐个求和,将保留下的区域确定为目标物体在原始图像中的区域,从而得到目标物体对应的目标识别结果。

为便于理解,图2是根据本申请实施例示出的一种图像识别过程的示意图,如图2所示,图像识别系统可以首先获取原始图像对应的初始特征图,接着将该初始特征图输入至自适应注意力模型中进行聚合处理,以得到原始图像的图像语义特征F

在本发明实施例中,采用对原始图像进行特征处理,得到初始特征图;基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征;利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值;基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果的方式,通过利用自适应注意力模型强化初始特征图中的高层语义信息,得到对应的图像语义特征,以增强目标物体在原始图像中的区域特征,同时降低斑点对目标物体分割的影响,利用预设胶囊网络,保存图像语义特征中高级特征的特征向量,并根据特征向量的长度来提高确定出的类别概率值的准确地,从而保证利用类别概率值对原始图像进行识别得到的目标识别结果与目标物体的匹配度,以提高目标识别结果的准确度,进而解决了相关技术中从原始图像中识别目标物体的准确度较差的技术问题。

可选地,自适应注意力模块至少包括:第一处理模块和第二处理模块,基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征,包括:利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,其中,不同第二特征对应的尺度不同;利用第二处理模块对第二特征进行特征增强,得到第三特征;对第三特征进行多尺度聚合,得到图像语义特征。

在本实施例的一种可选方案中,在自适应注意力模型中可以至少包括第一处理模块和第二处理模块,其中,第一处理模块可以是指用于对确定不同尺度的特征的模块,第二处理模块可以是指用于对提取到的特征进行增强的模块,在利用自适应注意力模型对初始特征图进行聚合时,可以首先利用上述第一处理模块对初始特征图中的第一特征进行转换,以得到具有不同尺度的第二特征,然后再利用上述的第二处理模块对上述的第二特征进行特征增强的操作,以得到语义等级较高的第三特征,最后对该第三特征进行多尺度聚合的操作,便可以得到原始图像的图像语义特征。

可选地,第一处理模块至少包括:空洞卷积层、批量归一化层和激活函数层,利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,包括:基于空洞卷积对第一特征进行扩充,得到不同尺度的空洞卷积特征,其中,空洞卷积特征的感受野的面积大于第一特征的感受野的面积;基于批量归一化层对空洞卷积特征进行归一化处理,得到归一化特征;基于激活函数层对归一化特征进行映射,得到第二特征。

在本实施例的一种可选方案中,在第一处理模块中可以至少包括:预设空洞率的空洞卷积层、批量归一化层和激活函数层,在利用第一处理模块对第一特征进行转换时,可以首先利用上述的空洞卷积层对第一特征进行扩充,以得到不同尺度的空洞卷积特征,从而更好的保留原始图像中的空间图像特征,而不损失图像信息,其中,该空洞卷积特征对应的感受野的面积与第一特征对应的感受野的面积。在得到空洞卷积特征后,可以再利用上述的批量归一化层对空洞卷积特征进行归一化处理,以得到对应的归一化特征,最后再利用激活函数层对归一化特征进行映射处理,便可以得到上述的第二特征。其中,为了顺利地对不同尺度的特征进行映射处理,上述激活函数层中部署的激活函数可以是ReLu()函数,以避免出现梯度消失的情况。

可选地,第二处理模块至少包括:通道注意力模块和空间注意力模块,利用第二处理模块对第二特征进行特征增强,得到第三特征,包括:基于通道注意力模块对第二特征进行注意力处理,得到通道注意力特征;基于空间注意力模块对通道注意力特征进行注意力处理,得到第三特征。

在本实施例的一种可选方案中,在第二处理模块中可以至少包括通道注意力模块和空间注意力模块,在利用第二处理模块对第二特征进行转换时,为了保证转换精度和转换效率,可以首先利用上述的通道注意力模块对第二特征进行注意力处理,以得到对应的通道注意力特征,然后再利用上述的空间注意力模块对该通道注意力特征进行注意力处理,便可以得到上述的第三特征。需要说明的是,上述空间注意力模块和通道注意力模块的处理过程可以参考相关文献,在此不做赘述。

图3是根据本申请实施例示出的一种自适应注意力模块处理过程的示意图,如图3所示可以在自适应注意力模型中对应配置多个第一处理模块和多个第二处理模块,多个第一处理模块和多个第二处理模块对应连接,在利用自适应注意力模型对初始特征图进行聚合时,可以将初始特征图包含的多个第一特征F

可选地,预设胶囊网络至少包括:主胶囊层、卷积胶囊层和类胶囊层,利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值,包括:基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量;基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量;基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量;基于第三特征向量的欧氏距离的平方根,确定类别概率值。

在本实施例的一种可选方案中,在预设胶囊网络中有至少包括主胶囊层、卷积胶囊层和类胶囊层,其中,主胶囊层类似于一个卷积操作,主要实现提取多尺度目标中的低层特征,例如物体的颜色、边界等特征的功能;卷积胶囊层旨在降低整体参数量,采用的是局部连接以及共享转换矩阵的方式;类胶囊层相当于全连接层,主要保存高级特征向量。在利用预设胶囊网络对图像语义特征进行处理得到类别概率值时,可以首先利用上述的主胶囊层对图像语义特征中的低层特征进行提取,以得到对应的第一特征向量,接着再利用上述的卷积胶囊层对第一特征向量进行转换,得到整体参数量较少的第二特征向量,然后再利用上述的类胶囊层对第二特征向量进行转换,以得到等级较高的第三特征向量,最后再计算该第三特征向量的L2范数,即确定第三特征向量的欧式距离的平方根,可以确定出上述的类别概率值,例如,若该平方根小于预设阈值,则可以确定对应的类别概率值为0;若该平方根大于或等于预设阈值,则可以确定对应的类别概率值为1。

可选地,基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量,包括:基于第三特征对应的第一特征尺度,确定图像语义特征的特征类别,其中,特征类别用于表征图像语义特征是否属于低层特征;基于特征类别,从图像语义特征中提取出低层特征;对低层特征进行向量化处理,得到第一特征向量。

在本实施例的一种可选方案中,在利用主胶囊层对图像语义特征中的低层特征进行提取时,可以首先跟及第三特征对应的第一特征尺度,来确定对应的图像语义特征的特征类别,即判断该图像语义特征是否为低层特征,根据确定出的特征类别,可以从原始图像的图像语义特征中提取出上述的低层特征,对该低层特征进行向量化处理,便可以得到对应的第一特征向量。

可选地,基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量,包括:基于预设路由算法对初始耦合系数进行更新,得到第一耦合系数;基于第一特征向量和预设共享权重的乘积,得到第一过渡向量;基于第一过渡向量和第一耦合系数的乘积,得到第二过渡向量;基于预设函数对第二过渡向量的和进行非线性转换,得到第二特征向量。

在本实施例的一种可选方案中,考虑到可以通过路由算法对不同胶囊层中的耦合系数进行更新,因此,在利用卷积胶囊层对第一特征向量进行转换时,可以首先利用预设的路由算法对初始耦合系数进行更新,以得到在卷积胶囊层中使用的第一耦合系数,然后将主胶囊层输出的第一特征向量与预设的共享权重相乘,以得到上述的第一过渡向量,再根据上述的第一过渡向量和第一耦合系数的乘积,得到上述的第二过度向量,最后通过预设函数对上述的第二过度向量的和进行非线性转换,便可以得到对应的第二特征向量。其中,预设函数可以是Squash()函数,以保证上述过程的普适性。

可选地,基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量,包括:基于预设路由算法对第一耦合系数进行更新,得到第二耦合系数;基于第二特征向量和预设共享权重的乘积,得到第三过渡向量;基于第三过渡向量和第二耦合系数的乘积,得到第三过渡向量;基于预设函数对第三过渡向量的和进行非线性转换,得到第三特征向量。

与卷积胶囊层相对应的,在利用类胶囊层对第二特征向量进行转换时,可以首先利用预设的路由算法对第一耦合系数进行更新,以得到在类胶囊层中使用的第二耦合系数,然后将卷积胶囊层输出的第二特征向量与预设的共享权重相乘,以得到上述的第三过渡向量,再根据上述的第三过渡向量和第二耦合系数的乘积,得到上述的第四过度向量,最后通过预设函数对上述的第四过度向量的和进行非线性转换,便可以得到对应的第三特征向量。

图4是根据本申请实施例示出的一种胶囊层处理过程的示意图,如图4所示,在利用卷积胶囊层或者类胶囊层对接收到的特征进行处理时,可以利用预设的共享权重W

可选地,上述方法还包括:基于初始注意力模型和初始胶囊网络对多个样本图像进行识别,得到多个识别结果;获取多个样本图像之间的相似度系数,以及多个样本图像中目标物体对应的多个真值图像;将多个真值图像和多个识别结果进行匹配,得到交并比系数;基于相似度系数和交并比系数,对初始注意力模型和初始胶囊网络进行调整,得到自适应注意力模型和预设胶囊网络。

在本实施例的一种可选方案中,为了保证自适应注意力模型和预设胶囊网络的精度,以更好的从原始图像中识别出目标物体,可以通过采集大量包含不同场景下的目标物体的样本图像,并利用初始注意力模型和初始胶囊网络对这大量的样本图像进行识别,以得到多个识别结果,根据多个识别结果的识别情况来对上述的初始注意力模型和初始胶囊网络进行调整。而为了更全面客观的评估初始注意力模型和初始胶囊网络的性能,可以至少通过交并比系数和Dice系数(用于度量两个样本相似度的数据)这两种评价指标,来对多个识别结果进行评估。具体的,可以对不同样本图像进行相似度匹配,以获取多个样本图像之间的相似度系数,即获取上述Dice系数,同时从多个样本图像中确定出包含的目标物体的多个真值图像,然后将这多个真值图像和多个识别结果进行匹配,可以得到能够初步反映出初始注意力模型和初始胶囊网络对目标物体的识别情况的交并比系数,最后根据该相似度系数和交并比系数,可以对上述的初始注意力模型和初始胶囊网络进行调整,以得到精度较高的自适应注意力模型和原始胶囊网络。

实施例2

根据本发明实施例的另一方面,还提供了一种图像识别装置,图5是根据本申请实施例示出的一种图像识别装置的结构框图,如图5所示,该装置包括:特征图确定模块502,用于对原始图像进行特征处理,得到初始特征图,其中,原始图像中至少包含目标物体;特征聚合模块504,用于基于自适应注意力模型对初始特征图进行聚合,得到图像语义特征;概率值确定模块506,用于利用预设胶囊网络对图像语义特征进行处理,得到原始图像中不同像素点对应的类别概率值,其中,预设胶囊网络中不同胶囊层对应的耦合系数可以由预设路由算法确定得到,类别概率值用于表征像素点是否属于目标物体;图像识别模块508,用于基于类别概率值对原始图像进行图像识别,得到目标物体对应的目标识别结果。

可选地,自适应注意力模块至少包括:第一处理模块和第二处理模块,特征聚合模块包括:第一转换单元,用于利用第一处理模块对初始特征图中的第一特征进行转换,得到第二特征,其中,不同第二特征对应的尺度不同;特征增强单元,用于利用第二处理模块对第二特征进行特征增强,得到第三特征;特征聚合单元,用于对第三特征进行多尺度聚合,得到图像语义特征。

可选地,第一处理模块至少包括:空洞卷积层、批量归一化层和激活函数层,第一转换单元还用于:基于空洞卷积对第一特征进行扩充,得到不同尺度的空洞卷积特征,其中,空洞卷积特征的感受野的面积大于第一特征的感受野的面积;基于批量归一化层对空洞卷积特征进行归一化处理,得到归一化特征;基于激活函数层对归一化特征进行映射,得到第二特征。

可选地,第二处理模块至少包括:通道注意力模块和空间注意力模块,特征增强单元还用于:基于通道注意力模块对第二特征进行注意力处理,得到通道注意力特征;基于空间注意力模块对通道注意力特征进行注意力处理,得到第三特征。

可选地,预设胶囊网络至少包括:主胶囊层、卷积胶囊层和类胶囊层,概率值确定模块包括:第一提取单元,用于基于主胶囊层,对图像语义特征中的低层特征进行提取,得到第一特征向量;第二转换单元,用于基于卷积胶囊层,按照预设路由算法对第一特征向量进行转换,得到第二特征向量;第三转换单元,用于基于类胶囊层,按照预设路由算法对第二特征向量进行转换,得到第三特征向量;概率值确定单元,用于基于第三特征向量的欧氏距离的平方根,确定类别概率值。

可选地,第一提取单元还用于:基于第三特征对应的第一特征尺度,确定图像语义特征的特征类别,其中,特征类别用于表征图像语义特征是否属于低层特征;基于特征类别,从图像语义特征中提取出低层特征;对低层特征进行向量化处理,得到第一特征向量。

可选地,第二转换单元还用于:基于预设路由算法对初始耦合系数进行更新,得到第一耦合系数;基于第一特征向量和预设共享权重的乘积,得到第一过渡向量;基于第一过渡向量和第一耦合系数的乘积,得到第二过渡向量;基于预设函数对第二过渡向量的和进行非线性转换,得到第二特征向量。

可选地,第三转换单元还用于:基于预设路由算法对第一耦合系数进行更新,得到第二耦合系数;基于第二特征向量和预设共享权重的乘积,得到第三过渡向量;基于第三过渡向量和第二耦合系数的乘积,得到第三过渡向量;基于预设函数对第三过渡向量的和进行非线性转换,得到第三特征向量。

可选地,上述装置还包括:样本识别模块,用于基于初始注意力模型和初始胶囊网络对多个样本图像进行识别,得到多个识别结果;数据获取模块,用于获取多个样本图像之间的相似度系数,以及多个样本图像中目标物体对应的多个真值图像;交并比确定模块,用于将多个真值图像和多个识别结果进行匹配,得到交并比系数;数据调整模块,用于基于相似度系数和交并比系数,对初始注意力模型和初始胶囊网络进行调整,得到自适应注意力模型和预设胶囊网络。

实施例3

根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述的图像识别方法。

实施例4

根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述的图像识别方法。

实施例5

根据本发明实施例的另一方面,还提供了一种电子设备,包括:至少一个处理器;以及于至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的图像识别方法。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

技术分类

06120116580941