一种图像阴影检测的处理方法、装置、设备及介质
文献发布时间:2023-06-19 19:27:02
技术领域
本申请涉及深度学习技术领域,具体涉及一种图像阴影检测的处理方法、装置、设备及介质。
背景技术
近年来,随着智能驾驶技术的不断发展,各类的图像处理系统已经广泛应用于汽车智能驾驶领域中。然而,由于可见光并不具有显著的穿透特性,故在有遮挡的情况下,被遮挡的区域在图像中就会呈现出阴影覆盖的现象。阴影的覆盖最直观的体现就是会对图像灰度的连续性进行覆盖,增加汽车智能驾驶感知领域中目标检测、语义分割等感知应用的难度。现有的图像阴影检测方法仅仅通过注意力机制对特征图进行池化处理,未能对阴影特征图的边缘进行精细化的学习,导致对全局特征的表达能力有限,不能具有较好的鲁棒性。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种图像阴影检测的处理方法、装置、设备及介质,以解决上述技术问题。
本发明提供的一种图像阴影检测的处理方法,所述方法包括:
获取图像数据集,其中,所述图像数据集包括图像训练数据集和图像测试数据集;
对所述图像训练数据集进行标准化处理,生成标准图像数据集;
对所述标准图像数据集进行标签提取处理,生成标签图像数据集;
将所述标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型;
将所述标签图像数据集输入所述目标卷积神经网络模型中进行训练处理,生成残差转换网络模型;以及
将所述图像测试数据集输入至所述残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据。
于本发明的一实施例中,所述对所述图像训练数据集进行标准化处理,生成标准图像数据集的步骤包括:
对所述图像训练数据集中的图像进行缩放处理,生成标准尺寸图像数据集;
对所述标准尺寸图像数据集分别进行翻转处理,生成翻转图像数据集;以及
对所述翻转图像数据集进行分割处理,生成标准图像数据集。
于本发明的一实施例中,所述标签图像数据集包括阴影边缘标签数据集和阴影区域标签数据集。
于本发明的一实施例中,所述将所述标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型的步骤包括:
将所述标签图像数据集输入所述初始卷积神经网络模型的第一线性层进行线性融合处理,生成注意力图像数据;
将所述注意力图像数据输入所述初始卷积神经网络模型的第二线性层进行注意力线性加强处理,生成全局注意力图像数据;以及
将所述全局注意力图像数据输入至所述初始神经网络模型中的卷积层进行卷积运算,获得目标卷积神经网络模型。
于本发明的一实施例中,所述全局注意力图像数据中的全局注意力数据包括查询向量、键向量以及键值向量。
于本发明的一实施例中,所述将所述标签图像数据集输入所述目标卷积神经网络模型中进行训练处理,生成残差转换网络模型的步骤包括:
将视觉转换模块输入所述目标卷积神经网络模型中进行特征提取处理,生成全局特征图像数据;
将所述全局特征图像数据输入池化通道进行降采样处理,生成高维特征图像数据;
对所述高维特征图像数据采用交叉熵损失函数进行损失评估处理,以生成阴影区域图像数据;
将所述全局特征图像数据输入残差通道进行卷积处理,生成低维特征图像数据;
对所述低维特征图像数据采用加权交叉熵损失函数进行损失评估处理,以生成阴影标签图像数据;以及
将所述阴影区域图像数据和所述阴影标签图像数据输入所述目标神经网络模型中进行训练,生成残差转换网络模型。
于本发明的一实施例中,所述将所述图像测试数据集输入至所述残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据的步骤包括:
将图像测试数据集输入至所述残差转换网络模型进行阴影概率计算,生成测试图像的每个像素点的阴影概率和非阴影概率;
判断所述阴影概率和所述非阴影概率的大小;
若所述阴影概率大于或等于所述非阴影概率,则将所述测试图像的该像素点区域置为白色,生成阴影区域检测图像;
若所述阴影概率小于所述非阴影概率,则将所述测试图像的该像素点区域置为黑色,生成阴影边缘检测图像;
对所述阴影区域检测图像和所述阴影边缘检测图像进行融合处理,生成阴影检测图像数据。
本发明还提供一种图像阴影检测的处理装置,所述装置包括:
数据获取模块,用以获取图像数据集,其中,所述图像数据集包括图像训练数据集和图像测试数据集;
数据标准化模块,用以对所述图像训练数据集进行标准化处理,生成标准图像数据集;
标签提取模块,用以对所述标准图像数据集进行标签提取处理,生成标签图像数据集;
优化处理模块,用以将所述标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型;
残差网络生成模块,用以将所述标签图像数据集输入所述目标卷积神经网络模型中进行训练处理,生成残差转换网络模型;
检测图像生成模块,用以将所述图像测试数据集输入至所述残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据。
本发明还提供一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上任一项所述的图像阴影检测的处理方法。
本发明还提供一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机如上任一项所述的图像阴影检测的处理方法。
本发明的有益效果:本发明通过对初始卷积神经网络模型进行优化处理,从而获得目标卷积神经网络模型,再将标签图像数据集输入目标卷积神经网络模型进行训练处理,从而获得残差转换网络模型,最后将图像测试数据集输入残差转换网络模型中进行阴影检测处理,以生成阴影检测图像数据,能够对阴影特征图的边缘进行精细化的学习,使阴影特征图具有较好的鲁棒性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本申请的一示例性实施例示出的图像阴影检测的处理方法实施环境示意图;
图2是本申请的一示例性实施例示出的图像阴影检测的处理方法的流程示意图;
图3是图2所示实施例中的步骤S220在一示例性的实施例中的流程图;
图4是图2所示实施例中的步骤S240在一示例性的实施例中的流程图;
图5是本申请的一示例性实施例示出的视觉转换模块的结构示意图;
图6是图2所示实施例中的步骤S250在一示例性的实施例中的流程图;
图7是图2所示实施例中的步骤S260在一示例性的实施例中的流程图;
图8是本申请的一示例性实施例示出的图像测试数据集中的测试图像;
图9是本申请的一示例性实施例示出的阴影区域检测图像和阴影边缘检测图像;
图10是本申请的一示例性实施例示出的阴影检测图像;
图11是本申请的一示例性实施例示出的图像阴影检测的处理装置的结构示意图;
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
首先需要说明的是,随着大数据时代的发展,人工智能技术突飞猛进,其中深度学习技术被应用于图像分割、目标检测、语音分割等诸多领域。图像阴影检测方法已经广泛应用于汽车智能驾驶领域中。然而,由于可见光并不具有显著的穿透特性,故在有遮挡的情况下,被遮挡的区域在图像中就会呈现出阴影覆盖的现象。阴影的覆盖最直观的体现就是会对图像灰度的连续性进行覆盖,增加汽车智能驾驶感知领域中目标检测、语义分割等感知应用的难度。深度学习(Deep Learning,DL)是机器学习(Machine Learning,ML)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(ArtificialIntelligence,AI)。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。现有的图像阴影检测方法仅仅通过注意力机制对特征图进行池化处理,未能对阴影特征图的边缘进行精细化的学习,导致对全局特征的表达能力有限,不能具有较好的鲁棒性。图像阴影检测的处理方法是通过获取图像数据集,对图像训练数据集进行标准化处理,获得标准图像数据集。再通过对标准图像数据集进行标签提取处理,获得标签图像数据集。通过将标签图像数据集输入目标卷积神经网络模型中进行训练处理,从而能够获得残差转换网络模型。最后将图像测试数据集输入至残差转换网络模型中进行阴影检测处理,获得阴影检测图像数据,以完成对图像阴影的检测。在其它的应用场景中,针对对象的图像阴影检测的处理方法可以根据实际情况进行设置,本申请的实施例不对此进行限制。
图1是本申请的一示例性实施例示出的图像阴影检测的处理方法的实施环境示意图。如图1所示,通过智能终端110上安装的智能感知传感器等,可以对图像信息进行采集。再分别依次对图像信息进行标准化处理和标签提取处理,以生成标准图像数据集和标签图像数据集,再将标签图像数据集输入目标卷积神经网络模型进行训练处理,最终将图像测试数据输入至服务端120中进行阴影检测处理,以生成阴影检测图像数据。其中,图1所示的智能终端110可以是智能手机、智能汽车、平板电脑、笔记本电脑或者任意支持安装智能感知传感器等的终端设备,但并不限于此。图1所示的服务端120是服务器,例如可以是独立的显示屏,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,在此也不进行限制。智能终端110可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与服务端120进行通信,本处也不对此进行限制。由于现有的图像阴影检测方法仅仅通过注意力机制对特征图进行池化处理,未能对阴影特征图的边缘进行精细化的学习,导致对全局特征的表达能力有限,不能具有较好的鲁棒性。为解决这些问题,本申请的实施列分别提出一种图像阴影检测的处理方法、一种图像阴影检测的处理装置、一种电子设备以及一种计算机可读存储介质,以下将对这些实施例进行详细描述。
请参阅图2,图2是本申请的一示例性实施例示出的图像阴影检测的处理方法的流程图,应理解的是,该方法也可以适用于其它的示例性实施环境,并由其它实施环境中的设备具体执行,本实施例不对该方法所适用的实施环境进行限制。
如图2所示,在一示例性的实施例中,图像阴影检测的处理方法至少包括步骤S210至步骤S260,详细介绍如下:
步骤S210、获取图像数据集,其中,图像数据集包括图像训练数据集和图像测试数据集。
步骤S220、对图像训练数据集进行标准化处理,生成标准图像数据集。
步骤S230、对标准图像数据集进行标签提取处理,生成标签图像数据集。
步骤S240、将标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型。
步骤S250、将标签图像数据集输入目标卷积神经网络模型中进行训练处理,生成残差转换网络模型。
步骤S260、将图像测试数据集输入至残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据。
如图2所示,在一示例性的实施例中,当执行步骤S210时,即获取图像数据集,其中,图像数据集包括图像训练数据集和图像测试数据集。需要说明的是,图像训练数据集可以包括1330张尺寸大小为480×640的训练图像,然不限于此,图像训练集的数量还可以为其他数量,且图像训练集的尺寸可以为其他尺寸。
如图3所示,在一示例性的实施例中,当执行步骤S220时,即对图像训练数据集进行标准化处理,生成标准图像数据集。具体的,步骤S220可以包括步骤S221至步骤S223,详细介绍如下:
步骤S221、对图像训练数据集中的图像进行缩放处理,生成标准尺寸图像数据集。
步骤S222、对标准尺寸图像数据集分别进行翻转处理,生成翻转图像数据集。
步骤S223、对翻转图像数据集进行分割处理,生成标准图像数据集。
在一示例性的实施例中,标准尺寸图像数据集中的每幅图像的尺寸大小都是标准尺寸。对标准尺寸图像进行翻转处理可以包括对标准尺寸图像分别依次进行水平翻转、垂直翻转以及旋转等操作。对翻转图像数据集进行分割处理可以为对翻转图像数据集中的每幅图像按照丛上至下、从左至右的顺序分割成互不重叠的大小为256×256像素的方块。
如图2所示,在一示例性的实施例中,当执行步骤S230时,即对标准图像数据集进行标签提取处理,生成标签图像数据集。具体的,标签提取处理可以包括先使用图像标签标注软件(labelme工具)对标准图像中的阴影边缘像素区域添加阴影边缘标签。标签图像数据集可以包括阴影边缘标签数据集和阴影区域标签数据集。其中,对于阴影区域标签数据集中的每幅阴影区域图像,像素值为0的区域可以表示为图像背景,像素值为1的区域可以表示为图像的阴影区域。对于阴影边缘标签数据集中的图像,像素值为0的区域可以表示为图像背景,像素值为1的区域可以表示为阴影边缘。
如图4和图5所示,在一示例性的实施例中,当执行步骤S240时,即将标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型。具体的,步骤S240可以包括步骤S241至步骤S243,详细介绍如下:
步骤S241、将标签图像数据集输入初始卷积神经网络模型的第一线性层进行线性融合处理,生成注意力图像数据。
步骤S242、将注意力图像数据输入初始卷积神经网络模型的第二线性层进行注意力线性加强处理,生成全局注意力图像数据。
步骤S243、将全局注意力图像数据输入至初始神经网络模型中的卷积层进行卷积运算,获得目标卷积神经网络模型。
在一示例性的实施例中,初始卷积神经网络模型为残差网络模型(ResNet50)。其中,残差网络结构(ResNet50)中可以融入注意力机制和高斯矩阵。注意力机制可以包括空间注意力单元和通道注意力单元。残差网络结构(Resnet50)中可以包括49个卷积层和1个全连接层。Resnet50网络结构可以分成七个部分,第一部分不包含残差层,主要对输入的图像进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差层。在残差网络结构中,每残差层都可以包括三个卷积层。优化处理可以为对初始卷积神经网络模型融入注意力机制,用于增强对目标特征的学习,同时降低网络参数的冗余。第一线性层可以记为linear1,第二线性层可以记为linear2。全局注意力图像数据中的全局注意力数据可以包括查询向量、键向量以及键值向量。其中,注意力线性加强处理满足如下公式:
Att=Softmax(QK
其中,Att表示为全局注意力图像的全局注意力,Softmax表示为激活函数,可用以将一个数值向量归一化为一个概率分布向量,且各个概率之和为1。Softmax函数可以用来作为神经网络的最后一层,用于多分类问题的输出,Q可以表示为全局注意力图像数据中的查询向量,K可以表示为全局注意力图像数据中的键向量,V可以表示为全局注意力图像数据中的键值向量,T可以表示为对全局注意力图像数据中的键向量K进行转置计算。然不限于此,目标卷积神经网络模型中的激活函数还可以满足如下公式:
其中,x可以表示为目标卷积神经网络模型中的输入,SiLU函数可以表示为对输入数据的激活。
如图5和图6所示,在一示例性的实施例中,当执行步骤S250时,即将标签图像数据集输入目标卷积神经网络模型中进行训练处理,生成残差转换网络模型。具体的,步骤S250可以包括步骤S251至步骤S256,详细介绍如下:
步骤S251、将视觉转换模块输入目标卷积神经网络模型中进行特征提取处理,生成全局特征图像数据。
步骤S252、将全局特征图像数据输入池化通道进行降采样处理,生成高维特征图像数据。
步骤S253、对高维特征图像数据采用交叉熵损失函数进行损失评估处理,以生成阴影区域图像数据。
步骤S254、将全局特征图像数据输入残差通道进行卷积处理,生成低维特征图像数据。
步骤S255、对低维特征图像数据采用加权交叉熵损失函数进行损失评估处理,以生成阴影标签图像数据。
步骤S256、将阴影区域图像数据和阴影标签图像数据输入目标神经网络模型中进行训练,生成残差转换网络模型。
在一示例性的实施例中,具体的,视觉转换模块可以包括四层卷积层和一层转换层。其中,四层卷积层中,第一层可以为卷积核为3×3的普通卷积,第二层可以为卷积核大小为1×1的空洞卷积,第三层可以与第二层卷积层相同,第四层可以与第一层卷积层相同。视觉转换模块可以用于对目标卷积神经网络模型中的残差层和卷积层进行特征提取,以生成全局特征图像数据。交叉熵函数可以表示为L
x′=vit_conv3(vit_trans(vit_conv2(vit_conv1(x))))
y=vit_conv4(concate(x,x′))
其中,x可以表示为全局特征图像数据,vit_conv1表示为卷积核为3×3的第一层普通卷积,vit_conv2表示为卷积核大小为1×1的第二层空洞卷积,vit_trans表示为对积核大小为1×1的第二层空洞卷积后的结果进行转换,vit_conv3表示为卷积核大小为1×1的第三层空洞卷积,vit_conv4表示为卷积核为3×3的第一层普通卷积,x′=vit_conv3(vit_trans(vit_conu2(vit_conv1(x))))表示为对全局特征图像数据x依次进行三层卷积后生成的特征图数据,concate可以表示为对全局特征图像数据和进行三层卷积后生成的特征图数据进行特征融合处理,y可以表示为低维特征图像数据。加权交叉熵损失函数可以表示为L
L=L
其中,L
如图7、图8、图9和图10所示,在一示例性的实施例中,当执行步骤S260时,即将图像测试数据集输入至残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据。具体的,步骤S260可以包括步骤S261至步骤S260,详细介绍如下:
步骤S261、将图像测试数据集输入至残差转换网络模型进行阴影概率计算,生成测试图像的每个像素点的阴影概率和非阴影概率。
步骤S262、判断阴影概率和非阴影概率的大小。若阴影概率大于或等于非阴影概率,则将测试图像的该像素点区域置为白色,生成阴影区域检测图像。若阴影概率小于非阴影概率,则将测试图像的该像素点区域置为黑色,生成阴影边缘检测图像。
步骤S263、对阴影区域检测图像和阴影边缘检测图像进行融合处理,生成阴影检测图像数据。
在一示例性的实施例中,对图像测试数据集进行阴影概率计算可以采用Softmax激活函数,Softmax激活函数可以将输出层的值通过激活函数映射到0-1区间,将残差转换网络中的输出构造成概率分布,用于多分类问题中,Softmax激活函数映射值越大,则真实类别可能性越大。
图11是本申请的一示例性实施例示出的图像阴影检测的处理装置的结构示意图。该装置可以应用在图1所示的实施环境中,并具体配置在智能终端110中。该装置也可以适用于其它的示例性实施环境,并具体配置在其它设备中,本实施例不对该装置所适用的实施环境进行限制。
图像阴影检测的处理装置可以包括数据获取模块710、数据标准化模块720、标签提取模块730、优化处理模块740、残差网络生成模块750以及检测图像生成模块760。
在一示例性的实施例中,数据获取模块710可用以获取图像数据集,其中,图像数据集包括图像训练数据集和图像测试数据集。需要说明的是,图像训练数据集可以包括1330张尺寸大小为480×640的训练图像,然不限于此,图像训练集的数量还可以为其他数量,且图像训练集的尺寸可以为其他尺寸。
在一示例性的实施例中,数据标准化模块720可用以对图像训练数据集进行标准化处理,生成标准图像数据集。具体的,数据标准化模块720还可以用于对图像训练数据集中的图像进行缩放处理,生成标准尺寸图像数据集。数据标准化模块720也可用以对标准尺寸图像数据集分别进行翻转处理,生成翻转图像数据集。数据标准化模块720还可用以对翻转图像数据集进行分割处理,生成标准图像数据集。需要说明的是标准尺寸图像数据集中的每幅图像的尺寸大小都是标准尺寸。对标准尺寸图像进行翻转处理可以包括对标准尺寸图像分别依次进行水平翻转、垂直翻转以及旋转等操作。对翻转图像数据集进行分割处理可以为对翻转图像数据集中的每幅图像按照丛上至下、从左至右的顺序分割成互不重叠的大小为256×256像素的方块。
在一示例性的实施例中,标签提取模块730可用以对标准图像数据集进行标签提取处理,生成标签图像数据集。具体的,标签提取处理可以包括先使用图像标签标注软件(labelme工具)对标准图像中的阴影边缘像素区域添加阴影边缘标签。标签图像数据集可以包括阴影边缘标签数据集和阴影区域标签数据集。其中,对于阴影区域标签数据集中的每幅阴影区域图像,像素值为0的区域可以表示为图像背景,像素值为1的区域可以表示为图像的阴影区域。对于阴影边缘标签数据集中的图像,像素值为0的区域可以表示为图像背景,像素值为1的区域可以表示为阴影边缘。
在一示例性的实施例中,优化处理模块740可用以将标签图像数据集输入初始卷积神经网络模型进行优化处理,生成目标卷积神经网络模型。需要说明的是,初始卷积神经网络模型为残差网络模型(ResNet50)。其中,残差网络结构(ResNet50)中可以融入注意力机制和高斯矩阵。注意力机制可以包括空间注意力单元和通道注意力单元。残差网络结构(Resnet50)中可以包括49个卷积层和1个全连接层。Resnet50网络结构可以分成七个部分,第一部分不包含残差层,主要对输入的图像进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差层。在残差网络结构中,每残差层都可以包括三个卷积层。优化处理可以为对初始卷积神经网络模型融入注意力机制,用于增强对目标特征的学习,同时降低网络参数的冗余。第一线性层可以记为linear1,第二线性层可以记为linear2。全局注意力图像数据中的全局注意力数据可以包括查询向量、键向量以及键值向量。其中,注意力线性加强处理满足如下公式:
Att=Softmax(QK
其中,Att表示为全局注意力图像的全局注意力,Softmax表示为激活函数,可用以将一个数值向量归一化为一个概率分布向量,且各个概率之和为1。Softmax函数可以用来作为神经网络的最后一层,用于多分类问题的输出,Q可以表示为全局注意力图像数据中的查询向量,K可以表示为全局注意力图像数据中的键向量,V可以表示为全局注意力图像数据中的键值向量,T可以表示为对全局注意力图像数据中的键向量K进行转置计算。然不限于此,目标卷积神经网络模型中的激活函数还可以满足如下公式:
其中,x可以表示为目标卷积神经网络模型中的输入,SiLU函数可以表示为对输入数据的激活。
在一示例性的实施例中,残差网络生成模块750可用以将标签图像数据集输入目标卷积神经网络模型中进行训练处理,生成残差转换网络模型。具体的,视觉转换模块可以包括四层卷积层和一层转换层。其中,四层卷积层中,第一层可以为卷积核为3×3的普通卷积,第二层可以为卷积核大小为1×1的空洞卷积,第三层可以与第二层卷积层相同,第四层可以与第一层卷积层相同。视觉转换模块可以用于对目标卷积神经网络模型中的残差层和卷积层进行特征提取,以生成全局特征图像数据。交叉熵函数可以表示为L
x′=vit_conv3(vit_trans(vit_conv2(vit_conv1(x))))
y=vit_conv4(concate(x,x′))
其中,x可以表示为全局特征图像数据,vit_conv1表示为卷积核为3×3的第一层普通卷积,vit_conv2表示为卷积核大小为1×1的第二层空洞卷积,vit_trans表示为对积核大小为1×1的第二层空洞卷积后的结果进行转换,vit_conv3表示为卷积核大小为1×1的第三层空洞卷积,vit_conv4表示为卷积核为3×3的第一层普通卷积,x′=vit_conv3(vit_trans(vit_conv2(vit_conv1(x))))表示为对全局特征图像数据x依次进行三层卷积后生成的特征图数据,concate可以表示为对全局特征图像数据和进行三层卷积后生成的特征图数据进行特征融合处理,y可以表示为低维特征图像数据。加权交叉熵损失函数可以表示为L
L=L
其中,L
在一示例性的实施例中,检测图像生成模块760可用以将图像测试数据集输入至残差转换网络模型中进行阴影检测处理,生成阴影检测图像数据。需要说明的是,对图像测试数据集进行阴影概率计算可以采用Softmax激活函数,Softmax激活函数可以将输出层的值通过激活函数映射到0-1区间,将残差转换网络中的输出构造成概率分布,用于多分类问题中,Softmax激活函数映射值越大,则真实类别可能性越大。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。其中,机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
基于机器学习的强大学习能力,可通过针对大量的历史轨迹的机器学习过程,可以实现机器学习模型对于导航对象的移动速度、移动方向、移动习惯、动静状态等全方位特征的位移偏置估计,以保证所预估得到的导航对象的实时位置是更加准确可信的。示例性的,机器学习模型可以包括基于神经网络的监督模型,例如二分类机器学习模型,通过使用大量的历史轨迹对机器学习模型进行训练,以使机器学习模型在训练过程中进行模型参数调整,使得调整后的模型参数对于导航对象的移动速度、移动方向、移动习惯、动静状态等全方位特征具有综合性的预测表现。
需要说明的是,上述实施例所提供的图像阴影检测的处理装置与上述实施例所提供的图像阴影检测的处理方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。上述实施例所提供的路况刷新装置在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,本处也不对此进行限制。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各个实施例中提供的图像阴影检测的处理方法。
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图12示出的电子设备的计算机系统1200仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示,计算机系统1200包括中央处理单元(Central Processing Unit,CPU)1201,其可以根据存储在只读存储器(Read-Only Memory,ROM)1202中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory,RAM)1203中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM1203中,还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM1203通过总线1204彼此相连。输入/输出(Input/Output,I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1207;包括硬盘等的储存部分1208;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入储存部分1208。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如前图像阴影检测的处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
- 一种图像处理方法及其装置、设备和存储介质
- 一种图像处理方法、装置、设备、存储介质及直播方法
- 一种图像处理方法、装置、计算机设备和存储介质
- 一种肺结节图像的处理方法、装置、设备及存储介质
- 一种连续图像的目标检测方法、装置、设备及存储介质
- 图像阴影处理方法、装置、计算机设备和存储介质
- 图像阴影处理方法、装置、计算机设备和存储介质