掌桥专利:专业的专利平台
掌桥专利
首页

对象检测方法、模型训练方法、装置、电子设备和介质

文献发布时间:2024-04-18 19:57:31


对象检测方法、模型训练方法、装置、电子设备和介质

技术领域

本申请涉及人工智能技术领域,尤其涉及一种对象检测方法、模型训练方法、装置、电子设备和介质。

背景技术

对象检测是计算机视觉处理技术的重要应用之一,可以应用于单图对象定位、多图或视频的对象连续定位等场景,传统的对象检测技术如点、线和边缘检测方法、分水岭算法和帧差法等,但前一种方式在复杂图像的位置检测中性能较差,如无法准确识别包含大量点线元素的游戏对象,分水岭算法的检测计算量大且耗时较长,不利于对象连续定位的应用,而帧差法依赖于相邻图像的像素差异量来区分背景和目标对象,当对象运动较慢时以出现漏检现象,对象检测的准确性和可靠性差。

发明内容

本申请提供了一种对象检测方法、装置、设备和存储介质,可以显著提高对象检测的准确率和可靠性。

一方面,本申请提供了一种对象检测方法,所述方法包括:

获取待检测图像,所述待检测图像包括至少一个目标对象;

对所述待检测图像进行特征提取,得到所述待检测图像的图像特征、密度特征和空间特征;

对所述图像特征、所述密度特征和所述空间特征进行融合处理,得到所述待检测图像的全局融合特征;

基于所述空间特征、所述密度特征和所述全局融合特征,对所述全局融合特征对应的多个特征点进行对象分类处理,得到所述至少一个目标对象各自对应的对象分割结果。

另一方面提供了一种对象检测模型训练方法,所述方法包括:

获取样本训练集,所述样本训练集包括样本图像,所述样本图像包括至少一个样本对象;

以所述样本图像作为初始检测模型的输入,对所述样本图像进行特征提取,得到样本图像特征、样本密度特征和样本空间特征;

对所述样本图像特征、所述样本密度特征和所述样本空间特征进行融合处理,得到所述样本图像的全局融合特征;

基于所述样本空间特征、所述样本密度特征和所述全局融合特征,对所述全局融合特征对应的多个特征点进行对象分类处理,得到所述至少一个样本对象各自对应的对象分割结果;

基于所述样本图像特征和所述至少一个样本对象各自对应的对象分割结果进行重构损失计算,得到模型损失;

根据所述模型损失训练所述初始检测模型,得到对象检测模型,所述对象检测模型应用于所述权利要求1-8中任一项所述的对象检测方法。

另一方面提供了一种对象检测装置,所述装置包括:

图像获取模块:用于获取待检测图像,所述待检测图像包括至少一个目标对象;

特征提取模块:用于对所述待检测图像进行特征提取,得到所述待检测图像的图像特征、密度特征和空间特征;

融合处理模块:用于对所述图像特征、所述密度特征和所述空间特征进行融合处理,得到所述待检测图像的全局融合特征;

对象分类模块:用于基于所述空间特征、所述密度特征和所述全局融合特征,对所述全局融合特征对应的多个特征点进行对象分类处理,得到所述至少一个目标对象各自对应的对象分割结果。

另一方面提供了一种对象检测模型训练装置,所述方法包括:

样本获取模块:用于获取样本训练集,所述样本训练集包括样本图像,所述样本图像包括至少一个样本对象;

样本特征提取模块:用于以所述样本图像作为初始检测模型的输入,对所述样本图像进行特征提取,得到样本图像特征、样本密度特征和样本空间特征;

样本融合处理模块:用于对所述样本图像特征、所述样本密度特征和所述样本空间特征进行融合处理,得到所述样本图像的全局融合特征;

样本分类模块:用于基于所述样本空间特征、所述样本密度特征和所述全局融合特征,对所述全局融合特征对应的多个特征点进行对象分类处理,得到所述至少一个样本对象各自对应的对象分割结果;

损失计算模块:用于基于所述样本图像特征和所述至少一个样本对象各自对应的对象分割结果进行重构损失计算,得到模型损失;

模型训练模块:用于根据所述模型损失训练所述初始检测模型,得到对象检测模型,所述对象检测模型应用于如上述的对象检测方法。

另一方面提供了一种计算机设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的对象检测方法。

另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的对象检测方法或对象检测模型训练方法。

另一方面提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的对象检测方法或对象检测模型训练方法。

另一方面提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的对象检测方法或对象检测模型训练方法。

另一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时实现如上述的对象检测方法或对象检测模型训练方法。

本申请提供的对象检测方法、装置、设备、存储介质、服务器、终端、计算机程序和计算机程序产品,具有如下技术效果:

本申请的技术方案通过获取待检测图像,待检测图像包括至少一个目标对象;对待检测图像进行特征提取,得到待检测图像的图像特征、密度特征和空间特征,以得到多维的图像低级和高级语义信息,并对图像特征、密度特征和空间特征进行融合处理,得到待检测图像的全局融合特征,进而形成包含多维度语义信息的融合特征空间,然后基于空间特征、密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个目标对象各自对应的对象分割结果,以结合多维度语义信息实现单张图像中对象检测的准确分割与定位,避免对象内的点线元素等的噪声干扰,提高对象检测的效率、准确性和可靠性,在对象连续定位场景中,本申请的对象检测方法不依赖于帧间像素值差异,通过对比帧间的对象分割结果即可实现对象的连续定位,避免漏检,且通过解耦对帧间差异、偏移量等的依赖性,能够克服对象遮挡等引入的对象检测障碍,优化检测效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图;

图2是本申请实施例提供的一种对象检测方法的流程示意图;

图3是本申请实施例提供的另一种对象检测方法的流程示意图;

图4是本申请实施例提供的一种对象检测模型的框架示意图;

图5是本申请实施例提供的一个密度特征提取区域的示意图;

图6是本申请实施例提供的另一种对象检测方法的流程示意图;

图7是本申请实施例提供的另一种对象检测方法的流程示意图;

图8是本申请实施例提供的一组一组待检测图像(左图)、特征图(中图)和超像素分割图像(右图)的示例图;

图9是本申请实施例提供的一张游戏视频帧;

图10是本申请实施例提供的一种方案框架示意图;

图11是本申请实施例提供的一种对象检测模型训练方法的流程原理图;

图12是本申请实施例提供一种对象检测装置的框架示意图;

图13是本申请实施例提供一种对象检测模型训练装置的框架示意图;

图14是本申请实施例提供的一种对象检测方法的电子设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。

对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

近年来,随着人工智能技术研究和进步,人工智能技术在多个领域得到广泛应用,本申请实施例提供的方案涉及人工智能的机器学习/深度学习和自然语言处理等技术,具体通过如下实施例进行说明。

请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,如图1所示,该应用环境可以至少包括终端01和服务器02。在实际应用中,终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

本申请实施例中的服务器02可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

具体地,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术能够应用于各种领域,如医疗云、云物联、云安全、云教育、云会议、人工智能云服务、云应用、云呼叫和云社交等,云技术基于云计算(cloud computing)商业模式应用,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”,“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务))平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。

按照逻辑功能划分,在IaaS层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Software as a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。

具体地,上述涉及的服务器02可以包括实体设备,可以具体包括有网络通信子模块、处理器和存储器等等,也可以包括运行于实体设备中的软体,可以具体包括有应用程序等。

具体地,终端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如应用程序等。

本申请实施例中,终端01可以用于向服务器02发送对象检测指令和待检测图像,以使服务器02执行对应的对象检测操作。服务器02可以用于提供对象检测服务,以得到对象检测结果。具体的,服务器02还可以用于初始检测模型的模型训练服务,以得到对象检测模型,以及还可以用于存储样本训练集和模型训练数据等。

此外,可以理解的是,图1所示的仅仅是一种对象检测方法的应用环境,该应用环境可以包括更多或更少的节点,本申请在此不做限制。

本申请实施例涉及的应用环境,或应用环境中的终端01和服务器02等可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统,该区块链系统可以提供上述的对象检测服务和数据存储服务等。

以下基于上述应用环境介绍本申请的一种对象检测方法,本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。请参考图2,图2是本申请实施例提供的一种对象检测方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地,如图2所示,方法可以包括下述步骤S201-S207。

S201:获取待检测图像。

具体地,待检测图像包括至少一个目标对象,待检测图像可以为但不限于照片、视频帧、页面截图等,目标对象为待检测图像中的实例元素,可以包括但不限于活体对象、虚拟对象、道路元素对象或物品对象等。以游戏图像场景为例,待检测图像可以为游戏视频的游戏视频帧,目标对象可以为游戏视频帧中的虚拟角色对象等,一些情况下,也可以将图像背景区域作为一个目标对象。请参考图9,图9示出了一张游戏视频帧的示意图,图中框定的虚拟对象为需检测的目标对象。具体地,待检测图像可以是对原始图像进行尺寸统一预处理后的图像。

S203:对待检测图像进行特征提取,得到待检测图像的图像特征、密度特征和空间特征。

具体地,图像特征可以为待检测图像对应的重构图像,重构图像为对待检测图像中的部分像素进行合并和去噪后的大像素图像。密度特征包括图像特征中每一图像特征点的像素密度信息,密度特征具体可以为图像特征对应的像素密度矩阵,像素密度信息表征图像特征点与其邻域特征点间的像素变化程度,像素密度信息对应像素密度越大,表征像素变化程度越大,反之,像素变化程度越小;示例性的,图像背景区域中,相邻图像特征点的像素值变化通常较小,则背景区域对应的图像特征点的像素密度信息对应的像素密度就比较小。空间特征包括图像特征中每一图像特征点的坐标信息,空间特征可以具体为图像特征对应的坐标信息矩阵,图像特征点的坐标信息可以基于待检测图像中的像素坐标确定,在待检测图像经特征提取过程生成图像特征的过程中,涉及图像变换和像素合并,相应的,对待检测图像中的像素坐标映射至图像特征,以得到图像特征对应的空间特征。可以理解的,空间特征携带有待检测图像的低级语义信息,图像特征和密度特征携带有图像的高级语义信息。

实际应用中,请参考图3,S203可以具体包括:

S2031:对待检测图像进行卷积处理和反卷积处理,得到图像特征,图像特征包括多个图像特征点。

具体地,可以基于对象检测模型的编码器对待检测图像进行上述卷积处理,并通过对象检测模型的解码器进行上述反卷积处理。

一些实施例中,请参考图4,编码器包括第一卷积层、池化层和第二卷积层,以待检测图像作为输入图像输入第一卷积层,进行第一卷积操作,得到初始卷积特征,第一卷积操作可以为低频滤波卷积;通过池化层对初始卷积特征进行池化处理,得到池化特征,以降低特征处理的计算量;然后,经过第二卷积层对池化特征进行第二卷积操作,得到卷积输出特征,第二卷积操作可以为平滑滤波处理,卷积输出特征为待检测图像对应的频域特征图,如此,通过卷积操作,对待检测图像进行频域转换,并在转换过程中,实现图像信息的平滑和去噪,有利于提高对象检测的准确性。

一些实施例中,请参考图4,解码器可以包括反卷积层、激活层、上采样层和图像分割层,卷积输出特征通过反卷积层,进行反卷积操作和反池化操作,得到初始恢复图像,进而通过激活层进行空间激活处理,并将得到的结果输入上采样层进行上采样处理,得到上述图像特征。

一些实施例中,卷积层包括多个卷积处理分支,分别对待检测图像进行第一卷积操作,得到的初始卷积特征中包括多个卷积特征图,卷积特征图与卷积处理分支一一对应;相应的,反卷积处理中也包括与卷积处理分支一一对应的反卷积处理分支,以使上采样层输出与多个卷积特征图一一对应的多个特征图,即每一卷积特征图对应的输出的恢复图像。如此,通过一次输入得到多个图像特征,进而得到多个密度特征,以便增加后续分割过程中的分割信息量,提高对象检测的准确性。同时,能够实现多任务学习进行模型训练,提高训练效率,并能够解决训练样本不足的问题,在预训练模型的任务性能优化场景中表现优异。

一个实施例中,第一卷积层包括5个基于3*3卷积核构建的卷积网络,即5个卷积处理分支,该卷积核是基于高斯平滑滤波生成的低频滤波卷积核;池化层2*2的最大池化等,即基于2*2的滑窗对输入特征进行2*2区域矩阵池化,每一区域矩阵取池化最大值,利用该池化最大值表征对应的整体2*2区域;第二卷积层为基于3*3卷积核构建的卷积网络,该卷积核可以为平滑滤波卷积核,通过该编码器,得到包括多个特征图的图像特征,即得到多个特征矩阵[I

如此,通过编码器能够实现图像的频域特征提取,进而利用解码器进行解码还原,得到所需的信息,相当于通过编码器对含噪声的图像进行压缩,得到频域特征表达,再通过解码器进行解压缩,实现去噪,以游戏视频帧的处理过程为例,上述过程能够去除背景噪声和目标对象(如虚拟角色对象)内部的点、线等边缘元素引入的噪声,结合多维度特征提取和去噪,提高特征点聚类的准确性,降低聚类计算难度。

S2032:以多个图像特征点中的每一图像特征点为滑窗中心点,以预设滑窗为密度特征提取区域进行像素差值处理,得到每一图像特征点的像素密度信息。

一些实施例中,像素差值处理可以为计算滑窗中心点与邻域特征点的像素差值的平方和,相应的,S2032可以具体为:以图像特征点为预设滑窗的滑窗中心点,确定图像特征点与预设滑窗框定的密度特征处理区域中其它图像特征点间的像素差值平方和,得到每一图像特征点的像素密度信息。如此,通过像素差值平方和处理,综合周围特征点的像素信息,提高像素密度信息对图像特征点的邻域差异的表达准确性,进而提高特征点分类准确性。

一些实施例中,预设滑窗的尺寸为(1+2m)*(1+2n),可以采用下述公式进行像素密度信息对应的像素密度值计算,其中,r(x,y)为图像特征点(x,y)的像素密度值,f(x,y)为图像特征点(x,y)的像素值,f(x-m,y-n)为图像特征点(x-m,y-n)的像素值,f(x,y)-f(x-m,y-n)表征上述两图像特征点间的像素差值,C是常数,例如为256*256;图像特征点的像素密度值在[0,1]范围之内,表征其像素密度信息。基于该公式可知,邻域特征点的像素与中心的图像特征点的像素差值越大,像素密度值越大,表征该图像特征点相较于邻域的像素变化程度越大,即密度越大,反之越小。以前述的图像背景区域为例,该区域的对应的图像特征点的像素密度值较小,即像素差异性较小,进而在对象分类处理过程中,将其划分为一类的概率较高,像素合并所形成的超像素区域较大,该像素密度信息为分割区域大小的决定因素之一。

一个实施例中,预设滑窗的尺寸可以为3*3,则图像特征点(x,y)的密度特征处理区域如图5所示。

S2033:基于每一图像特征点的像素密度信息生成密度特征。

具体地,得到每一图像特征点的像素密度值后,基于图像特征点的空间坐标进行像素密度值排布,以得到密度特征,即得到以像素密度值为元素的密度矩阵。

S2034:基于待检测图像的空间坐标信息生成空间特征。

具体地,将待检测图像中每一像素点的像素坐标映射至图像特征的特征空间中,得到图像特征的每一图像特征点的坐标信息,进而得到空间特征,即二维的坐标信息矩阵,并建立待检测图像中像素点与图像特征点间的映射关系。该空间特征能够为后续的特征融合和特征点聚类提供空间标记信息,在进行图像变换和特征变换的过程中,空间特征对特征点进行同步标记和移动,例如,对象分类时,基于空间特征将同属一个聚类类别的特征点进行合并标记。

如此,通过空间特征提取待检测图像的初级语义信息,通过卷积和反卷积操作利用图像频域信息进行去噪和语义特征提取,同时通过密度信息提取得到待检测图像的深度语义信息,并且结合输入图像的空间信息进行特征点的同步位置标记和移动,进而实现基于多维度语义信息的特征点分类,

可以理解的,在图像特征中包括待检测图像对应的多个特征图的情况下,针对每一特征图中的多个图像特征点,均进行上述的S2032-S2033,以得到每一特征图对应的密度特征。可选地,还可以针对每一特征图中的多个图像特征点,执行上述S2034,得到每一特征图对应的空间特征。

S205:对图像特征、密度特征和空间特征进行融合处理,得到待检测图像的全局融合特征。

本申请实施例中,将得到的上述特征进行融合,得到多维信息矩阵,以作为待检测图像的表达特征,令全局融合特征集成表达待检测图像的初级和深度语义信息,有利于提高后续特征点距离计算的合理性,优化特征距离结果的信息表达,提升对象检测效果。

如前述的,在存在多个处理分支的情况下,图像特征包括待检测图像对应的多个特征图;相应的,S205可以包括:

S2051:分别将多个特征图中的每一特征图、空间特征和特征图对应的密度特征进行特征融合,得到多个特征图各自对应的融合特征;

S2052:对多个特征图各自对应的融合特征进行加和处理,得到全局融合特征。

具体地,这里的加和处理可以具体为简单加和。一个实施例中,全局融合特征的特征空间表达式如下述公式所示,其中,F全局融合特征的特征空间,F(x,y)为全局融合特征,b表征特征图数量,如前述[I

S207:基于空间特征、密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个目标对象各自对应的对象分割结果。

本申请实施例中,对象分割结果包括目标对象的图像分割区域信息,一些实施例中,对象分割结果还包括目标对象的对象标记点,图像分割区域信息表征目标对象在待检测图像中的分割位置,对象标记点为目标对象在待检测图像中的抽象位置标记,可以是基于全局融合特征中与目标对象的图像分割区域所对应的特征点进行像素中心抽取得到的。具体地,根据至少一个目标对象各自对应的对象分割结果和前述的图像特征,进而生成待检测图像对应的超像素分割图像,超像素分割图像中的超像素区域与图像分割区域相对应,可以为一一对应,或者多对一。同一超像素区域可以采用同一颜色标记。

具体地,上述S205和S207可以通过图像分割层处理得到,进而输出超像素分割图像。

综上,上述技术方案通过图像特征、密度特征和空间特征的提取,得到多维的图像低级和高级语义信息,并通过融合处理形成包含多维度语义信息的融合特征空间,进而结合多维度语义信息实现单张图像中对象检测的准确分割与定位,避免对象内的点线元素等的噪声干扰,提高对象检测的效率、准确性和可靠性,在对象连续定位场景中,该方法不依赖于帧间像素值差异,通过对比帧间的对象分割结果即可实现对象的连续定位,避免漏检,且通过解耦对帧间差异、偏移量等的依赖性,能够克服对象遮挡等引入的对象检测障碍,优化检测效果。此外,通过抽象位置标记得到每一目标对象的对象标记点,有利于在连续图像的对象检测场景中,为对象连续图像定位提供相邻图像的对象匹配参考信息,以提高对象连续定位效率和准确性。

实际应用中,请参考图6,S207可以具体包括:

S301:确定多个特征点对应的多个聚类中心。

具体地,聚类中心的数量大于等于目标对象的数量。在单张图像检测,或者在连续多张图像的首个图像的对象检测场景下,可以基于预设数量进行聚类中心初始化,得到多个聚类中心,该预设数量大于对象检测模型在单张图像中所能识别到的目标对象的数量上限,例如预设数量可以为10个。若待检测图像不是上述连续多张图像的首张图像,则待检测图形对应的初始的聚类中心数量和位置基于历史图像的历史对象分割结果中的对象标记点确定,或者基于历史图像对应的目标聚类中心确定,历史图像可以为待检测图像的前一帧图像。

一些情况下,连续的多张图像中均存在大量对象,但包括不需要进行连续对象定位的对象,则在首张图像进行检测前,可以获取其中目标对象的初始标记信息,如对象位点或者对象框等,以确定所需检测的目标,进而在聚类中心初始化过程中,提供初始的多个聚类中心的图像限定区域。对象位点或者对象框可以是通过在显示界面上对首张图像记性对象选择操作所生成的。

S303:基于空间特征、密度特征和全局融合特征,对多个特征点与多个聚类中心进行特征距离处理,得到特征距离指标信息。

具体地,特征距离指标信息表征离散的特征点间的差异程度,特征距离指标信息对应的特征距离指标值越大,表征差异程度越大,反之表征差异程度越小。以结合图像特征值、空间信息和密度信息的特征距离指标信息作为聚类过程中的距离度量,即相似度度量,有助于提高特征点聚类的准确性,进而优化对象分割结果。

一些实施例中,S303可以包括:

S3031:基于全局融合特征中多个特征点的特征值,分别确定每一特征点与每一聚类中心间的特征差信息。

一些情况下,聚类中心可以与特征点重合,另一些情况下,聚类中心为特征点之间的采样点,则可以对聚类中心周围的特征点的特征值进行数值采样,得聚类中心的特征值,相类似的,可以对上述周围的特征点的像素密度信息和空间坐标信息进行数值采样,以得到聚类中心的像素密度信息和空间坐标信息。特征差信息是对特征点的特征值和聚类中心的特征值进行差值处理得到的。

一个实施例中,特征差值信息对应的特征差值采用下述公式获取,其中,O表征特征点,C表征聚类中心,d

具体地,针对每一特征点,计算其到各个聚类中心间的特征差信息,作为特征距离的度量因素。

一个实施例中,特征点可以为全局融合特征中的像素点,相应的,特征值可以为像素值,该像素值可以为。

S3032:基于空间特征,分别确定每一特征点与每一聚类中心间的空间距离信息。

具体地,空间特征包括每一特征点的空间坐标,该空间距离信息是对特征点的空间坐标和聚类中心的空间坐标进行差值处理得到的。一个实施例中,空间距离信息采用下述公式获取,其中,d

S3033:基于密度特征,分别确定每一特征点与每一聚类中心对应的融合密度信息。

具体地,融合密度信息可以为对特征点的像素密度信息和聚类中心的像素密度信息进行融合处理得到的,这里的融合处理可以为加和处理或平均处理。融合密度信息可以为特征点的像素密度信息和聚类中心的像素密度信息的简单加和值、加权加和值或平方加和值等,或者可以为二者的简单算数平均值、几何平均数或平方平均数等。

一个实施例中,融合密度信息采用下述公式获取,其中,r(O

/>

S3034:对特征差信息、空间距离信息和融合密度信息进行融合,得到每一特征点与每一聚类中心间的特征距离指标信息。

具体地,空间距离信息、特征差值信息分别与特征距离指标信息成正比关联关系,密度信息与特征距离指标信息成反比关联关系,即空间距离越大、特征差值越大,则特征距离指标信息对应的特征距离指标越大,反之,特征距离指标越小。

一个实施例中,特征距离指标采用下述公式获取,其中,d

如此,在采用全局融合特征的特征信息的基础上,进一步结合空间距离和融合密度进行特征距离计算,使特征距离指标能够充分表达两点间的空间差异、像素变化程度和特征差异,优化特征点分类效果。

S305:基于特征距离指标信息对多个特征点进行聚类,得到至少一个目标对象各自对应的对象分割结果。

具体地,以特征距离指标信息作为距离度量,在每一聚类中心的邻域,为特征点进行分类标记,即将多个特征点分别分配至不同的聚类中心所对应的类别,以得到目标对象对应的图像分割区域,即实现超像素区域划分。

可以理解的,在不存在目标对象的初始标记信息的情况下,可以对待检测图像中的各个对象进行检测,前景中的实例元素为前景目标对象,不同前景目标对象的图像分割区域可以标记为不同颜色,背景区域可以为背景目标对象,可以整体标记为同一颜色,或者基于前景目标对象的切割,将不同的背景块标记为不同的颜色。

一些实施例中,S305可以包括:

S3051:基于特征距离指标信息,从多个特征点中确定出每一聚类中心对应的邻域特征点,得到特征点分类结果。

具体地,以特征距离指标信息为距离度量,在每个聚类中心的邻域,将每个特征点分配至对应的聚类中心,相当于赋值特定的超像素标签。特征点分类结果包括每一聚类中心对应特征点集,包括该聚类中心的邻域特征点,邻域特征点形成聚类中心对应的聚类图像区域。可以理解的,特征点与聚类中心间的特征距离指标信息越小,表明其属于该聚类中心的邻域特征点的概率越大,反之,越小。

一些实施例中,在不存在初始对象标记的情况下,分别确定单个特征点与全部聚类中心中各聚类中心间的特征距离指标信息,将最小的特征距离指标信息所对应的聚类中心确定为该特征点所属的聚类中心;或者,基于特征距离指标信息计算单个特征点属于全部聚类中心中各聚类中心的分类概率指标,将最大的分类概率指标所对应的聚类中心确定为该特征点所属的聚类中心。

另一些实施例中,在存在初始对象标记的情况下,即需检测图像中的部分对象的情况下,可以设定距离阈值或概率阈值,若特征距离指标信息小于距离阈值或者若分类概率指标小于概率阈值,则确定该特征点不属于任一聚类中心的邻域特征点,若大于,则基于上述方式确定其所属聚类中心。

一个实施例中,采用下述公式进行分类概率指标计算,其中,P(O,C

S3052:基于特征点分类结果进行聚类中心更新,得到多个更新的聚类中心。

可以理解的,需对初始化的聚类中心进行更新迭代,以确定出准确的目标聚类中心,聚类中心更新可以采用现有聚类算法实现。一个实施例中,可以针对特征分类结果中的每一聚类中心对应的特征点集,计算特征点集中各个邻域特征点的特征平均值,该特征平均值可以是对邻域特征点的特征值进行求平均处理得到,特征值可以为前述的F(x,y)。然后,在特征点集中确定出预设数量个目标邻域特征点,目标邻域特征点为特征值与特征平均值最相近的邻域特征点。或者还可以确定出特征值与特征平均值最相近的一个邻域特征点作为初始目标点,然后将特征值与特征平均值次相近的,且空间坐标与初始目标点最相近的预设数量个邻域特征点确定为目标邻域特征点,预设数量可以例如为5。进一步地,对预设数量个目标邻域特征点的空间坐标进行求平均处理,得到每一聚类中心对应的更新的聚类中心。

S3053:根据多个更新的聚类中心重复执行上述特征距离处理、上述邻域特征点确定和上述聚类中心更新的步骤,至满足聚类中止条件,得到目标聚类结果。

具体地,基于更新的聚类中心重复迭代执行上述S303(包括S3031-S3034),S3051和S3052的步骤,至满足聚类中止条件,满足聚类中止条件可以例如为达到聚类迭代次数,或相邻迭代的聚类中心间的偏移量或聚类图像区域间的面积差和偏移量满足最小误差变化。相应的,目标聚类结果包括多个目标聚类中心和每一目标聚类中心所对应的特征点集

S3054:基于目标聚类结果生成至少一个目标对象各自对应的对象分割结果。

一些实施例中,聚类中心与目标对象一一对应,则根据聚类中心对应的特征点集确定出聚类图像区域,即超像素区域,将其确定为相应目标对象的图像分割区域。另一些实施例中,聚类中心数量大于目标对象数量,基于特征距离指标信息和最近原则对相邻的聚类图像区域进行合并处理,得到对象分割结果。具体地,在得到聚类图像区域后,若相邻的目标聚类中心间的特征距离指标信息小于等于特征距离阈值,则将其合并为一个区域;或者,若相邻的目标聚类中心间的特征距离指标信息小于等于特征距离阈值,且相邻的目标聚类中心间的特征值小于等于预设特征值,则将其合并为一个区域;或者,若相邻的目标聚类中心间的特征距离指标信息小于等于特征距离阈值,且聚类图像区域间的邻接特征点的数量大于邻接点数量阈值,则将其合并为一个区域,即该目标对象对应的超像素区域,得到图像分割区域。

以上,结合空间特征、密度特征和全局融合特征确定多个特征点与多个聚类中心间的邻域关系,以确定每一聚类中心对应的特征点集,进而生成图像分割区域,以能够实现目标与背景的分离。

在连续多张图像的对象检测和对象连续定位场景下,如对游戏视频进行虚拟对象的连续对象检测和定位,该虚拟对象可以为存在运动特征的对象,如虚拟游戏角色,则相邻图像间的对象分割结果具备相关性,相应的,在S207之后,请参考图7,方法还包括:

S401:获取历史图像对应的历史对象的对象分割结果。

具体地,历史图像为与待检测图像时序相邻的前序图像,以视频为例,历史图像可以为待检测图像的前一帧视频帧,或多个前序相邻的视频帧,如待检测图像前的5帧视频帧。

在连续图像检测场景下,对象分割结果还可以包括目标对象的对象标记点。一些情况下,对象标记点可以为前述的目标聚类中心,另一些情况下,对象标记点可以为基于目标对象的图像分割区域,确定出前述其在前述图像特征(恢复图像)中对应的目标区域,若图像特征包括多个特征图,则确定每一特征图中的目标区域,进而基于目标区域中的图像特征点进行像素均值计算,得到每一特征图的像素平均值;然后在每一特征图中,确定相应像素平均值对应的预设数量个目标图像特征点,目标图像特征点为像素值与像素平均值最相近的图像特征点。或者还可以确定出像素值与像素平均值最相近的一个图像特征点作为初始点,然后将像素值与像素平均值次相近的,且空间坐标与初始点最相近的预设数量个像素特征点确定为目标像素特征点,预设数量可以例如为5。进一步地,对预设数量个目标像素特征点的空间坐标进行求平均处理,将得到空间坐标对应的点确定为目标对象对应的对象标记点。

S403:将至少一个目标对象各自对应的对象分割结果与历史对象的对象分割结果进行图像位置比较,得到对象位置比较结果。

S405:基于对象位置比较结果对历史对象和目标对象进行匹配,得到对象匹配结果,对象匹配结果表征历史图像中的历史对象与至少一个目标对象间的关联关系。

一些实施例中,可以通过区域距离比较实现上述的图像位置比较,对象位置比较结果为图像分割区域间的区域比较结果,该对象位置比较结果可以基于区域偏移量表征。具体的对象匹配过程可以为:针对待检测图像中的每一目标对象的图像分割区域,将历史图像的对象分割结果中,区域偏移量最小的图像分割区域所对应的历史对象,确定为目标对象的关联对象,即与目标对象同源,表征同属于一个实例元素,与同属于一个游戏角色。

另一些实施例中,可以基于对象标记点间的距离实现上述的图像位置比较,具体地,针对待检测图像的对象检测结果中的目标对象,分别计算该目标对象的对象标记点与历史图像中各历史对象的对象标记点间的空间距离,得到对象位置比较结果,将空间距离最近的历史对象确定为目标对象的关联对象;或者,还计算全局融合特征下,目标对象的对象标记点与各历史对象的对象标记点间特征差值,对空间距离和特征差值进行归一化处理和相加处理,得到标记点距离,以表征对象位置比较结果,将最小的标记点距离对应的历史对象确定为目标对象的关联对象。

另一些实施例中,对象分割结果可以包括前述的多个目标聚类中心,可以计算每一目标聚类中心与各历史对象的对象标记点间的空间距离,进而将空间距离最近的历史对象确定为目标聚类中心所属的历史对象,也即将目标聚类中心进行对象分配,并将同属同一历史对象的目标聚类中心所对应的聚类图像区域进行合并,得到该历史对象对应的目标对象的图像分割区域。或者,与前述标记点距离类似的,也可以计算目标聚类中心与历史对象的对象标记点间的中心标记距离,进而基于确定多个目标聚类中心所属的历史对象。

如此,结合历史图像的分割结果,实现对象匹配,实现对象同步定位,无需依赖于对象的运动速度或者建立相似度搜索窗,实现高效准确定同步定位,避免漏检,且有效应对对象遮挡造成的定位失踪问题,提高连续对象检测方法和鲁棒性和可靠性。

基于上述部分或全部实施方式,上述对象检测方法的各步骤可以基于对象检测模型实现,相应的,对象检测方法还可以包括对象检测模型的训练方法,具体包括以下步骤:

S501:获取样本训练集,样本训练集包括样本图像,样本图像包括至少一个样本对象。

一些实施例中,样本训练集还可以包括样本图像对应的样本对象初始标记,样本对象初始标记用于框定样本图像中所需检测的样本对象,如图9所示,样本对象初始标记可以为图中的方框,方框内的虚拟角色为所需检测的对象。与前述相类似的,该样本对象初始标记可以作为聚类中心初始化的依据,以在样本对象初始标记确定初始化的聚类中心。

S503:以样本图像作为初始检测模型的输入,对样本图像进行特征提取,得到样本图像特征、样本密度特征和样本空间特征。

一些实施例中,初始检测模型可以为预训练的图像特征提取模型,可以为包括编码器和解码器的网络模型,其特征提取的主干网络为卷积神经网络。一个实施例中,其网络结构可以如图4所示。

S505:对样本图像特征、样本密度特征和样本空间特征进行融合处理,得到样本图像的全局融合特征。

S507:基于样本空间特征、样本密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个样本对象各自对应的对象分割结果。

可以理解的,S505和S507分别与前述的S205和S207相类似,在此不做赘述。

S509:基于样本图像特征和至少一个样本对象各自对应的对象分割结果进行重构损失计算,得到模型损失。

S511:根据模型损失训练初始检测模型,得到对象检测模型。

具体地,样本图像特征包括一个或多个特征图,基于至少一个样本对象各自对应的对象分割结果和样本图像特征可以确定出样本超像素分割图像,将样本超像素分割图像与样本图像特征中的每一特征图进行重构差异计算,得到每一特征图对应的重构差异度,并将各特征图的重构差异度进行加和求平均处理,得到模型损失,这里的加和求平均处理可以包括但不限于简单算数平均、平方根求平均、或加权求平均等。若模型损失超过预设损失,则调整模型参数,进行迭代训练,至满足迭代中止条件,如模型损失小于等于预设损失,或达到预设迭代次数。

一些实施例中,模型损失的计算方法可以具体为:针对样本超像素分割图像中的每一超像素区域,如图8中的相同颜色灰度的区块,确定超像素区域在特征图中对应的空间映射区域,即相同的图像位置的区域;确定空间映射区域中的图像特征点与超像素区域中对应的像素点间的像素差值绝对值超过预设像素阈值的差异像素点数量,如像素差值绝对值超过预设像素阈值的图像特征点为50个,即差异像素点数量为50个,该预设像素阈值可以基于实际需求设定,本申请在此不做具体限定。请参考图8,可以明显观察到,超像素分割图像(右图)中箭头标记出的超像素区域1与特征图(中间图)中箭头标出的空间映射区域2中存在很多不同颜色的像素点,即差异像素点。

然后,将各个超像素区域对应的差异像素点数量进行加和处理,确定出特征图与超像素分割图像间的总差异像素点数量,并确定差异像素点数量占全部超像素区域的像素点占比,如总差异像素点数量为500个,全部超像素区域包括1000个像素点,则像素点占比为50%。若包括多个特征图,则将多个特征图的像素点占比进行加和求平均处理,得到目标像素点占比。

若像素点占比或目标像素点占比大于等于第一占比值(如30%),则基于第一预设倍数调大损失度调整系数β

一个实施例中,请参考图10,本申请的方案流程框架可以具体包括:通过对象检测模型的主干网络,结合输入图像的空间坐标信息对输入的待检测图像进行多任务特征提取,得到包括多个特征图的图像特征、空间特征和密度特征,进而通过特征融合处理,以映射到融合特征空间,得到全局融合特征;确定全局融合特征对应的聚类中心,进行特征点与聚类中心间的特征距离处理,得到特征距离指标信息,然后进行超像素区域划分,得到对象分割结果;基于对象分割结果和前述的图像特征计算损失,实现模型参数调节。

本申请实施例还提供一种对象检测模型训练方法,请参考图11,图11是本申请实施例提供的一种对象检测方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地,如图11所示,方法可以包括下述步骤S601-S607。

S601:获取样本训练集,样本训练集包括样本图像,样本图像包括至少一个样本对象;

S603:以样本图像作为初始检测模型的输入,对样本图像进行特征提取,得到样本图像特征、样本密度特征和样本空间特征;

S605:对样本图像特征、样本密度特征和样本空间特征进行融合处理,得到样本图像的全局融合特征;

S607:基于样本空间特征、样本密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个样本对象各自对应的对象分割结果;

S609:基于样本图像特征和至少一个样本对象各自对应的对象分割结果进行重构损失计算,得到模型损失;

S611:根据模型损失训练初始检测模型,得到对象检测模型,对象检测模型应用于上述的对象检测方法。

本申请实施例还提供了一种对象检测装置700,如图12所示,图12示出了本申请实施例提供的一种对象检测装置的结构示意图,装置可以包括下述模块。

图像获取模块11:用于获取待检测图像,待检测图像包括至少一个目标对象;

特征提取模块12:用于对待检测图像进行特征提取,得到待检测图像的图像特征、密度特征和空间特征;

融合处理模块13:用于对图像特征、密度特征和空间特征进行融合处理,得到待检测图像的全局融合特征;

对象分类模块14:用于基于空间特征、密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个目标对象各自对应的对象分割结果。

一些实施例中,对象分类模块14可以包括:

中心确定子模块:用于确定多个特征点对应的多个聚类中心,聚类中心的数量大于等于目标对象的数量;

特征距离处理子模块:用于基于空间特征、密度特征和全局融合特征,对多个特征点与多个聚类中心进行特征距离处理,得到特征距离指标信息;

聚类子模块:用于基于特征距离指标信息对多个特征点进行聚类,得到至少一个目标对象各自对应的对象分割结果。

一些实施例中,特征距离处理子模块可以包括:

特征差确定单元:用于基于全局融合特征中多个特征点的特征值,分别确定每一特征点与每一聚类中心间的特征差信息;

空间距离确定单元:用于基于空间特征,分别确定每一特征点与每一聚类中心间的空间距离信息;

融合密度确定单元:用于基于密度特征,分别确定每一特征点与每一聚类中心对应的融合密度信息;

信息融合单元:用于对特征差信息、空间距离信息和融合密度信息进行融合,得到每一特征点与每一聚类中心间的特征距离指标信息,空间距离信息、特征差值信息分别与特征距离指标信息成正比关联关系,密度信息与特征距离指标信息成反比关联关系。

一些实施例中,聚类子模块可以包括:

邻域特征点确定单元:用于基于特征距离指标信息,从多个特征点中确定出每一聚类中心对应的邻域特征点,得到特征点分类结果;

中心更新单元:用于基于特征点分类结果进行聚类中心更新,得到多个更新的聚类中心;

迭代聚类单元:用于根据多个更新的聚类中心重复执行上述特征距离处理、上述邻域特征点确定和上述聚类中心更新的步骤,至满足聚类中止条件,得到目标聚类结果;

分割结果生成单元:用于基于目标聚类结果生成至少一个目标对象各自对应的对象分割结果。

一些实施例中,装置还可以包括:

历史结果获取模块:用于在基于空间特征、密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个目标对象各自对应的对象分割结果之后,获取历史图像对应的历史对象的对象分割结果,历史图像为与待检测图像时序相邻的前序图像;

位置比较模块:用于将至少一个目标对象各自对应的对象分割结果与历史对象的对象分割结果进行图像位置比较,得到对象位置比较结果;

匹配模块:用于基于对象位置比较结果对历史对象和目标对象进行匹配,得到对象匹配结果,对象匹配结果表征历史图像中的历史对象与至少一个目标对象间的关联关系。

一些实施例中,特征提取模块12包括:

卷积子模块:用于对待检测图像进行卷积处理和反卷积处理,得到图像特征,图像特征包括多个图像特征点;

像素差值处理子模块:用于以多个图像特征点中的每一图像特征点为滑窗中心点,以预设滑窗为密度特征提取区域进行像素差值处理,得到每一图像特征点的像素密度信息;

密度特征生成子模块:用于基于每一图像特征点的像素密度信息生成密度特征;

空间特征生成子模块:用于基于待检测图像的空间坐标信息生成空间特征。

一些实施例中,像素差值处理子模块可以具体用于:以图像特征点为预设滑窗的滑窗中心点,确定图像特征点与预设滑窗框定的密度特征处理区域中其它图像特征点间的像素差值平方和,得到每一图像特征点的像素密度信息。

一些实施例中,图像特征包括待检测图像对应的多个特征图;融合处理模块13可以包括:

特征融合子模块:用于分别将多个特征图中的每一特征图、空间特征和特征图对应的密度特征进行特征融合,得到多个特征图各自对应的融合特征;

加和处理子模块:用于对多个特征图各自对应的融合特征进行加和处理,得到全局融合特征。

本申请实施例还提供了一种对象检测模型训练装置800,如图13所示,图13示出了本申请实施例提供的一种对象检测模型训练装置的结构示意图,装置可以包括下述模块。

样本获取模块21:用于获取样本训练集,样本训练集包括样本图像,样本图像包括至少一个样本对象;

样本特征提取模块22:用于以样本图像作为初始检测模型的输入,对样本图像进行特征提取,得到样本图像特征、样本密度特征和样本空间特征;

样本融合处理模块23:用于对样本图像特征、样本密度特征和样本空间特征进行融合处理,得到样本图像的全局融合特征;

样本分类模块24:用于基于样本空间特征、样本密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个样本对象各自对应的对象分割结果;

损失计算模块25:用于基于样本图像特征和至少一个样本对象各自对应的对象分割结果进行重构损失计算,得到模型损失;

模型训练模块26:用于根据模型损失训练初始检测模型,得到对象检测模型,对象检测模型应用于如上述的对象检测方法。

需要说明的是,上述装置实施例与方法实施例基于相同的实施方式。

本申请实施例提供了一种对象检测设备,该调度设备可以为终端或服务器,包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的对象检测方法。

存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及对象检测。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图14是本申请实施例提供的一种对象检测方法的电子设备的硬件结构框图。如图14所示,该电子设备900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930,一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中,存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备中的一系列指令操作。更进一步地,中央处理器910可以设置为与存储介质920通信,在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口940,和/或,一个或一个以上操作系统921,例如Windows Server

输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中,输入输出接口940包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口940可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解,图14所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备900还可包括比图14中所示更多或者更少的组件,或者具有与图14所示不同的配置。

本申请的实施例还提供了一种计算机可读存储介质,存储介质可设置于电子设备之中以保存用于实现方法实施例中一种对象检测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的对象检测方法。

可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。

由上述本申请提供的对象检测方法、装置、设备、服务器、终端、存储介质和程序产品的实施例可见,本申请的技术方案通过获取待检测图像,待检测图像包括至少一个目标对象;对待检测图像进行特征提取,得到待检测图像的图像特征、密度特征和空间特征,以得到多维的图像低级和高级语义信息,并对图像特征、密度特征和空间特征进行融合处理,得到待检测图像的全局融合特征,进而形成包含多维度语义信息的融合特征空间,然后基于空间特征、密度特征和全局融合特征,对全局融合特征对应的多个特征点进行对象分类处理,得到至少一个目标对象各自对应的对象分割结果,以结合多维度语义信息实现单张图像中对象检测的准确分割与定位,避免对象内的点线元素等的噪声干扰,提高对象检测的效率、准确性和可靠性,在对象连续定位场景中,本申请的对象检测方法不依赖于帧间像素值差异,通过对比帧间的对象分割结果即可实现对象的连续定位,避免漏检,且通过解耦对帧间差异、偏移量等的依赖性,能够克服对象遮挡等引入的对象检测障碍,优化检测效果。

需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 对象检测方法及装置、电子设备和存储介质
  • 活体检测模型的训练方法、检测方法、装置、介质及设备
  • 一种书法训练方法、装置、电子设备及存储介质
  • 分类器训练方法、装置、电子设备及计算机可读介质
  • 工作量评估及模型训练方法、电子设备及存储介质
  • 一种对象检测模型训练方法、装置、电子设备及存储介质
  • 目标对象检测模型训练方法、装置、电子设备及存储介质
技术分类

06120116458997