一种图像数据处理方法、装置、电子设备及存储介质
文献发布时间:2024-04-18 19:58:26
技术领域
本申请涉及智能驾驶领域,特别涉及一种图像数据处理方法、装置、电子设备及存储介质。
背景技术
近年来,人工智能迅速发展,智能驾驶作为战略性新兴产业的重要组成部分也越来越受到关注,智能驾驶技术是指依靠机器进行驾驶,以及在特殊情况下完全取代人进行驾驶的技术,主要包括网络导航、自主驾驶和人工干预三个环节。目前,相关主流算法模型主要以深度学习方式为主,这需要大量结构化的图像标注数据对模型进行训练。
现有的智能驾驶图像数据集的样本图像数据并无详细标签信息,或者只提供少量模糊的标签供使用者筛选,精细度不够,在样本图像数据使用过程中存在诸多不便。
发明内容
为了解决现有技术的问题,本申请实施例提供了一种图像数据处理方法、装置、电子设备及存储介质。所述技术方案如下:
一方面,提供了一种图像数据处理方法,所述方法包括:
获取多个样本图像中每个样本图像对应的存储路径、每个样本图像对应的环境属性信息以及每个样本图像对应的图像标签信息;所述环境属性信息为采集所述样本图像时所处环境的属性信息;所述图像标签信息包括所述样本图像对应的至少一个对象类别,所述对象类别为所述样本图像中的对象所属的类别;
对于每个样本图像,基于所述样本图像对应的图像标签信息,确定所述样本图像对应的对象类别中每种对象类别的数量,得到所述样本图像对应的至少一个对象类别统计信息;
汇总所述样本图像对应的至少一个对象类别统计信息,得到所述样本图像对应的标签统计信息;
关联所述样本图像对应的环境属性信息、所述样本图像对应的标签统计信息以及所述样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。
另一方面,提供了一种图像数据处理装置,所述装置包括:
信息获取模块,用于获取多个样本图像中每个样本图像对应的存储路径、每个样本图像对应的环境属性信息以及每个样本图像对应的图像标签信息;所述环境属性信息为采集所述样本图像时所处环境的属性信息;所述图像标签信息包括所述样本图像对应的至少一个对象类别,所述对象类别为所述样本图像中的对象所属的类别;
图像统计模块,用于对于每个样本图像,基于所述样本图像对应的图像标签信息,确定所述样本图像对应的对象类别中每种对象类别的数量,得到所述样本图像对应的至少一个对象类别统计信息;
信息汇总模块,用于汇总所述样本图像对应的至少一个对象类别统计信息,得到所述样本图像对应的标签统计信息;
信息关联模块,用于关联所述样本图像对应的环境属性信息、所述样本图像对应的标签统计信息以及所述样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。
在一个示例性的实施方式中,所述对象类别包括二级对象类别和所述二级对象类别所属的一级对象类别,所述一级对象类别为相应的二级对象类别的上位概念;所述图像统计模块,包括:
二级统计模块,用于对于所述样本图像对应的图像标签信息中的每种二级对象类别,确定所述二级对象类别的数量,得到所述样本图像中每种二级对象类别对应的二级对象类别统计信息;
类别确定过模块,用于对于所述样本图像对应的图像标签信息中的每种一级对象类别,将所述样本图像对应的图像标签信息中所述一级对象类别对应的二级对象类别确定为目标二级对象类别,得到至少一种目标二级对象类别;
信息确定模块,用于确定所述至少一种目标二级对象类别中每种目标二级对象类别对应的二级对象类别统计信息,得到至少一个目标二级对象类别统计信息;
一级统计模块,用于确定所述至少一个目标二级对象类别统计信息中的数量之和,得到所述样本图像中每种一级对象类别对应的一级对象类别统计信息。
在一个示例性的实施方式中,所述信息汇总模块,包括:
一级汇总模块,用于汇总所述样本图像中每种一级对象类别对应的一级对象类别统计信息,得到所述样本图像对应的一级标签统计信息;
二级汇总模块,用于汇总所述样本图像中每种二级对象类别对应的二级对象类别统计信息,得到所述样本图像对应的二级标签统计信息;
信息合并模块,用于基于所述一级标签统计信息和所述二级标签统计信息,得到所述样本图像对应的标签统计信息。
在一个示例性的实施方式中,所述信息关联模块,包括:
第一表生成模块,用于将所述多个样本图像中每个样本图像对应的环境属性信息加载到预设数据库,生成第一数据表;
第二表生成模块,用于将所述多个样本图像中每个样本图像对应的标签统计信息加载到所述预设数据库,生成第二数据表;
总表生成模块,用于基于所述预设数据库,对于每个样本图像,关联所述第一数据表中所述样本图像对应的记录、所述第二数据表中所述样本图像对应的记录以及所述样本图像的存储路径,生成所述数据总表。
在一个示例性的实施方式中,所述装置还包括用于确定每个样本图像对应的环境属性信息的环境匹配模块,所述环境匹配模块,包括:
采集批次模块,用于获取多个样本图像中每个样本图像对应的采集批次,以及每个采集批次对应的环境属性信息;
环境关联模块,用于对于每个样本图像,基于所述样本图像对应的采集批次,关联所述样本图像和相应采集批次对应的环境属性信息,得到所述样本图像对应的环境属性信息。
在一个示例性的实施方式中,所述装置还包括用于在数据总表中补充样本图像的其他相关信息的信息补充模块,所述信息补充模块,包括:
补充获取模块,用于获取所述多个样本图像中每个样本图像对应的补充图像信息;所述补充图像信息是指除所述环境属性信息和所述标签统计信息之外的所述样本图像的相关信息;
总表更新模块,用于对于每个样本图像,关联所述样本图像对应的补充图像信息和所述样本图像在所述数据总表中对应的记录,更新所述样本图像在所述数据总表中对应的记录。
在一个示例性的实施方式中,所述装置还包括用于在数据总表中筛选目标图像的图像筛选模块,所述图像筛选模块,包括:
目标特征模块,用于获取目标图像特征;所述目标图像特征为图像标签特征或者环境属性特征;所述图像标签特征为表征目标图像对应的对象类别的特征;所述环境属性特征为采集所述目标图像时所处的环境的属性特征;
目标确定模块,用于遍历所述数据总表,将与所述目标图像特征相匹配的记录,确定为目标记录;以及将所述目标图像特征所指示的字段确定为目标字段;
目标显示模块,用于显示所述目标记录中的目标字段,以及所述目标记录中的存储路径;所述目标记录中的存储路径指示与所述目标图像特征相匹配的样本图像。
另一方面,提供了一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的图像数据处理方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的图像数据处理方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述任一方面的图像数据处理方法。
本申请实施例通过对每个样本图像,基于样本图像对应的图像标签信息,确定样本图像对应的对象类别中每种对象类别的数量,得到样本图像对应的至少一个对象类别统计信息,汇总得到样本图像对应的标签统计信息;关联样本图像对应的环境属性信息、样本图像对应的标签统计信息以及样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。为智能驾驶领域模型的训练提供样本图像数据,大大缩减了对目标图像数据的检索时间,提高了图像筛选的精度,进而能够提升模型训练的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像数据处理方法的流程示意图;
图2是本申请实施例提供的部分样本图像在数据总表中对应的部分记录;
图3是本申请实施例提供的生成数据总表的流程示意图;
图4是本申请实施例提供的查找目标图像的流程示意图;
图5是本申请实施例提供的一种图像数据处理装置的结构框图;
图6是本申请实施例提供的一种电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
请参阅图1,其所示为本申请实施例提供的一种图像数据处理方法的流程示意图。需要说明的是,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,该方法可以包括:
S101,获取多个样本图像中每个样本图像对应的存储路径、每个样本图像对应的环境属性信息以及每个样本图像对应的图像标签信息。
其中,样本图像基于对道路场景进行图像采集得到,样本图像中可能包括车辆、行人等对象。
其中,存储路径用于获取样本图像。
其中,环境属性信息为采集样本图像时所处环境的属性信息,可用作样本图像的筛选条件。具体的,环境属性信息包括场景、天气、道路,也可以包括其他环境信息;具体实施中,同一采集批次的样本图像是同一时间在同一场景采集的,因此同一采集批次的样本图像对应的环境属性信息是一致的。
其中,图像标签信息包括样本图像对应的至少一个对象类别,对象类别为样本图像中的对象所属的类别,可用作样本图像的筛选条件。具体实施中,将多个样本图像输入现有的图像标注平台,得到每个样本图像对应的图像标签信息;示例性的,某张样本图像中包括机动车1、机动车2、……、非机动车1、非机动车2、……、行人1、行人2、……,这些都是该样本图像对应的对象类别,这些对象类别及相应的坐标、颜色等信息构成了图像标签信息。
在一个示例性的实施方式中,上述步骤S101获取多个样本图像中每个样本图像对应的环境属性信息之前,可以包括以下步骤:
获取多个样本图像中每个样本图像对应的采集批次,以及每个采集批次对应的环境属性信息;
对于每个样本图像,基于样本图像对应的采集批次,关联样本图像和相应采集批次对应的环境属性信息,得到样本图像对应的环境属性信息。
其中,采集批次为采集样本图像的批次。具体实施中,分批采集样本图像,每一批样本图像都对应有批次号,同一采集批次的样本图像是同一时间在同一场景采集的,因此同一采集批次的样本图像对应的环境属性信息是一致的。
具体的,对于每个样本图像,根据其采集批次,将其与环境属性信息对应起来,即可得到每个样本图像对应的环境属性信息;示例性的,环境属性信息可以包括场景、天气、道路等信息。
由本申请实施例的上述技术方案可见,本申请实施例通过样本图像的采集批次确定样本图像的环境属性信息,拓展了样本图像的标签维度,为从环境属性的维度筛选样本图像的提供了数据支撑。
S103,对于每个样本图像,基于样本图像对应的图像标签信息,确定样本图像对应的对象类别中每种对象类别的数量,得到样本图像对应的至少一个对象类别统计信息。
其中,对象类别统计信息为一个对象类别在一张样本图像中的数量信息。
示例性的,某张样本图像对应的图像标签信息为{车辆1:[坐标信息i,颜色信息j,……]、车辆2:[坐标信息i+1,颜色信息j+1,……]、……、车辆35:[坐标信息i+34,颜色信息j+34,……]、……、路标1:[坐标信息i+k,颜色信息j+k,……]、路标2:[坐标信息i+k+1,颜色信息j+k+1,……]、……},则该样本图像中包括的对象有车辆1、车辆2、……、车辆35、……、路标1、路标2、……,其中车辆1、车辆2、……、车辆35所属的类别为车辆,该样本图像中车辆的数量为35,则该样本图像对应的车辆统计信息可以表示为“车辆:35”。
在一个示例性的实施方式中,对象类别包括二级对象类别和二级对象类别所属的一级对象类别,一级对象类别为相应的二级对象类别的上位概念,上述步骤S103可以包括以下步骤:
对于样本图像对应的图像标签信息中的每种二级对象类别,确定二级对象类别的数量,得到样本图像中每种二级对象类别对应的二级对象类别统计信息;
对于样本图像对应的图像标签信息中的每种一级对象类别,将样本图像对应的图像标签信息中一级对象类别对应的二级对象类别确定为目标二级对象类别,得到至少一种目标二级对象类别;
确定至少一种目标二级对象类别中每种目标二级对象类别对应的二级对象类别统计信息,得到至少一个目标二级对象类别统计信息;
确定至少一个目标二级对象类别统计信息中的数量之和,得到样本图像中每种一级对象类别对应的一级对象类别统计信息。
其中,二级对象类别为样本图像中的对象所属的细分类别。
其中,二级对象类别统计信息为一个二级对象类别在一张样本图像中的数量信息。
其中,一级对象类别为样本图像中的对象所属的大类,即样本图像中的对象所属的细分类别的上位类别。
其中,目标二级对象类别为目标样本图像对应的二级对象类别中属于目标一级对象类别的二级对象类别,目标样本图像为正在统计的样本图像,目标一级对象类别为正在统计的一级对象类别,目标一级对象类别为目标二级对象类别的上位类别。
其中,目标二级对象类别统计信息为一个目标二级对象类别在一张样本图像中的数量信息。
其中,一级对象类别统计信息为一个一级对象类别在一张样本图像中的数量信息。
具体实施中,对于每张样本图像,先统计其对应的每种二级对象类别的数量,而后对于每种一级对象类别的数量,根据其对应的二级对象类别的数量之和来确定。
示例性的,假设一级对象类别为车辆,相应的二级对象类别可以包括厢式轿车、运动型多用途汽车、小型货车、大型卡车、公共汽车等等,对某一样本图像统计二级对象类别,得到的多个二级对象类别统计信息分别为“厢式轿车:10”、“运动型多用途汽车:15”、“小型货车:5”、“大型卡车:3”、“公共汽车:2”,对于一级对象类别车辆,其对应的目标二级对象类别包括厢式轿车、运动型多用途汽车、小型货车、大型卡车、公共汽车,则目标二级对象类别统计信息包括“厢式轿车:10”、“运动型多用途汽车:15”、“小型货车:5”、“大型卡车:3”、“公共汽车:2”,对着这些数据求和得到车辆这个一级对象类别对应的一级对象类别统计信息“车辆:35”。
由本申请实施例的上述技术方案可见,本申请实施例通过将对象类别分为一级对象类别和二级对象类别,丰富了样本图像的标签,为筛选样本图像提供了更多的可能性。
S105,汇总样本图像对应的至少一个对象类别统计信息,得到样本图像对应的标签统计信息。
其中,标签统计信息为样本图像中所有被统计的对象所属类别的数量统计信息。例如,{车辆:35,行人60,路标:10,……}。
在一个示例性的实施方式中,对象类别包括二级对象类别和二级对象类别所属的一级对象类别,一级对象类别为相应的二级对象类别的上位概念,上述步骤S105可以包括以下步骤:
汇总样本图像中每种一级对象类别对应的一级对象类别统计信息,得到样本图像对应的一级标签统计信息;
汇总样本图像中每种二级对象类别对应的二级对象类别统计信息,得到样本图像对应的二级标签统计信息;
基于一级标签统计信息和二级标签统计信息,得到样本图像对应的标签统计信息。
其中,一级对象类别为样本图像中的对象所属的大类,即样本图像中的对象所属的细分类别的上位类别。
其中,一级对象类别统计信息为一个一级对象类别在一张样本图像中的数量信息。
其中,一级标签统计信息为样本图像中所有被统计的对象所属一级对象类别的数量统计信息。
其中,二级对象类别为样本图像中的对象所属的细分类别。
其中,二级对象类别统计信息为一个二级对象类别在一张样本图像中的数量信息。
其中,二级标签统计信息为样本图像中所有被统计的对象所属二级对象类别的数量统计信息。
具体实施中,对于每张样本图像,分别汇总其对应的一级对象类别统计信息,以及其对应的二级对象类别统计信息,得到一级标签统计信息和二级标签统计信息,对这两者汇总得到标签统计信息。
示例性的,某一样本图像对应的一级对象类别包括车辆、路标……,车辆这个一级对象类别对应的二级对象类别包括厢式轿车、运动型多用途汽车、小型货车、大型卡车、公共汽车,路标这个一级对象类别对应的二级对象类别包括警告标志、禁令标志、指示标志,……;对该样本图像分别统计一级对象类别和二级对象类别,得到一级对象类别统计信息为“车辆:35”、“路标:10”、……,二级对象类别统计信息分别为“厢式轿车:10”、“运动型多用途汽车:15”、“小型货车:5”、“大型卡车:3”、“公共汽车:2”、“警告标志:4”、“禁令标志:4”、“指示标志:2”,汇总一级对象类别统计信息得到一级标签统计信息{车辆:35,路标:10,……},汇总二级对象类别统计信息得到二级标签统计信息{厢式轿车:10,运动型多用途汽车:15,小型货车:5,大型卡车:3,公共汽车:2,警告标志:4,禁令标志:4,指示标志:2,……},合并一级标签统计信息和二级标签统计信息得到标签统计信息{车辆:35,厢式轿车:10,运动型多用途汽车:15,小型货车:5,大型卡车:3,公共汽车:2,路标:10,警告标志:4,禁令标志:4,指示标志:2,……}。
由本申请实施例的上述技术方案可见,本申请实施例通过对每张样本图像整合一级对象类别和二级对象类别的数量信息,以便于在对象类别的数量上筛选样本图像。
S107,关联样本图像对应的环境属性信息、样本图像对应的标签统计信息以及样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。
其中,数据总表包括每个样本图像的记录,每个样本图像的记录包括环境属性信息、标签统计信息以及存储路径。具体的,环境属性信息、标签统计信息用于筛选样本图像,在筛选处样本图像后,根据其存储路径获取样本图像。
具体实施中,还可以在数据总表中增加每张样本图像中对象的总数量,参考图2,为部分样本图像在数据总表中对应的部分记录,从左到右字段名依次为环境属性信息、样本图像名、存储路径、对象总数以及各个对象类别的数量,该表中每一行即为一个样本图像的记录。
由本申请实施例的上述技术方案可见,本申请实施例通过对每个样本图像,基于样本图像对应的图像标签信息,确定样本图像对应的对象类别中每种对象类别的数量,得到样本图像对应的至少一个对象类别统计信息,汇总得到样本图像对应的标签统计信息;关联样本图像对应的环境属性信息、样本图像对应的标签统计信息以及样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。为智能驾驶领域模型的训练提供样本图像数据,大大缩减了对目标图像数据的检索时间,提高了图像筛选的精度,进而能够提升模型训练的质量。
在一个示例性的实施方式中,如图3所示,上述步骤S107可以包括:
S301,将多个样本图像中每个样本图像对应的环境属性信息加载到预设数据库,生成第一数据表。
其中,环境属性信息为采集样本图像时所处环境的属性信息,可用作样本图像的筛选条件。
其中,预设数据库可以为列式存储数据库,同一列的数据类型都是相同的,根据某属性或标签筛选样本图像时,顺序读取即可。
其中,第一数据表包括每个样本图像的环境属性信息。具体的,第一数据表的字段名可以包括场景、天气、道路、时间等等,每行记录对应一个样本图像。
S303,将多个样本图像中每个样本图像对应的标签统计信息加载到预设数据库,生成第二数据表。
其中,标签统计信息为样本图像中所有被统计的对象所属类别的数量统计信息。
其中,第二数据表包括每个样本图像的标签统计信息。具体的,第二数据表的字段名为不同的对象类别,每行记录对应一个样本图像。
S305,基于预设数据库,对于每个样本图像,关联第一数据表中样本图像对应的记录、第二数据表中样本图像对应的记录以及样本图像的存储路径,生成数据总表。
其中,存储路径为样本图像的存储位置。
其中,数据总表由每个样本图像对应的记录组成。具体的,对每张样本图像,关联其环境属性信息、标签统计信息和存储路径,其中环境属性信息和标签统计信息用于筛选样本图像,存储路径用于获取样本图像。具体实施中,在第一数据表中样本图像名对应的值等于第二数据表中样本图像名对应的值时,关联该值在第一数据表中所处的记录、该值在第二数据表中所处的记录以及该值所指示的样本图像对应的存储路径,从而得到数据总表,该值表征样本图像名,指示样本图像。
由本申请实施例的上述技术方案可见,本申请实施例通过预设数据库生成记录每张样本图像对应的环境属性信息的第一数据表,以及记录每张样本图像对应的标签统计信息的第二数据表,并关联两个数据表中同一样本图像对应的记录,不仅提高了数据总表的生成效率,而且能够提高基于数据总表筛选样本图像的效率。
下面对在数据总表中补充样本图像的其他相关信息的过程进行说明,具体可以包括以下步骤:
获取多个样本图像中每个样本图像对应的补充图像信息;
对于每个样本图像,关联样本图像对应的补充图像信息和样本图像在数据总表中对应的记录,更新样本图像在数据总表中对应的记录。
其中,补充图像信息可以是指除环境属性信息和标签统计信息之外的样本图像的相关信息,还可以是除标签统计信息中的对象类别统计信息之外的其他对象类别的统计信息,即需要对补充的对象类别统计数量得到的信息。其中,环境属性信息为采集样本图像时所处环境的属性信息。
其中,标签统计信息为样本图像中所有被统计的对象所属类别的数量统计信息。
其中,样本图像在数据总表中对应的记录包括样本图像对应的环境属性信息、标签统计信息以及存储路径。
具体实施中,对于在数据总表中新增除环境属性信息和标签统计信息之外的样本图像的相关信息,示例性的,可以在数据总表中新增样本图像的基本属性信息,如像素、分辨率、大小、位深、色调、饱和度、亮度、图像层次等等;对于在数据总表中新增除标签统计信息中的对象类别统计信息之外的其他对象类别的统计信息,示例性的,标签统计信息中的对象类别统计信息对应的对象类别包括车辆、行人、路标、车道线、红绿灯,则补充图像信息可以是建筑物、植物等对象类别对应的统计信息。
由本申请实施例的上述技术方案可见,本申请实施例通过将补充图像信息更新到数据总表中,为筛选样本图像提供更多可供选择的标签,进而能够提高图像筛选的精度。
下面对在数据总表中筛选目标图像的过程进行说明,如图4所示,具体可以包括:
S401,获取目标图像特征。
其中,目标图像特征为图像标签特征或者环境属性特征。
其中,图像标签特征为表征目标图像对应的对象类别的特征。具体的,图像标签特征主要是各个对象类别的数量特征。
其中,环境属性特征为采集目标图像时所处的环境的属性特征。具体的,环境属性特征可以是场景、天气、道路等方面的特征。
其中,目标图像是与目标图像特征相匹配的样本图像。
具体的,目标图像特征可以是图像标签特征,例如筛选出车辆数量大于30的样本图像;目标图像特征也可以是环境属性特征,例如筛选出阴天在城区采集的样本图像;目标图像特征还可以是补充图像信息,例如筛选出分辨率大于1600*1200的样本图像;目标图像特征还可以同时包括这三者,或者这三者中任意两者,例如筛选出阴天在城区采集,并且车辆数量大于30的样本图像。
S403,遍历数据总表,将与目标图像特征相匹配的记录,确定为目标记录;以及将目标图像特征所指示的字段确定为目标字段。
其中,数据总表为包括每个样本图像的记录,每个样本图像的记录包括环境属性信息、标签统计信息以及存储路径,还可以包括补充图像信息。具体的,环境属性信息、标签统计信息和补充图像信息用于筛选样本图像,在筛选处样本图像后,根据其存储路径获取样本图像。
其中,目标记录为与目标图像特征相匹配的样本图像你数据总表中对应的记录。示例性的,若目标图像特征为车辆数量大于30,则目标记录为数据总表中车辆数量字段对应的数值中,大于30的数值所在的记录。
其中,目标字段为目标片图像特征所指示的字段。示例性的,若目标图像特征为车辆数量大于30,则目标字段是名为车辆数量的字段。
S405,显示目标记录中的目标字段,以及目标记录中的存储路径。
其中,目标记录中的目标字段为目标图像中目标图像特征所指示的标签特征。示例性的,若目标图像特征为车辆数量大于30,目标记录中的目标字段则为目标图像对应的记录中的车辆数量字段。
其中,目标记录中的存储路径指示与目标图像特征相匹配的样本图像。具体实施中,根据显示的存储路径获取到的样本图像即为目标图像。
由本申请实施例的上述技术方案可见,本申请实施例通过数据总表查询符合目标图像特征的样本图像,用作训练智能驾驶领域模型的样本图像,缩减了对图像检索时间。
与上述几种实施例提供的图像数据处理方法相对应,本申请实施例还提供一种图像数据处理装置,由于本申请实施例提供的图像数据处理装置与上述几种实施例提供的图像数据处理方法相对应,因此前述图像数据处理方法的实施方式也适用于本实施例提供的图像数据处理装置,在本实施例中不再详细描述。
请参阅图5,其所示为本申请实施例提供的一种图像数据处理装置的结构示意图,该装置具有实现上述方法实施例中图像数据处理方法的功能,功能可以由硬件实现,也可以由硬件执行相应的软件实现。如图5所示,该装置可以包括:
信息获取模块510,用于获取多个样本图像中每个样本图像对应的存储路径、每个样本图像对应的环境属性信息以及每个样本图像对应的图像标签信息;环境属性信息为采集样本图像时所处环境的属性信息;图像标签信息包括样本图像对应的至少一个对象类别,对象类别为样本图像中的对象所属的类别;
图像统计模块520,用于对于每个样本图像,基于样本图像对应的图像标签信息,确定样本图像对应的对象类别中每种对象类别的数量,得到样本图像对应的至少一个对象类别统计信息;
信息汇总模块530,用于汇总样本图像对应的至少一个对象类别统计信息,得到样本图像对应的标签统计信息;
信息关联模块540,用于关联样本图像对应的环境属性信息、样本图像对应的标签统计信息以及样本图像的存储路径,得到每个样本图像在数据总表中对应的记录。
在一个示例性的实施方式中,对象类别包括二级对象类别和二级对象类别所属的一级对象类别,一级对象类别为相应的二级对象类别的上位概念;图像统计模块,包括:
二级统计模块,用于对于样本图像对应的图像标签信息中的每种二级对象类别,确定二级对象类别的数量,得到样本图像中每种二级对象类别对应的二级对象类别统计信息;
类别确定过模块,用于对于样本图像对应的图像标签信息中的每种一级对象类别,将样本图像对应的图像标签信息中一级对象类别对应的二级对象类别确定为目标二级对象类别,得到至少一种目标二级对象类别;
信息确定模块,用于确定至少一种目标二级对象类别中每种目标二级对象类别对应的二级对象类别统计信息,得到至少一个目标二级对象类别统计信息;
一级统计模块,用于确定至少一个目标二级对象类别统计信息中的数量之和,得到样本图像中每种一级对象类别对应的一级对象类别统计信息。
在一个示例性的实施方式中,信息汇总模块,包括:
一级汇总模块,用于汇总样本图像中每种一级对象类别对应的一级对象类别统计信息,得到样本图像对应的一级标签统计信息;
二级汇总模块,用于汇总样本图像中每种二级对象类别对应的二级对象类别统计信息,得到样本图像对应的二级标签统计信息;
信息合并模块,用于基于一级标签统计信息和二级标签统计信息,得到样本图像对应的标签统计信息。
在一个示例性的实施方式中,信息关联模块,包括:
第一表生成模块,用于将多个样本图像中每个样本图像对应的环境属性信息加载到预设数据库,生成第一数据表;
第二表生成模块,用于将多个样本图像中每个样本图像对应的标签统计信息加载到预设数据库,生成第二数据表;
总表生成模块,用于基于预设数据库,对于每个样本图像,关联第一数据表中样本图像对应的记录、第二数据表中样本图像对应的记录以及样本图像的存储路径,生成数据总表。
在一个示例性的实施方式中,装置还包括用于确定每个样本图像对应的环境属性信息的环境匹配模块,环境匹配模块,包括:
采集批次模块,用于获取多个样本图像中每个样本图像对应的采集批次,以及每个采集批次对应的环境属性信息;
环境关联模块,用于对于每个样本图像,基于样本图像对应的采集批次,关联样本图像和相应采集批次对应的环境属性信息,得到样本图像对应的环境属性信息。
在一个示例性的实施方式中,装置还包括用于在数据总表中补充样本图像的其他相关信息的信息补充模块,信息补充模块,包括:
补充获取模块,用于获取多个样本图像中每个样本图像对应的补充图像信息;补充图像信息是指除环境属性信息和标签统计信息之外的样本图像的相关信息;
总表更新模块,用于对于每个样本图像,关联样本图像对应的补充图像信息和样本图像在数据总表中对应的记录,更新样本图像在数据总表中对应的记录。
在一个示例性的实施方式中,装置还包括用于在数据总表中筛选目标图像的图像筛选模块,图像筛选模块,包括:
目标特征模块,用于获取目标图像特征;目标图像特征为图像标签特征或者环境属性特征;图像标签特征为表征目标图像对应的对象类别的特征;环境属性特征为采集目标图像时所处的环境的属性特征;
目标确定模块,用于遍历数据总表,将与目标图像特征相匹配的记录,确定为目标记录;以及将目标图像特征所指示的字段确定为目标字段;
目标显示模块,用于显示目标记录中的目标字段,以及目标记录中的存储路径;目标记录中的存储路径指示与目标图像特征相匹配的样本图像。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的任意一种图像数据处理方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行,即上述电子设备可以包括计算机终端、服务器或者类似的运算装置。图6是本发明实施例提供的运行一种图像数据处理方法的计算机设备的硬件结构框图,如图6所示,该计算机设备的内部结构可包括但不限于:处理器、网络接口及存储器。其中,计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接,在本说明书实施例所示图6中以通过总线连接为例。
其中,处理器(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器可以是高速RAM存储设备,也可以是非不稳定的存储设备(non-volatile memory),例如至少一个磁盘存储设备;可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间,该存储空间存储了电子设备的操作系统,可包括但不限于:Windows系统(一种操作系统),Linux(一种操作系统),Android(安卓,一种移动操作系统)系统、IOS(一种移动操作系统)系统等等,本发明对此并不作限定;并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中,处理器加载并执行存储器中存放的一条或一条以上指令,以实现上述方法实施例提供的图像数据处理方法。
本申请的实施例还提供了一种计算机可读存储介质,计算机可读存储介质可设置于电子设备之中以保存用于实现一种图像数据处理方法相关的至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的任意一种图像数据处理方法。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
- 一种方控数据处理方法、装置、电子设备及存储介质
- 一种材质的数据处理方法、装置、电子设备及存储介质
- 一种数据处理方法、装置、电子设备及存储介质
- 夜景图像处理方法、装置、电子设备及存储介质
- 人脸图像的处理方法及装置、电子设备和存储介质
- 基于互动界面的互动方法、装置、设备及可读存储介质
- 一种图像数据的处理方法、装置、电子设备及存储介质