一种用于无人机的多角度视觉识别方法及系统
文献发布时间:2024-01-17 01:12:29
技术领域
本发明涉及视觉识别相关技术领域,具体涉及一种用于无人机的多角度视觉识别方法及系统。
背景技术
无人机视觉识别是近些年的热门领域,准确的视觉识别是无人机智能驾驶执行各项任务的基础,目前的无人机视觉识别主要是通过无人机上的图像装置采集待识别对象的图像信息使用图像处理方法确定对象的类型属性,再结合GPS定位系统基于无人机的实时位置状态对待识别对象的位置进行确定,从而得到位置属性。
但是现有技术由于无人机上的图像采集多为俯视图和部分侧视图等较少维度的图像,进而导致存在识别结果准确性难以保证的技术问题。
发明内容
本申请实施例通过提供了一种用于无人机的多角度视觉识别方法及系统,解决了现有技术由于无人机上的图像采集多为俯视图和部分侧视图等较少维度的图像,进而导致存在识别结果准确性难以保证的技术问题。
鉴于上述问题,本申请实施例提供了一种用于无人机的多角度视觉识别方法及系统。
第一方面,本申请实施例提供了一种用于无人机的多角度视觉识别方法,所述方法应用于一种用于无人机的多角度视觉识别系统,所述系统应用于一无人机,所述无人机包括一图像采集装置和一光传感装置,所述方法包括:调用第一图像采集装置对第一待识别对象进行图像采集,获得第一图像采集结果;根据第一预设采集角度对所述第一待识别对象进行维度分割,获得第一维度分割结果;遍历所述第一维度分割结果,生成第一探测光发射角度;基于所述第一探测光发射角度调用第一光传感装置对所述第一待识别对象进行探测,获得第一探测结果,其中,所述第一探测结果包括第一空间几何信息;将所述第一图像采集结果和所述第一维度分割结果进行匹配,获得第一匹配结果;基于所述第一空间几何信息遍历所述第一匹配结果进行饱和度分析,获得第一分析结果,其中,所述第一分析结果包括不满足预设饱和度的第一维度信息和第一维度空间几何信息将所述第一维度信息和所述第一维度空间几何信息输入图像补充模型,获得第一补充图像;通过所述第一空间几何信息对所述第一补充图像和所述第一匹配结果进行图像融合处理生成三维仿真模型,添加进第一视觉识别结果。
另一方面,本申请实施例提供了一种用于无人机的多角度视觉识别方法,所述方法应用于一种用于无人机的多角度视觉识别系统,所述系统应用于一无人机,所述无人机包括一图像采集装置和一光传感装置,所述方法包括:第一获得单元,用于调用第一图像采集装置对第一待识别对象进行图像采集,获得第一图像采集结果;第二获得单元,用于根据第一预设采集角度对所述第一待识别对象进行维度分割,获得第一维度分割结果;第一生成单元,用于遍历所述第一维度分割结果,生成第一探测光发射角度第三获得单元,用于基于所述第一探测光发射角度调用第一光传感装置对所述第一待识别对象进行探测,获得第一探测结果,其中,所述第一探测结果包括第一空间几何信息;第四获得单元,用于将所述第一图像采集结果和所述第一维度分割结果进行匹配,获得第一匹配结果;第五获得单元,用于基于所述第一空间几何信息遍历所述第一匹配结果进行饱和度分析,获得第一分析结果,其中,所述第一分析结果包括不满足预设饱和度的第一维度信息和第一维度空间几何信息;第六获得单元,用于将所述第一维度信息和所述第一维度空间几何信息输入图像补充模型,获得第一补充图像第一执行单元,用于通过所述第一空间几何信息对所述第一补充图像和所述第一匹配结果进行图像融合处理生成三维仿真模型,添加进第一视觉识别结果。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了通过使用无人机图像采集装置对待识别对象进行图像采集;根据预设采集角度对待识别图像进行维度分割,不同维度分割结果表示不同维度的面;根据维度分割结果使用光传感装置分别探测得到表征待识别对象空间几何信息的探测结果;再将图像采集结果和维度分割进行匹配;更进一步,基于空间几何信息分析现有采集的图像是否饱和;将不饱和的维度和对应维度的空间几何信息提取,并利用图像补充模型进行智能化补充,进而根据补充后的图像、匹配结果、空间几何信息构建待识别对象的三维仿真模型,从而完成对待识别对象的视觉识别的技术方案,利用光传感装置探测空间几何信息,用来分析现有图像是否饱和,对不饱和的使用图像补充模型进行补充,实现了基于多角度的图像对待识别对象进行视觉识别的技术目的,进而达到了提高无人机视觉识别准确性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种用于无人机的多角度视觉识别方法流程示意图;
图2为本申请实施例提供了一种用于无人机的多角度视觉识别方法中补充图像的筛选流程示意图;
图3为本申请实施例提供了一种用于无人机的多角度视觉识别系统结构示意图;
图4为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一获得单元11,第二获得单元12,第一生成单元13,第三获得单元14,第四获得单元15,第五获得单元16,第六获得单元17,第一执行单元18,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请实施例通过提供了一种用于无人机的多角度视觉识别方法及系统,解决了现有技术由于无人机上的图像采集多为俯视图和部分侧视图等较少维度的图像,进而导致存在识别结果准确性难以保证的技术问题,通过利用光传感装置探测空间几何信息,用来分析现有图像是否饱和,对不饱和的使用图像补充模型进行补充,实现了基于多角度的图像对待识别对象进行视觉识别的技术目的,进而达到了提高无人机视觉识别准确性的技术效果。
申请概述
无人机视觉识别是近些年的热门领域,准确的视觉识别是无人机智能驾驶执行各项任务的基础,目前的无人机视觉识别主要是通过无人机上的图像装置采集待识别对象的图像信息使用图像处理方法确定对象的类型属性,再结合GPS定位系统基于无人机的实时位置状态对待识别对象的位置进行确定,从而得到位置属性,但是现有技术由于无人机上的图像采集多为俯视图和部分侧视图等较少维度的图像,进而导致存在识别结果准确性难以保证的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请实施例通过提供了一种用于无人机的多角度视觉识别方法及系统,通过使用无人机图像采集装置对待识别对象进行图像采集;根据预设采集角度对待识别图像进行维度分割,不同维度分割结果表示不同维度的面;根据维度分割结果使用光传感装置分别探测得到表征待识别对象空间几何信息的探测结果;再将图像采集结果和维度分割进行匹配;更进一步,基于空间几何信息分析现有采集的图像是否饱和;将不饱和的维度和对应维度的空间几何信息提取,并利用图像补充模型进行智能化补充,进而根据补充后的图像、匹配结果、空间几何信息构建待识别对象的三维仿真模型,从而完成对待识别对象的视觉识别的技术方案,利用光传感装置探测空间几何信息,用来分析现有图像是否饱和,对不饱和的使用图像补充模型进行补充,实现了基于多角度的图像对待识别对象进行视觉识别的技术目的,进而达到了提高无人机视觉识别准确性的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种用于无人机的多角度视觉识别方法,其中,所述方法应用于一种用于无人机的多角度视觉识别系统,所述系统应用于一无人机,所述无人机包括一图像采集装置和一光传感装置,所述方法包括:
S100:调用第一图像采集装置对第一待识别对象进行图像采集,获得第一图像采集结果;
具体而言,所述无人机指的是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机,或者由车载计算机完全地或间歇地自主地操作;所述第一图像采集装置指的是适应性部署在无人机上对外界对象进行视觉识别的设备,需要进行视觉识别的场景包括但不限于:避障、降落、路径规划、航拍、构建地图、测绘等;所述第一待识别对象指的是无人机视觉识别的外界具体对象,包括但不限于:静态的物,示例性地:各种类型的建筑物、自然景观等;动态的物,示例性地:飞鸟、走兽、人群等;地理区域,示例性地:具有不同功能的区域,如不同城市之间、不同省份之间、不同国家之间等;其它依据实际应用场景需要识别的对象,此处一般指通过无人机的第一图像采集装置难以采集全貌的图像数据的对象,示例性地如:建筑物的视觉识别等。
所述第一图像采集结果指的是通过第一图像采集装置随着无人机的移动对第一待识别对象进行图像采集得到的图像集合。进一步的,第一图像采集装置采集的图像因为采集角度、采集距离、像素等噪音影响,使得图像采集结果并非第一待识别对象各维度的正视图、且清晰度也会受到影响,根据采集角度、采集距离、像素等噪音不同影响结果,需要对采集的图像进行预处理,优选的方式为,使用基于卷积神经网络构建的预处理模型进行处理,过程如下:采集多组历史图像作为训练数据,对历史图像进行采集角度、采集距离、像素等噪音特征的提取,更进一步的,获得多组历史图像处理后的输出标识信息。将训练数据、特征信息作为输入数据、将多组历史图像处理后的输出标识信息作为输出数据,基于卷积神经网络对预处理模型进行有监督学习,完成模型构建,后步可高效的对第一图像采集装置采集的图像进行预处理后,完成降噪过程,再存储为第一图像采集结果。
第一图像采集结果主要组成为俯视图,部分为侧视图,但是图像维度都较单一,从而会影响对第一待识别对象的最终视觉识别的准确度。因此需要对缺乏的角度图像进行补充再视觉识别,为了便于后步处理,将第一图像采集结果按照其表征第一待识别对象的不同维度进行分组存储,并置为待响应状态,便于快速调用。
S200:根据第一预设采集角度对所述第一待识别对象进行维度分割,获得第一维度分割结果;
具体而言,所述第一预设采集角度指的是预设的对第一待识别对象进行准确视觉识别需要的图像对应的维度信息,包括但不限于:正视图、俯视图、左视图、侧视图、后视图等采集角度。所述第一维度分割结果指的是根据第一预设采集角度将第一待识别对象的区域进行一一对应的分割得到的结果,示例性地:如正视图对应的区域为一维度信息、俯视图对应的区域为另一维度信息等。通过第一预设采集角度可以确定第一待识别对象进行准确的视觉识别需要采集的图像维度信息,为后步进行的图像补充提供了参数数据。
S300:遍历所述第一维度分割结果,生成第一探测光发射角度;
进一步的,基于所述遍历所述第一维度分割结果,生成第一探测光发射角度,步骤S300包括:
S310:通过第一轨迹遍历所述第一维度分割结果,获得第一轨迹角度,其中,所述第一轨迹和水平面平行;
S320:通过第二轨迹遍历所述第一维度分割结果,获得第二轨迹角度,其中,所述第二轨迹和所述第一轨迹互相垂直;
S330:将所述第一轨迹角度和所述第二轨迹角度添加进所述第一探测光发射角度。
具体而言,所述第一探测光发射角度指的是表征探测第一待识别对象的大体结构数据而确定的探测光探测发射角度信息,优选的将第一维度分割结果和第一探测光发射角度一一对应进行存储;所述第一轨迹指的是用来对探测光发射光路进行确定的定位参数之一,优选为与水平面互相平行的面;所述第一轨迹角度指的是探测光发射光路和第一轨迹之间的夹角;所述第二轨迹指的是用来对探测光发射光路进行确定的定位参数之二,优选为与第一轨迹互相垂直的面;所述第二轨迹角度指的是探测光发射光路和第二轨迹之间的夹角;通过将第一轨迹角度和第二轨迹角度添加进第一探测光发射角度可以完成对探测光发射角度的定位,进一步对第一待识别对象基于第一探测光发射角度发射探测探测光,即可完成对第一待识别对象的结构探测,为后步信息处理提供信息反馈基础。
S400:基于所述第一探测光发射角度调用第一光传感装置对所述第一待识别对象进行探测,获得第一探测结果,其中,所述第一探测结果包括第一空间几何信息;
具体而言,所述第一光传感装置指的是部署在无人机上对第一待识别对象进行结构探测的设备,示例性地如X光射线传感装置;所述第一探测结果指的是通过第一光传感装置对第一待识别对象进行探测得到的表征第一待识别对象大体结构的信息,包括但不限于:高度、长度、宽度、外部形状等数据;所述第一空间几何信息指的是将第一探测结果依据与第一维度分割结果一一对应的表征多个维度的多组第一探测光发射角度,分组存储得到的结果,示例性地:将表征正视图的空间几何信息存储为第一组数据;将表征俯视图的空间几何信息存储为第二组数据等,置为待响应状态,便于后步快速调用。
S500:将所述第一图像采集结果和所述第一维度分割结果进行匹配,获得第一匹配结果;
S600:基于所述第一空间几何信息遍历所述第一匹配结果进行饱和度分析,获得第一分析结果,其中,所述第一分析结果包括不满足预设饱和度的第一维度信息和第一维度空间几何信息;
具体而言,所述第一匹配结果指的是将第一图像采集结果基于第一维度分割结果的多个维度进行图像分组得到的结果;所述第一分析结果指的是遍历第一待识别对象每个维度对应的第一空间几何信息和第一匹配结果,提取不满足预设饱和度的图像信息对应第一维度信息和第一维度空间几何信息进行存储得到的结果,其中,第一维度信息指的是第一匹配结果不满足预设饱和度的对应维度;所述第一维度空间几何信息指的是不满足预设饱和度的对应维度的大致结构信息;预设饱和度为预设的表征对应维度需要进行图像补充的饱和度最小值。进一步的,饱和度分析过程举不设限的一例:遍历第一匹配结果对每个维度的图像进行重合度分析,将重合度部分筛除,饱和度指的是对应维度的全部图像非重复部分在对应维度的覆盖率,此处的预设饱和度即为预设覆盖率,默认值为1。通过饱和度分析,可以确定需要进行图像补充的维度和对应维度的空间几何信息,为后步进行补充图像的搜索提供了参考基准,保障了生成的补充图像与第一待识别对象的适配度,提高了视觉识别结果的准确性。
S700:将所述第一维度信息和所述第一维度空间几何信息输入图像补充模型,获得第一补充图像;
具体而言,所述图像补充模型指的是基于第一维度信息和第一维度空间几何信息对第一待识别对象的视觉识别提供多角度补充图像的模型;所述第一补充图像指的是将第一维度信息和第一维度空间几何信息输入图像补充模型进行处理得到的表征第一待识别对象进行准确的视觉识别需要进行补充的图像集合。其中,图像补充模型的工作原理描述如下:第一步,在第一维度信息和第一维度空间几何信息输入图像补充模型,即通过第一待识别对象确定对象类型,示例性地存储形式为:建筑物-民用住宅-六层;再结合第一待识别对象类型信息、第一维度信息和第一维度空间几何信息,基于大数据进行检索同类型的图像信息。第二步使用图像补充模型中的关联度评估模块,基于第一待识别对象类型信息、第一维度信息和第一维度空间几何信息评估检索到的图像信息和第一待识别对象之间的关联度,其中,关联度优选的使用互信息进行表征,互信息是评估两个图像之间的关联性的常用指标,互信息越大,则关联度越大;第三步使用图像补充模型中的图像筛选模块基于计算得到的关联度对每个区域图像进行排序,为每个区域筛选关联度最大的图像,从而保证得到的补充图像和第一待识别对象的契合程度较高。
S800:通过所述第一空间几何信息对所述第一补充图像和所述第一匹配结果进行图像融合处理生成三维仿真模型,添加进第一视觉识别结果。
具体而言,所述三维仿真模型指的是基于第一空间几何信息对第一补充图像和第一匹配结果进行图像融合处理得到的表征第一待识别对象的立体模型,其中,图像融合处理过程如下:首先根据第一空间几何信息构建对第一待识别对象外形进行三维建模,再使用第一补充图像和第一匹配结果对三维建模的相应维度进行渲染,从而得到三维仿真模型。所述第一视觉识别结果指的是基于三维仿真模型确定的表征第一待识别对象具体信息的数据,基于补充的图像和第一匹配结果组合构建的三维仿真模型可以更加全面的表征第一待识别对象,进而提高了视觉识别效果的准确性。
进一步的,所述方法还包括步骤S900:
S910:获得第一预飞行区域,其中,所述第一预飞行区域之内包括所述第一待识别对象;
S920:对所述第一预飞行区域进行定位要素提取,获得第一定位要素集合,其中,所述定位要素为静止对象;
S930:根据所述第一定位要素集合,构建第一空间网格坐标系;
S940:将所述三维仿真模型输入所述第一空间网格坐标系,获得第一定位信息;
S950:通过所述第一定位信息和所述三维仿真模型,生成第一地图信息,其中,所述第一地图信息和所述第一预飞行区域一一对应;
S960:将所述第一地图信息添加进所述第一视觉识别结果。
具体而言,所述第一预飞行区域指的是无人机预定的飞行范围,第一待识别对象包含在第一预飞行区域之内;所述第一定位要素集合指的是用来对第一待识别对象进行定位的参考要素,优选的为非第一待识别对象的其它第一预飞行区域内的静止物;所述第一空间网格坐标系指的是以第一定位要素集合为参考基准构建的网格空间坐标系,第一空间网格坐标系指的是以预设边长的多个网格组合而成的对坐标系内部物品进行定位的空间坐标系,预设边长根据工作人员预设地图尺寸和第一待识别对象实际的尺寸之比确定;第一定位要素集合分布在第一空间网格坐标系的不同点,位置确定,为第一待识别对象的位置参考物;所述第一定位信息指的是将三维仿真模型输入第一空间网格坐标系确定定位信息;所述第一地图信息指的是将根据第一定位信息和三维仿真模型在地图上生成第一待识别对象,且在已知定位规则的前提下,在第一预飞行区域内第一地图信息可作为第一待识别对象的参考地图,将其添加进第一视觉识别结果,作为第一待识别对象的定位属性,结合前述的三维仿真模型,得到全面的视觉识别结果。通过构建第一空间网格坐标系生成第一待识别对象的定位信息,进而结合三维仿真模型生成地图信息,适用于弱网环境下,即GPS信号弱的情况下,无人机也可进行视觉识别定位。
进一步的,基于所述将所述第一维度信息和所述第一维度空间几何信息输入图像补充模型,获得第一补充图像,步骤S700包括:
S710:根据所述第一维度信息,获得第一补充材料信息;
S720:根据所述图像补充模型,获得第一关联性评估模块和第一图像筛选模块;
S730:将所述第一维度空间几何信息和所述第一补充材料信息输入所述第一关联性评估模块进行层级关联性评估,获得第一评估结果;
S740:将所述第一评估结果输入所述第一图像筛选模块,获得所述第一补充图像。
具体而言,所述第一补充材料信息指的是基于大数据采集的第一待识别对象的和第一维度信息同类型的图像集合;所述第一关联性评估模块指的是图像补充模型中来评估第一补充材料信息和第一维度空间几何信息关联度的虚拟功能模块;所述第一图像筛选模块指的是用来基于第一补充材料信息和第一维度空间几何信息关联度大小进行排序并进行筛选的虚拟功能模块;所述第一评估结果指的是基于第一维度空间几何信息和第一补充材料信息,在第一关联性评估模块众进行层级关联性分析得到的结果,其中,层级关联性分析指的是沿着第一待识别对象被分析维度的尺寸边缘开始按照预设方向,逐步进行图像关联性分析,下一步使用上一步关联度最大的对应图像进行关联性分析,直到抵达另一个尺寸边缘时停止,进而得到最终的图像分析结果。第一补充图像是基于第一评估结果筛选得到的每个位置和第一待识别对象关联度最大的图像集合。其中,第一图像筛选模块和第一关联性评估模块是交互使用的,每当第一关联性评估模块一个层级的关联度分析结束,就使用第一图像筛选模块将该层级每个位置对应的最大关联度图像筛选出添加进第一补充图像并作为后步的评估基准图像,其中,关联度优选的使用互信息进行表征,互信息为常用的表征图像之间关联性的指标,在此不多加赘述。
进一步的,基于所述根据所述第一维度信息,获得第一补充材料信息,步骤S710包括:
S711:通过所述第一图像采集结果对所述第一待识别对象进行特征提取,获得第一属性信息,其中,所述第一属性信息表征所述第一待识别对象的类型;
S712:将所述第一属性信息和所述第一维度信息输入云端图像数据库进行匹配,获得所述第一补充材料信息。
具体而言,所述第一属性信息指的是表征第一待识别对象类型特征的数据;所述云端图像数据库指的是基于大数据构建的用来存储:物品类型特征-图像信息的数据库,通过将大数据中的物品类型特征-图像信息一一对应进行存储,降低了图像信息的检索困难,提高了第一补充材料信息的匹配速度。
进一步的,基于所述将所述第一维度空间几何信息和所述第一补充材料信息输入所述第一关联性评估模块进行层级关联性评估,获得第一评估结果,步骤S730包括:
S731:根据所述第一维度空间几何信息,获得第一边缘特征信息和第一预设分析方向,其中,所述第一预设分析方向包括第一分析起点位置和第一分析终点位置;
S732:基于所述第一分析起点位置,将所述第一边缘特征信息和所述第一补充材料信息输入所述第一关联性评估模块进行一级图像关联性分析,获得一级分析结果;
S733:将所述一级分析结果和所述第一关联性评估模块进行二级图像关联性分析,获得二级分析结果;
S734:重复关联性分析,直到满足所述第一分析终点位置时停止,获得所述一级分析结果、所述一级分析结果和N级分析结果;
S735:将所述一级分析结果、所述一级分析结果和所述N级分析结果添加进所述第一评估结果。
具体而言,所述第一边缘特征信息指的是表征第一待识别对象中第一匹配结果对应的图像边缘特征信息,其中,图像边缘特征信息优选的使用上述的特征提取模型提取;所述第一预设分析方向指的是基于第一维度空间几何信息确定的图像边缘特征信息确定的关联性分析方向,以图像边缘特征信息在第一维度空间几何信息中的分布位置为第一分析起点位置,以该维度和第一分析起点位置相对应的尺寸终点位置为第一分析终点位置。所述一级分析结果指的是基于第一分析起点位置,在第一分析起点位置对第一边缘特征信息和第一补充材料信息进行关联性分析后得到的结果;所述二级分析结果指的是在使用第一图像筛选模块对一级分析结果中的每个位置的最大关联度的图像筛选出之后,对筛选结果和剩余的第一补充材料信息进行关联性分析后的结果;重复分析和筛选直到满足第一分析终点位置得到一级分析结果、一级分析结果和N级分析结果设为第一分析结果;将筛选的图像设为第一补充图像。
进一步的,如图2所示,基于所述将所述第一评估结果输入所述第一图像筛选模块,获得所述第一补充图像,步骤S740包括:
S741:遍历所述一级分析结果、所述一级分析结果和所述N级分析结果,获得一级关联度队列、二级关联度队列、N级关联度队列;
S742:依次对所述一级关联度队列、所述二级关联度队列、所述N级关联度队列进行序列化调整,获得第一调整结果;
S743:根据所述第一调整结果,获得所述第一补充图像,其中,所述第一补充图像为每个队列的关联度最大值对应图像集合。
具体而言,第一补充图像的筛选过程如下:遍历一级分析结果、一级分析结果和N级分析结果,得到表征不同位置的一级关联度队列、二级关联度队列、N级关联度队列,其中,一级关联度队列、二级关联度队列、N级关联度队列都具有多个队列,每个队列中的图像为对同一个位置的图像分析结果;所述第一调整结果指的是对一级关联度队列、二级关联度队列、N级关联度队列中每个队列的图像根据关联度大小排序得到的结果;第一补充图像指的是将每个队列中关联度最大的图像筛选出存储的结果。通过对筛选关联度最大的图像,保证匹配的补充图像和第一待识别对象的契合度最高。
综上所述,本申请实施例所提供的一种用于无人机的多角度视觉识别方法及系统具有如下技术效果:
1.由于采用了通过使用无人机图像采集装置对待识别对象进行图像采集;根据预设采集角度对待识别图像进行维度分割,不同维度分割结果表示不同维度的面;根据维度分割结果使用光传感装置分别探测得到表征待识别对象空间几何信息的探测结果;再将图像采集结果和维度分割进行匹配;更进一步,基于空间几何信息分析现有采集的图像是否饱和;将不饱和的维度和对应维度的空间几何信息提取,并利用图像补充模型进行智能化补充,进而根据补充后的图像、匹配结果、空间几何信息构建待识别对象的三维仿真模型,从而完成对待识别对象的视觉识别的技术方案,利用光传感装置探测空间几何信息,用来分析现有图像是否饱和,对不饱和的使用图像补充模型进行补充,实现了基于多角度的图像对待识别对象进行视觉识别的技术目的,进而达到了提高无人机视觉识别准确性的技术效果。
实施例二
基于与前述实施例中一种用于无人机的多角度视觉识别方法相同的发明构思,如图3所示,本申请实施例提供了一种用于无人机的多角度视觉识别方法,其中,所述方法应用于一种用于无人机的多角度视觉识别系统,所述系统应用于一无人机,所述无人机包括一图像采集装置和一光传感装置,所述方法包括:
第一获得单元11,用于调用第一图像采集装置对第一待识别对象进行图像采集,获得第一图像采集结果;
第二获得单元12,用于根据第一预设采集角度对所述第一待识别对象进行维度分割,获得第一维度分割结果;
第一生成单元13,用于遍历所述第一维度分割结果,生成第一探测光发射角度;
第三获得单元14,用于基于所述第一探测光发射角度调用第一光传感装置对所述第一待识别对象进行探测,获得第一探测结果,其中,所述第一探测结果包括第一空间几何信息;
第四获得单元15,用于将所述第一图像采集结果和所述第一维度分割结果进行匹配,获得第一匹配结果;
第五获得单元16,用于基于所述第一空间几何信息遍历所述第一匹配结果进行饱和度分析,获得第一分析结果,其中,所述第一分析结果包括不满足预设饱和度的第一维度信息和第一维度空间几何信息;
第六获得单元17,用于将所述第一维度信息和所述第一维度空间几何信息输入图像补充模型,获得第一补充图像;
第一执行单元18,用于通过所述第一空间几何信息对所述第一补充图像和所述第一匹配结果进行图像融合处理生成三维仿真模型,添加进第一视觉识别结果。
进一步的,所述系统还包括:
第七获得单元,用于获得第一预飞行区域,其中,所述第一预飞行区域之内包括所述第一待识别对象;
第八获得单元,用于对所述第一预飞行区域进行定位要素提取,获得第一定位要素集合,其中,所述定位要素为静止对象;
第一构建单元,用于根据所述第一定位要素集合,构建第一空间网格坐标系;
第九获得单元,用于将所述三维仿真模型输入所述第一空间网格坐标系,获得第一定位信息;
第一生成单元,用于通过所述第一定位信息和所述三维仿真模型,生成第一地图信息,其中,所述第一地图信息和所述第一预飞行区域一一对应;
第二执行单元,用于将所述第一地图信息添加进所述第一视觉识别结果。
进一步的,所述系统还包括:
第十获得单元,用于通过第一轨迹遍历所述第一维度分割结果,获得第一轨迹角度,其中,所述第一轨迹和水平面平行;
第十一获得单元,用于通过第二轨迹遍历所述第一维度分割结果,获得第二轨迹角度,其中,所述第二轨迹和所述第一轨迹互相垂直;
第一处理单元,用于将所述第一轨迹角度和所述第二轨迹角度添加进所述第一探测光发射角度。
进一步的,所述系统还包括:
第十二获得单元,用于根据所述第一维度信息,获得第一补充材料信息;
第十三获得单元,用于根据所述图像补充模型,获得第一关联性评估模块和第一图像筛选模块;
第十四获得单元,用于将所述第一维度空间几何信息和所述第一补充材料信息输入所述第一关联性评估模块进行层级关联性评估,获得第一评估结果;
第十五获得单元,用于将所述第一评估结果输入所述第一图像筛选模块,获得所述第一补充图像。
进一步的,所述系统还包括:
第十六获得单元,用于通过所述第一图像采集结果对所述第一待识别对象进行特征提取,获得第一属性信息,其中,所述第一属性信息表征所述第一待识别对象的类型;
第十七获得单元,用于将所述第一属性信息和所述第一维度信息输入云端图像数据库进行匹配,获得所述第一补充材料信息。
进一步的,所述系统还包括:
第十八获得单元,用于根据所述第一维度空间几何信息,获得第一边缘特征信息和第一预设分析方向,其中,所述第一预设分析方向包括第一分析起点位置和第一分析终点位置;
第十九获得单元,用于基于所述第一分析起点位置,将所述第一边缘特征信息和所述第一补充材料信息输入所述第一关联性评估模块进行一级图像关联性分析,获得一级分析结果;
第二十获得单元,用于将所述一级分析结果和所述第一关联性评估模块进行二级图像关联性分析,获得二级分析结果;
第二十一获得单元,用于重复关联性分析,直到满足所述第一分析终点位置时停止,获得所述一级分析结果、所述一级分析结果和N级分析结果;
第二处理单元,用于将所述一级分析结果、所述一级分析结果和所述N级分析结果添加进所述第一评估结果。
进一步的,所述系统还包括:
第二十二获得单元,用于遍历所述一级分析结果、所述一级分析结果和所述N级分析结果,获得一级关联度队列、二级关联度队列、N级关联度队列;
第二十三获得单元,用于依次对所述一级关联度队列、所述二级关联度队列、所述N级关联度队列进行序列化调整,获得第一调整结果;
第二十四获得单元,用于根据所述第一调整结果,获得所述第一补充图像,其中,所述第一补充图像为每个队列的关联度最大值对应图像集合。
实施例三
基于与前述实施例中一种用于无人机的多角度视觉识别方法相同的发明构思,本申请实施例提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现实施例一任一项所述的方法。
示例性电子设备
下面参考图4来描述本申请实施例的电子设备。
基于与前述实施例中一种用于无人机的多角度视觉识别方法相同的发明构思,本申请实施例还提供了一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行第一方面任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheralcomponentinterconnect,简称PCI)总线或扩展工业标准结构(extendedindustryStandard architecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的系统,用于与其他设备或通信网络通信,如以太网,无线接入网(radioaccessnetwork,RAN),无线局域网(wirelesslocalareanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable Programmableread-onlymemory,EEPROM)、只读光盘(compactdiscread-onlymemory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、探测光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种用于无人机的多角度视觉识别方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例通过提供了一种用于无人机的多角度视觉识别方法及系统,通过使用无人机图像采集装置对待识别对象进行图像采集;根据预设采集角度对待识别图像进行维度分割,不同维度分割结果表示不同维度的面;根据维度分割结果使用光传感装置分别探测得到表征待识别对象空间几何信息的探测结果;再将图像采集结果和维度分割进行匹配;更进一步,基于空间几何信息分析现有采集的图像是否饱和;将不饱和的维度和对应维度的空间几何信息提取,并利用图像补充模型进行智能化补充,进而根据补充后的图像、匹配结果、空间几何信息构建待识别对象的三维仿真模型,从而完成对待识别对象的视觉识别的技术方案,利用光传感装置探测空间几何信息,用来分析现有图像是否饱和,对不饱和的使用图像补充模型进行补充,实现了基于多角度的图像对待识别对象进行视觉识别的技术目的,进而达到了提高无人机视觉识别准确性的技术效果。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个、种),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指
令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
- 一种用于旋翼无人机姿态模拟的配平系统及方法、无人机
- 一种基于行车轨迹和视觉车道边线数据的路口识别方法及系统
- 一种用于无人机视觉着陆的地标跟踪控制系统及方法
- 一种用于无人机视觉组合导航测试的半实物仿真系统