云台目标追踪控制方法、装置及云台控制设备、存储介质
文献发布时间:2023-06-19 11:57:35
技术领域
本申请涉及目标追踪领域,具体而言,涉及一种云台目标追踪控制方法、装置及云台控制设备、存储介质。
背景技术
目前,在目标追踪过程中,云台控制主要包括两种,第一种是通过编码器输出角度直接控制云台的转动;第二种是基于视觉反馈的云台控制方式,其中,第一种方式无法基于视觉跟踪对云台控制,而第二种方式存在对图像特征匹配精度要求高,进而如果误匹配就会造成较大控制误差这一缺点。
发明内容
本申请实施例的目的在于提供一种云台目标追踪控制方法、装置及云台控制设备、存储介质,用以提高基于视觉的目标追踪过程中的云台控制精度。
为此,本申请第一方面公开一种云台目标追踪控制方法,所述方法应用于云台控制设备,所述方法包括:
当云台转动后,获取相机针对追踪目标物生成的第一图像并确定所述待追中目标物的第一图像特征点坐标集;
根据所述第一图像特征点坐标集确定第一特征点重心图像坐标;
计算所述第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
根据所述第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差,从所述第一图像特征点坐标集中删除不满足预设条件的图像特征点坐标,并得到第二图像特征点坐标集;
根据所述第二图像特征点坐标集计算第二特征点重心图像坐标;
计算所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差;
根据所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差、所述第二图像特征点坐标集中每个图像特征点坐标得到距离偏差计算特征图像坐标之间偏差的标准差;
当所述特征图像坐标之间偏差的标准差满足预设第二条件时,则确定所述云台旋转到位。
在本申请第一方面中,通过将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
在本申请第一方面中,作为一种可选的实施方式,所述根据所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差、所述第二图像特征点坐标集中每个图像特征点坐标的距离偏差计算特征图像坐标之间偏差的标准差的计算式为:
其中,σ表示所述标准差,k表示所述第二图像特征点坐标集中的图像特征点坐标总数,i表示第二图像特征点坐标集中的元素下标,X
在本可选的实施方式中,通过
在本申请第一方面中,作为一种可选的实施方式,所述第二图像特征点坐标集中每个图像特征点坐标的距离偏差的计算式为:
其中,
其中,(u
在本可选的实施方式汇总,通过公式
在本申请第一方面中,作为一种可选的实施方式,所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差的计算式为:
其中,
其中,(U
在本可选的实施方式中,通过
在本申请第一方面中,作为一种可选的实施方式中,在所述获取相机针对追踪目标物生成的第一图像并确定所述待追中目标物的第一图像特征点坐标集之前,所述方法还包括:
获取所述相机与激光器、所述云台之间的标定参数,所述标定参数包括所述激光器的激光点的在所述相机中的标定位置;
获取所述云台转动前,所述相机针对所述追踪目标物生成的初始图像并确定所述待追中目标物的初始图像特征点坐标集;
根据所述初始图像特征点坐标集计算所述待追中目标物的初始特征点重心图像坐标;
根据所述初始特征点重心图像坐标和所述标定位置确定所述云台的转动角度。
在本可选的实施方式中,通过初始特征点重心图像坐标和所述标定位置能够确定所述云台的转动角度。
在本申请第一方面中,作为一种可选的实施方式,在所述根据所述初始特征点重心图像坐标和所述标定位置确定所述云台的转动角度之后,所述方法还包括:
根据所述云台的转动角度和所述初始特征点重心图像坐标计算所述参考特征点重心图像坐标。
在本可选的实施方式中,通过云台的转动角度和所述初始特征点重心图像坐标能够计算得到所述参考特征点重心图像坐标。
本申请第二方面公开一种云台目标追踪控制装置,所述装置运用于云台控制设备,所述装置包括:
获取模块,用于在当云台转动后,获取相机针对追踪目标物生成的第一图像并确定所述待追中目标物的第一图像特征点坐标集;
第一确定模块,用于根据所述第一图像特征点坐标集确定第一特征点重心图像坐标;
第一计算模块,用于计算所述第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
坐标点筛选模块,用于根据所述第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差,从所述第一图像特征点坐标集中删除不满足预设条件的图像特征点坐标,并得到第二图像特征点坐标集;
第二计算模块,用于根据所述第二图像特征点坐标集计算第二特征点重心图像坐标;
第三计算模块,用于计算所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差;
第四计算模块,用于根据所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差、所述第二图像特征点坐标集中每个图像特征点坐标得到距离偏差计算特征图像坐标之间偏差的标准差;
第二确定模块,用于当所述特征图像坐标之间偏差的标准差满足预设第二条件时,则确定所述云台旋转到位。
在本申请第二方面中,云台目标追踪控制装置通过执行云台目标追踪控制方法,能够将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
在本申请第二方面中,作为一种可选的实施方式,所述第四计算模块执行根据所述第二特征点重心图像坐标与所述参考特征点重心图像坐标之间的偏差、所述第二图像特征点坐标集中每个图像特征点坐标的距离偏差计算特征图像坐标之间偏差的标准差的计算式为:
其中,σ表示所述标准差,k表示所述第二图像特征点坐标集中的图像特征点坐标总数,i表示第二图像特征点坐标集中的元素下标,X
在本可选的实施方式中,通过
本申请第三方面公开一种云台控制设备,所述云台控制设备包括:
处理器;以及
存储器,配置用于存储机器可读指令,所述指令在由所述处理器执行时,使得所述处理器执行本申请第一方面所述的云台目标追踪控制方法。
本申请第四方面公开一种存储介质,,所述存储介质存储有计算机程序,所述计算机程序被处理器执行本申请第一方面所述的云台目标追踪控制方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开一种云台目标追踪控制方法的流程示意图;
图2是本申请实施例公开一种云台目标追踪控制装置的结构示意图;
图3是本申请实施例公开的一种云台控制设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一
请参阅图1,图1是本申请实施例公开一种云台目标追踪控制方法的流程示意图,该方法应用于云台控制设备。如图1所示,该方法包括:
101、当云台转动后,获取相机针对追踪目标物生成的第一图像并确定待追中目标物的第一图像特征点坐标集;
102、根据第一图像特征点坐标集确定第一特征点重心图像坐标;
103、计算第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
104、根据第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差,从第一图像特征点坐标集中删除不满足预设条件的图像特征点坐标,并得到第二图像特征点坐标集;
105、根据第二图像特征点坐标集计算第二特征点重心图像坐标;
106、计算第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
107、根据第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差、第二图像特征点坐标集中每个图像特征点坐标得到距离偏差计算特征图像坐标之间偏差的标准差;
108、当特征图像坐标之间偏差的标准差满足预设第二条件时,则确定云台旋转到位。
在本申请实施例中,通过将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
在本申请实施例中,首先通过对摄像机、激光器与安装有云台控制设备的云台进行标定,建立相机与激光器、云台之间的位姿映射关系,其次,通过图像选取追踪目标物,识别跟踪目标物特征点,其中,特征点选择ASIFT特征(ASIFT特征在追踪目标物在视频图像中有较大倾斜角度时仍然可以获得较多匹配特征点),最终,基于相机与激光器、云台之间的位姿映射关系,根据目标物的特征点可计算参考特征点重心图像坐标。
在本申请实施例中,作为一种可选的实施方式,根据第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差、第二图像特征点坐标集中每个图像特征点坐标的距离偏差计算特征图像坐标之间偏差的标准差的计算式为:
其中,σ表示标准差,k表示第二图像特征点坐标集中的图像特征点坐标总数,i表示第二图像特征点坐标集中的元素下标,X
在本可选的实施方式中,通过
在本申请实施例中,作为一种可选的实施方式,第二图像特征点坐标集中每个图像特征点坐标的距离偏差的计算式为:
其中,
其中,(u
在本可选的实施方式汇总,通过公式
在本申请实施例中,作为一种可选的实施方式,第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差的计算式为:
其中,
其中,(U
在本可选的实施方式中,通过
在本申请第一方面中,作为一种可选的实施方式中,在获取相机针对追踪目标物生成的第一图像并确定待追中目标物的第一图像特征点坐标集之前,方法还包括:
获取相机与激光器、云台之间的标定参数,标定参数包括激光器的激光点的在相机中的标定位置;
获取云台转动前,相机针对追踪目标物生成的初始图像并确定待追中目标物的初始图像特征点坐标集;
根据初始图像特征点坐标集计算待追中目标物的初始特征点重心图像坐标;
根据初始特征点重心图像坐标和标定位置确定云台的转动角度。
在本可选的实施方式中,通过初始特征点重心图像坐标和标定位置能够确定云台的转动角度。
在本申请实施例中,作为一种可选的实施方式,在根据初始特征点重心图像坐标和标定位置确定云台的转动角度之后,本申请实施例的方法还包括:
根据云台的转动角度和初始特征点重心图像坐标计算参考特征点重心图像坐标。
在本可选的实施方式中,通过云台的转动角度和初始特征点重心图像坐标能够计算得到参考特征点重心图像坐标。
实施例二
请参阅图2,图2是本申请实施例公开的一种云台目标追踪控制装置的结构示意图,该装置运用于云台控制设备。如图2所示,该装置包括:
获取模块201,用于在当云台转动后,获取相机针对追踪目标物生成的第一图像并确定待追中目标物的第一图像特征点坐标集;
第一确定模块202,用于根据第一图像特征点坐标集确定第一特征点重心图像坐标;
第一计算模块203,用于计算第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
坐标点筛选模块204,用于根据第一特征点重心图像坐标与参考特征点重心图像坐标之间的偏差,从第一图像特征点坐标集中删除不满足预设条件的图像特征点坐标,并得到第二图像特征点坐标集;
第二计算模块205,用于根据第二图像特征点坐标集计算第二特征点重心图像坐标;
第三计算模块206,用于计算第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差;
第四计算模块207,用于根据第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差、第二图像特征点坐标集中每个图像特征点坐标得到距离偏差计算特征图像坐标之间偏差的标准差;
第二确定模块208,用于当特征图像坐标之间偏差的标准差满足预设第二条件时,则确定云台旋转到位。
在本申请实施例中,云台目标追踪控制装置通过执行云台目标追踪控制方法,能够将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
在本申请实施例中,作为一种可选的实施方式,第四计算模块执行根据第二特征点重心图像坐标与参考特征点重心图像坐标之间的偏差、第二图像特征点坐标集中每个图像特征点坐标的距离偏差计算特征图像坐标之间偏差的标准差的计算式为:
其中,σ表示标准差,k表示第二图像特征点坐标集中的图像特征点坐标总数,i表示第二图像特征点坐标集中的元素下标,X
在本可选的实施方式中,通过
需要说明的是,关于云台目标追踪控制装置的其他详细说明,请参阅本申请实施例一的相关说明,本申请对此不作赘述。
实施例三
请参阅图3,图3是本申请实施例公开的一种云台控制设备的结构示意图。如图3所示,该云台控制设备包括:
处理器301;以及
存储器302,配置用于存储机器可读指令,指令在由处理器执行时,使得处理器执行本申请实施例一的云台目标追踪控制方法。
本申请实施例的设备通过执行云台目标追踪控制方法,能够将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
实施例四
本申请实施例公开一种存储介质,该存储介质存储有计算机程序,计算机程序被处理器执行本申请实施例一的云台目标追踪控制方法。
本申请实施例的存储介质通过执行云台目标追踪控制方法,能够将偏差不满足预设条件的图像特征点剔除,进而能够消除匹配图像特征的误差,从而提高云台的控制精度。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
- 云台目标追踪控制方法、装置及云台控制设备、存储介质
- 一种云台控制方法、装置、系统、控制设备及存储介质