光电吊舱视线轴控制方法、装置、光电吊舱及存储介质

技术领域

本发明涉及目标定位技术领域，特别是涉及光电吊舱视线轴控制方法、装置、光电吊舱及存储介质。

背景技术

随着无人机技术的发展和普及，无人机搭载光电吊舱的应用场景也越来越丰富，不但广泛应用于军事领域，现在在民用市场的应用也已经日趋成熟，如安防巡检、目标侦查与跟踪、抢险救灾侦查、远程救援、甚至地质勘查、测绘遥感等领域。与此同时，对控制光电吊舱时的响应速度和精度，也提出了更高的要求。相关技术中，光电吊舱采集到图像后，将图像下传到地面站，地面站操控人员通过观察光电吊舱传回来的画面，从中寻找到目标，发现目标后凝视跟踪，标注目标的像素值。操控人员需要在地面站控制摇杆或者鼠标，通过摇杆摇动的幅度大小或鼠标移动的距离长短，由传感器获得控制信号，再通过上行数据传输链路来控制吊舱的空间转动，最后选取跟踪目标。这样通过控制光电吊舱的转动速度和转动角度来实现选取目标的控制方式，会受到传感器精度和数据链传输延迟的极大影响，从而使得此种控制方式变得非常不利于使用人员进行操作。因此，如何使选取目标变得快速且准确，仍是本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于提供光电吊舱视线轴控制方法、装置、光电吊舱及存储介质，使得对光电吊舱的控制更加快速且方便，使锁定目标更加快速且准确，大大提升了操作者的使用体验。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种光电吊舱视线轴控制方法，所述光电吊舱视线轴控制方法包括：

获取目标像素坐标；

根据所述目标像素坐标，获取光电吊舱的转动弧度和角度；

向光电吊舱发送所述转动弧度和角度。

作为其中一种实施方式，所述获取目标像素坐标，包括：

接收吊舱摄像装置采集的图像数据；

基于待检目标信息识别所述图像数据中的目标；

获取所述目标在所述图像数据中的像素坐标。

作为其中一种实施方式，所述获取目标像素坐标，包括：

将所述像素坐标发送至地面控制站，以便监测人员进行目标确认；

接收到所述地面控制站发送的目标确认消息后，锁定所述目标。

作为其中一种实施方式，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

根据所述目标像素坐标，获取像素偏移量和像素偏移角度。

作为其中一种实施方式，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

获取当前图像的视场角；

根据所述当前图像的视场角，获取图像分辨率。

作为其中一种实施方式，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

根据所述像素偏移量、所述像素偏移角度、所述图像分辨率，获取所述光电吊舱的转动弧度和角度。

作为其中一种实施方式，所述向光电吊舱发送所述转动弧度和角度，包括：

获取所述光电吊舱的转动角速度；

向所述光电吊舱发送所述转动角速度。

第二方面，本发明实施例提供了一种光电吊舱视线轴控制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述光电吊舱视线轴控制方法的步骤。

第三方面，本发明实施例提供了一种光电吊舱，所述光电吊舱包括如第二方面所述的光电吊舱视线轴控制装置。

第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述光电吊舱视线轴控制方法的步骤。

本发明实施例提供的光电吊舱视线轴控制方法、装置、光电吊舱及计算机存储介质，所述光电吊舱视线轴控制方法包括：获取目标像素坐标；根据所述目标像素坐标，获取光电吊舱的转动弧度和角度；向光电吊舱发送所述转动弧度和角度。如此，通过获取目标像素坐标，根据目标像素坐标，计算光电吊舱的转动弧度和角度，并向光电吊舱发送包含转动弧度和角度的控制指令，以使光电吊舱执行所述控制指令。在提高了目标锁定速度的同时，也提高了目标锁定的精度，从而使得对光电吊舱的控制更加快速且方便，使锁定目标更加快速且准确，大大提升了操作者的使用体验。

附图说明

图1为本发明实施例提供的一种光电吊舱视线轴控制方法的流程示意图；

图2为本发明实施例提供的一种光电吊舱视线轴控制方法的转动角度示意图；

图3为本发明实施例提供的一种光电吊舱视线轴控制装置的结构示意图。

具体实施方式

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本发明实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，采用了诸如S101、S102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S102后执行S101等，但这些均应在本发明的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，为本发明实施例提供的一种光电吊舱视线轴控制方法，该光电吊舱视线轴控制方法可以由本发明实施例提供的一种光电吊舱视线轴控制装置来执行，该光电吊舱视线轴控制装置可以采用软件和/或硬件的方式来实现，所述光电吊舱视线轴控制方法包括以下步骤：

步骤S101：获取目标像素坐标；

具体地，地面控制站识别图像中的特征物体，一般情况下，跟踪的目标为人或者各种车辆，系统直接预选取可能会锁定的目标，实时更新这些预选目标的参数信息。地面控制站操作人员通过点击选取图像上的目标，地面控制站即可获得目标在图像平面上的像素坐标，此时飞控计算机得到目标像素坐标，然后将获得的目标像素坐标由数传模块通过上行数据链发送至机载计算机(此时的吊舱不会进行动作)。

在一实施方式中，所述获取目标像素坐标，包括：

接收吊舱摄像装置采集的图像数据；

基于待检目标信息识别所述图像数据中的目标；

获取所述目标在所述图像数据中的像素坐标。

这里，在无人机飞行过程中，吊舱摄像装置可以实时拍摄视频或图像。其中，可以将要检测或者巡检的目标或类型输入到目标检测模块，目标检测模块接收到图像数据后，对每一帧数据进行检测，或者按照一定的频率抽帧，并对抽取的数据进行检测，识别图像中是否存在要检测的目标。随着无人机推进，当目标出现在一帧图像上时，目标检测模块会检测到该目标的存在，并可以标注该目标在该帧图像中的位置。光电吊舱可以将图像数据传输至地面站，由操作员寻找目标，从而获取目标在图像数据中的像素坐标；或者在接收到图像数据后，光电吊舱自主识别图像数据中的目标，并获取目标在图像数据中的坐标位置。

在一实施方式中，所述获取目标像素坐标，包括：

将所述像素坐标发送至地面控制站，以便监测人员进行目标确认；

接收到所述地面控制站发送的目标确认消息后，锁定所述目标。

这里，接收到吊舱摄像装置采集的图像数据后，确定目标在图像数据中的像素坐标，将像素坐标发送至地面控制站，以便监测人员进行目标确认。对于光电吊舱目标检测的实际需求来说，若仅通过自主识别，识别准确率还是较低的，因此，还可以增加人为识别过程，对图像中的目标进行标注后，将图像或者目标在图像数据中的坐标位置传输至地面控制站，提示地面监测人员进行判别确认，若监测人员确认要追踪的目标后，则点击确认，此时确认信号会传递给目标跟踪模块进行目标跟踪。光电吊舱接收到地面控制站发送的目标确认消息后，锁定目标。

步骤S102：根据所述目标像素坐标，获取光电吊舱的转动弧度和角度；

具体地，机载计算机接收到由数传模块通过上行数据链发送的目标像素坐标后，将接收到的目标像素坐标和默认的图像中心像素坐标进行计算，得出光电吊舱的转动弧度和角度。如此，机载计算机在短时间内计算出光电吊舱的运行指令，

在一实施方式中，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

根据所述目标像素坐标，获取像素偏移量和像素偏移角度。

这里，机载计算机将接收到的目标像素坐标和默认的图像中心像素坐标进行计算，可以计算出像素偏移量和像素偏移角度。其中，默认的图像中心像素坐标为原点(0，0)，将图像分为四个象限，即二维坐标系。通过距离公式和三角函数可以计算出像素偏移量和像素偏移角度。

在一实施方式中，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

获取当前图像的视场角；

根据所述当前图像的视场角，获取图像分辨率。

需要说明的是，视场角为在显示系统中显示器边缘与观察点(眼睛)连线的夹角，又称“视场”，包括水平视场角和垂直视场角。机载计算机根据当前图像的视场角及计算机内置函数关系式可计算出图像分辨率。

在一实施方式中，所述根据所述目标像素坐标，获取光电吊舱的转动弧度和角度，包括：

根据所述像素偏移量、所述像素偏移角度、所述图像分辨率，获取所述光电吊舱的转动弧度和角度。

这里，如图2所示，以二维平面角AOB举例，已知视场角θ、图像分辨率a，AB距离x，O到AB的距离为y，偏移量为b(AB中点为其中一端点)，求转动角度

步骤S103：向光电吊舱发送所述转动弧度和角度。

具体地，通过步骤S102获得光电吊舱的转动弧度和角度后，立即向光电吊舱发送包括转动弧度和角度的控制指令，光电吊舱执行控制指令指向目标点，即可快速且准确地锁定目标。如此，将光电吊舱的转动弧度和角度通过机载计算机直接向光电吊舱发送，既规避了操作指令在上行数据链上的延迟，又避免了传感器带来的精度误差，从而实现了快速且准确地锁定目标。

综上，上述实施例提供的光电吊舱视线轴控制方法中，机载计算机获取目标像素坐标后，根据目标像素坐标，计算光电吊舱的转动弧度和角度，并向光电吊舱发送包含转动弧度和角度的控制指令，以使光电吊舱执行所述控制指令。在提高了目标锁定速度的同时，也提高了目标锁定的精度，从而使得对光电吊舱的控制更加快速且方便，使锁定目标更加快速且准确，大大提升了操作者的使用体验。

在一实施方式中，所述向光电吊舱发送所述转动弧度和角度，包括：

获取所述光电吊舱的转动角速度；

向所述光电吊舱发送所述转动角速度。

可以理解地，转动角速度用来控制光电吊舱的转动快慢，可根据实际应用需求预先进行设定。

基于前述实施例相同的发明构思，本发明实施例提供了一种光电吊舱视线轴控制装置，如图3所示，该光电吊舱视线轴控制装置包括：处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111；其中，图3中示意的处理器110并非用于指代处理器110的个数为一个，而是仅用于指代处理器110相对其他器件的位置关系，在实际应用中，处理器110的个数可以为一个或多个；同样，图3中示意的存储器111也是同样的含义，即仅用于指代存储器111相对其他器件的位置关系，在实际应用中，存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时，实现所述光电吊舱视线轴控制方法。

该光电吊舱视线轴控制装置还可包括：至少一个网络接口112。该光电吊舱视线轴控制装置中的各个组件通过总线系统113耦合在一起。可理解，总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统113。

其中，存储器111可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器111用于存储各种类型的数据以支持该光电吊舱视线轴控制装置的操作。这些数据的示例包括：用于在该光电吊舱视线轴控制装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

基于前述实施例相同的发明构思，本实施例还提供了一种光电吊舱，所述光电吊舱包括如上所述的光电吊舱视线轴控制装置。

基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现上述所述的光电吊舱视线轴控制方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。