目标跟踪方法、设备、系统及存储介质

技术领域

本申请涉及目标检测与跟踪技术领域，尤其涉及一种目标跟踪方法、设备、系统及存储介质。

背景技术

目标检测与跟踪技术在现代安防、医学、民用等领域起着日益重要的作用。现有目标检测与跟踪技术中，利用摄像头对物体进行拍摄，再利用机器学习技术对图像中的物体进行目标识别，之后，在摄像头的采集视野内对移动对象进行跟踪。

但是，由于摄像头的朝向固定，也就导致摄像头对移动对象进行跟踪的范围比较局限。

发明内容

本申请的多个方面提供一种目标跟踪方法、设备、系统及存储介质，用以实现对移动目标的跟踪。

本申请实施例提供一种跟踪设备，包括：

机体，用于安装多轴云台；

多轴云台，用于搭载图像采集设备，并能够带动所述图像采集设备转动；所述图像采集设备用于采集基准图像对应的第一投影图像；所述基准图像由投影模块向外投射，且所述基准图像具有预定图案；所述第一投影图像包括所述预定图案对应的形变图案；所述形变图案基于目标对象产生；

控制模块，电连接于所述多轴云台，用于根据所述图像采集设备已采集到的第一投影图像，调整所述多轴云台的工作状态，以带动所述图像采集设备对所述形变图案进行跟踪采集。

本申请实施例还提供一种目标跟踪方法，包括：

控制投影模块向外投射基准图像；所述基准图像具有预定图案；

控制搭载于多轴云台的图像采集设备采集所述基准图像对应的第一投影图像；所述第一投影图像包括：所述预定图案的形变图案；所述形变图案基于目标对象产生；

根据所述图像采集设备已采集到的第一投影图像，调整所述多轴云台的工作状态，以带动所述图像采集设备对所述形变图案进行跟踪采集。

本申请实施例还提供一种目标跟踪系统，包括：投影模块，跟踪设备以及设置于所述跟踪设备所处物理环境中的投影面；

所述投影模块，用于向投影面投射基准图像，所述基准图像具有预定图案；

所述跟踪设备包括：机体，用于安装多轴云台；

多轴云台，用于搭载图像采集设备，并能够带动所述图像采集设备转动；所述图像采集设备用于采集基准图像在所述投影面上对应的第一投影图像，所述第一投影图像包括所述预定图案对应的形变图案；所述形变图案基于目标对象产生；

控制模块，电连接于所述多轴云台，用于根据所述图像采集设备已采集到的第一投影图像，调整所述多轴云台的工作状态，以带动所述图像采集设备对所述形变图案进行跟踪采集。

本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述目标跟踪方法中的步骤。

本申请实施例提供的目标跟踪方法、设备、系统及存储介质，可实现对目标对象的跟踪，有助于扩大对目标对象的跟踪范围。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请实施例提供的跟踪设备的结构示意图；

图1b和图1c为本申请实施例提供的跟踪设备的结构框图；

图1d为本申请实施例提供的数字微镜器件的工作原理示意图；

图1e为本申请实施例提供的神经网络模型的训练过程示意图；

图2a为本申请实施例提供的目标跟踪系统的结构示意图；

图2b为本申请实施例提供的目标跟踪系统的工作过程示意图；

图3为本申请实施例提供的目标跟踪方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有摄像头的朝向固定，导致摄像头对移动对象进行跟踪的范围比较局限。针对该技术问题，在本申请一些实施例中提供一种跟踪设备。该跟踪设备包括：机体以及设置于机体上的多轴云台。机体还可安装投影模块，多轴云台可搭载图像采集设备。投影模块可向外投射具有预定图案的基准图像。基准图像的投影图像会因为目标对象出现在投影模块的投影光线上而产生形变，且产生的形变图案跟随目标对象的移动而移动。在本实施例中，图像采集设备可采集产生形变图案的投影图像，控制模块可根据图像采集设备已采集到的投影图像，调整多轴云台的工作状态，来调整图像采集设备的位姿，使图像采集设备可对形变图案进行跟踪采集。由于形变图案是由于目标对象引起的，因此，对形变图案进行跟踪采集可实现对目标对象的跟踪，而且图像采集设备的位姿可调，有助于扩大对目标对象的跟踪范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1a为本申请实施例提供的跟踪设备的结构示意图。如图1a所示，跟踪设备包括：机体11，多轴云台13，和控制模块15。机体11，用于安装多轴云台；多轴云台13，用于搭载图像采集设备14，并能够带动图像采集设备14转动；其中，图像采集设备14用于采集基准图像对应的第一投影图像；基准图像由投影模块向外投射，并且基准图像具有预定图案。第一投影图像包括预定图案对应的形变图案；形变图案基于目标对象产生；控制模块15，电连接于所述多轴云台13，用于根据图像采集设备14已采集到的第一投影图像，调整多轴云台13的工作状态，以带动图像采集设备14对形变图案进行跟踪采集。

在本实施例中，不限定投影模块12与跟踪设备的所属关系。在一些实施例中，投影模块12为独立的投影设备，且设置于跟踪设备所处的物理环境中。投影模块12与控制模块15通信连接。控制模块15可指示投影模块12向外投射基准图像，该基准图像具有预定图案。

在另一实施例中，机体11可用于安装投影模块12和多轴云台13。图1a中仅以投影模块12安装于机体11上进行图示。投影模块12可固定在机体11上。可选地，投影模块12可以可拆卸的方式固定于机体11上。相应地，机体11上设置有固定件，该固定件用于固定投影模块12。可选地，机体11上的固定件可以为夹具等，对于夹具来说，可不在投影模块12上设置对应的固定件，即可将投影模块12固定在机体11上。

或者，在一些实施例中，也可利用机体11上的固定件与投影模块12上的固定件相互配合，将投影模块12固定于机体11上。例如，机体11上的固定件与投影模块12上的固定件可组合实现为卡扣或锁扣等，或者，机体11上的固定件与投影模块12上的固定件可实现为凹点和凸缘等。可选地，可在机体11上设置若干凹点，并在投影模块12上设置相应数量的凸缘，或者，也可在机体11上设置若干凸缘，并在投影模块12上设置相应数量的凹点等等。

在本实施例中，多轴云台13与机体11转动连接。多轴云台13是指具有多个转轴的云台。多个是指2个或2个以上。例如，多轴云台13可以为双轴云台、三轴云台、四轴云台或者更多轴云台等等。在本实施例中，多轴云台13用于搭载图像采集设备14。相应地，多轴云台13上设置有固定图像采集设备14的固定件。可选地，多轴云台13上的固定件可以为夹具等，对于夹具来说，可不在图像采集设备14上设置对应的固定件，即可将图像采集设备14固定在机体上。

或者，在一些实施例中，也可利用多轴云台13上的固定件与图像采集设备14上的固定件相互配合，将图像采集设备14固定于多轴云台13上。例如，多轴云台13上的固定件与图像采集设备14上的固定件可组合实现为卡扣或锁扣等，或者，多轴云台13上的固定件与图像采集设备14上的固定件可实现为凹点和凸缘等。可选地，可在多轴云台13上设置若干凹点，并在图像采集设备14上设置相应数量的凸缘，或者，也可在多轴云台13上设置若干凸缘，并在图像采集设备14上设置相应数量的凹点等等。

在本实施例中，在图像采集设备14搭载于多轴云台13上的情况下，图像采集设备14可随多轴云台13的转动而转动，即多轴云台13可带动图像采集设备14转动。其中，跟踪设备在出厂时，其多轴云台13上可已搭载图像采集设备14；或者，跟踪在出厂时，其多轴云台13上未搭载图像采集设备14，由用户在使用时将图像采集设备14固定于多轴云台13上。

多轴云台13可绕其转轴进行转动，可转动的方向由多轴云台13包含的转轴的转动方向决定。例如，对于三轴云台来说，包括：俯仰、翻滚、偏航等三个方向的转轴，因此，三轴云台可实现俯仰转动、翻滚转动和偏航转动。由于图像采集设备14搭载于三轴云台上，图像采集设备14也就可随三轴云台的转动，实现俯仰转动、翻滚转动和偏航转动。

在本实施例中，不限定多轴云台13可搭载的图像采集设备14的实现形式。图像采集设备14可为任意可进行图像采集的设备。例如，图像采集设备14可为具有拍照功能的手机、平板电脑、可穿戴设备等终端设备，也可为相机、摄影机或摄像头等。其中图像采集设备14的实现形式不同，多轴云台13上的固定件的结构大小可适应性调整。

在本实施例中，跟踪设备还包括：控制模块15。在本申请实施例中，如图1b所示，控制模块15可包括处理器15a、存储器以及处理器15a的外围电路等等。其中，处理器可以为中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)或微控制单元(Microcontroller Unit，MCU)；也可以为现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程阵列逻辑器件(Programmable Array Logic，PAL)、通用阵列逻辑器件(General Array Logic，GAL)、复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)等可编程器件；或者为先进精简指令集(RISC)处理器(Advanced RISC Machines，ARM)或系统芯片(System on Chip，SOC)等等，但不限于此。

存储器可以由任何类型的易失性或非易失性存储设备，或者它们的组合实现，如内存条15b1和15b2，静态随机存取存储器(SRAM)15b3，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。

在本实施例中，如图1b和图1c所示，控制模块15可指示投影模块11向外投射基准图像，该基准图像具有预定图案。其中，预定图案可以为任何形式的图案。例如预定图案可以为条纹图案、编码图案、预定的字符图案等等，但不限于此。

在一些实施例中，跟踪设备预置有预定图案。对于控制模块15，可响应于针对跟踪设备的开机操作，从存储器中获取预定图案，并指示投影模块11向外投射具有该预定图案的基准图像。

在另一些实施例中，跟踪设备预置有图案生成规则。对于控制模块15，可响应于针对跟踪设备的开机操作，按照预设的图案生成规则，生成预定图案。进一步，控制模块15可指示投影模块11向外投射具有该预定图案的基准图像。

可选地，控制模块15可与投影模块12通信连接。在本实施例中，控制模块15与投影模块12之间可以通过移动网络通信连接，相应地，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种。可选地，不同物理机之间也可以通过蓝牙、WiFi或红外线等方式通信连接。

相应地，控制模块15可通过指令指示投影模块12向外投射具有预定图案的基准图像。可选地，控制模块15可向投影模块12发送投影指令，该投影指令用于指示投影模块12向外投射具有预定图案的基准图像。相应地，投影模块12在接收到投影指令的情况下，向外投射具有预定图案的基准图像。

或者，控制模块15电连接于投影模块12。相应地，控制模块15可通过电信号指示投影模块12向外投射具有预定图案的基准图像。其中电信号可为高电平或低电平信号。可选地，控制模块15可向投影模块12输出电信号，该电信号用于指示投影模块12向外投射具有预定图案的基准图像。相应地，投影模块12在接收到电信号的情况下，向外投射具有预定图案的基准图像。

无论控制模块15与投影模块12采用何种方式连接，投影模块12均可向外投射基准图像，该基准图像具有上述预定图案。在本申请实施例中，不限定投影模块12的具体实现形式。可选地，投影模块12可为数字光处理(Digital Light Processing，DLP)投影设备等。下面以投影模块12为DLP投影设备为例，对投影模块12的结构和工作原理进行示例性说明。

如图1b所示，DLP投影设备包括：光源12a、色轮12b、数字微镜器件(DigitalMicromirror Device，DMD)12c以及投影透镜12d。可选地，色轮12b可为六段色轮等。其中，所述色轮12b光连接于所述光源12a与DMD器件12c之间；DMD器件12c与所述投影透镜12d光连接；且所述色轮12b和DMD器件12c还分别与所述控制模块15电连接。

其中，光源12a发出的光入射至色轮12b。色轮12b在所述控制模块15的控制下，将接收到的光过滤为单色光，并将单色光投射至DMD器件12c。DMD器件12c在控制模块15的控制下，利用单色光调制出上述预定图案，并经投影透镜12d向外投射具有该预定图案的基准图像。

可选地，如图1b所示，色轮12b可包括：聚光透镜12b1、滤光片12b2以及整形透镜12b3。其中，滤光片12b2光连接于聚光透镜12b1与整形透镜12b3之间。聚光透镜12b1与光源12a光连接，整形透镜12b3与DMD器件12c光连接。进一步，控制模块15还与滤光片12b2电连接。其中，色轮12b在控制模块15的控制下，将接收到的光过滤为单色光，并将单色光投射至DMD器件12c。

当光源12a发出的光入射至色轮12b中的聚光透镜12b1时，控制模块15控制色轮12b中的滤光片12b2将接收到的光分为多种单色光，并通过色轮12b中的整形透镜12b3传输至DMD器件12c。DMD器件12c在控制模块15的控制下，利用单色光调制出上述预定图案，并经投影透镜12d向外投射具有该预定图案的基准图像。

其中，如图1d所示，DMD器件12c是一种光电转换的微机电系统。DMD器件12c中每一个微镜和相关结构控制一个像素。如图1d所示，DMD器件12c存在3种工作状态。(1)当数字微镜转动0°时，即为图1d中标号(1)所示的状态，为平态。(2)当微镜转动到正的设定角度(如+12°)时，即为图1d中标号(2)所示的状态，表示开状态。在该状态下，光源发出的光入射至数字微镜镜面，并通过数字微镜镜面向投影面反射等，投影面显示为“亮状态”。(3)当微镜转动到负的设定角度(如-12°)时，即图1d中标号(3)所示的状态，表示关状态。在该状态下，光源发出的光入射至数字微镜镜面，并通过数字微镜镜面反射至投影面之外，投影面显示为“暗状态”。基于图1d所示的DMD器件12c的工作原理，控制模块15可通过DMD器件12c中的SRAM，通过DMD器件12c中的两侧寻址电极和铰链控制数字微镜翻转。可选地，对于两侧寻址电极，可通过偏置电压转化成力，控制铰链转动，进而带动数字微镜翻转。相应地，对于数字微镜翻转的角度可通过偏置电压的大小进行调节。

在实际应用中，在投影模块12向外投射基准图像的情况下，若未有物体出现在投影模块12的投影光线上，则基准图像在投影面上所呈现的投影图像也具有预定图案。若有物体出现在投影模块12的投影光线上，则预定图案对应的投影图像为发生形变，为了便于描述，在本申请实施例中，将预定图案对应的投影图像发生形变所形成的图案，定义为形变图案。其中，形变图案是基于出现在投影模块12的投影光线上的物体产生的，且形变图案会随着物体的移动而移动。基于此，在本申请实施例中，可基于形变图案实现对出现在投影模块12的投影光线上的物体进行跟踪。为了便于描述，将出现在投影模块12的投影光线上的物体，定义为目标对象A。目标对象A可为移动对象。

基于上述分析，在本实施例中，图像采集设备14可采集基准图像对应的投影图像。基准图像对应的投影图像可包括：基准图像直接投影至某一投影面所形成的投影图像，即在没有物体出现在投影模块12的投影光线的情况下，基准图像直接投影至某一投影面上所形成的投影图像。对于无物体出现在投影模块12的投影光线的情况，投影面可以为投影屏，例如投影幕布等；也可以为当前所处环境中的其它物体表面，例如墙壁、地面或家具表面等等，但不限于此。图1a中仅以投影面为投影幕布进行图示，但不构成限定。

当然，基准图像对应的投影图像也可包括：在有物体(目标对象A)出现在投影模块12的投影光线的情况下，投影模块12的投影光线经过目标对象A而将基准图像投射在某一投影面上形成的投影图像。对于有目标对象A出现在投影模块12的投影光线的情况，投影面16可以为目标对象A的表面，也可以为投影面16可以为投影屏，例如投影幕布等；或者为当前所处环境中的其它物体表面，例如墙壁、地面或家具表面等等，但不限于此。图1a中仅以投影面为投影幕布进行图示，但不构成限定。

在本实施例中，由于投影面可为目标对象的表面，或者跟踪设备当前所处环境中的其它物体表面。因此，相较于现有基于LCD技术进行3D视觉检测跟踪的方案，本申请实施例提供的跟踪设备具备更轻巧的体积、更好的可维护性。这是因为现有技术中，由于LCD液晶板上晶体管不具备透光性，因此像素之间存在间隙，并且衍生出暗部细节差的缺点。另一方面，采用LCD技术设计的设备体积大，且易受环境粉尘干扰，所以现有基于基于LCD技术进行3D视觉检测跟踪所使用的设备不易维护。而本申请实施例中，可将目标对象的表面，或者跟踪设备当前所处环境中的其它物体表面作为投影面，不仅可降低设备成本，而且无需对投影面进行维护。另一方面，在本申请实施例得到的投影图像的像素之间不存在间隙，有助于提高目标检测的准确性。

在下述实施例中，为了便于描述和区分，将有物体(目标对象A)出现在投影模块12的投影光线的情况下，投影模块12的投影光线经过目标对象A而将基准图像投射在某一投影面上形成的投影图像，定义为第一投影图像；并将在没有物体出现在投影模块12的投影光线的情况下，基准图像直接投影至某一投影面上所形成的投影图像，定位为第二投影图像。其中，第一投影图像包含上述形变图案，第二投影图像不包含形变图案。因此，第一投影图像可以反应目标对象A的信息，而第二投影图像无法反应目标对象A的信息，也就无法基于第二投影图像对目标对象A进行跟踪。因此，在下述实施例中，重点以控制模块15基于图像采集设备14采集到的第一投影图像，实现对目标对象A的跟踪过程进行示例性说明。

如图1b和图1c所示，控制模块15与图像采集设备14通信连接，控制模块15与多轴云台13电连接。其中，控制模块15与图像采集设备14的通信连接方式可参见上述控制模块15与投影模块12的通信连接方式，在此不再赘述。

在本实施例中，图像采集设备14可将采集到的第一投影图像提供给控制模块15。相应地，控制模块15可根据图像采集设备14已采集到的第一投影图像，调整多轴云台13的工作状态。多轴云台13在工作状态改变时，多轴云台13可进行转动。多轴云台13转动可带动图像采集设备14进行转动，进而可调整图像采集设备14的位姿，使图像采集设备14可对形变图案进行跟踪采集。其中，图像采集设备14的位姿包括图像采集设备14的位置和朝向。由于形变图案是由目标对象A引起的，因此对形变图案进行跟踪采集，可实现对目标对象A的跟踪。而且，多轴云台13带动图像采集设备14转动可调整图像采集设备14的位姿，有助于扩大对目标对象A的跟踪范围。

在本申请实施例中，对多轴云台13的工作状态进行调整包括：对多轴云台13在至少一个方向上的状态进行调整。例如，对于三轴云台来说，可使调整三轴云台至少在俯仰、翻滚和偏航中至少一个方向进行转动。相应地，图像采集设备14也就可随三轴云台的转动，实现俯仰转动、翻滚转动和偏航中至少一个方向上的转动。对于多轴云台13来说，其调整后的工作状态，可将图像采集设备14的位姿调整为可以采集后续时刻由目标对象A引起的形变图案。

在本申请实施例中，为了实现对目标对象A引起的形变图案的跟踪采集，图像采集设备14可采用具有高采样率的图像采集设备。优选地，图像采集设备14在目标对象A在投影模块12的投射范围内移动过程中，可采集到多帧包含形变图案的第一投影图像。相应地，图像采集设备14的采样周期小于目标对象A在投影模块12的投射范围内的移动时间。即投影模块12的投影范围内的移动时间可以为图像采集设备14的采样周期Q倍，Q≥2。在本实施例中，不限定Q的具体取值。例如，Q可以为3、8、10、20或30.5等等。这样，图像采集设备14可采集到多帧第一投影图像。

在本申请实施例中，不限定目标对象A的实现形态。在一些实施例中，目标对象A可以为出现在投影模块12的投影光线上的任何移动对象。例如，跟踪设备可实现为手持式云台，该手持式云台用于搭载图像采集设备14，如手持式手机支架、手持式相机支架或手持式摄像机支架等。用户可利用手持式云台对出现在投影模块12的投影光线上的任何移动物体进行跟踪。基于此，图像采集设备15在采集到包含目标对象A引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像，并将该第二投影图像缓存在控制模块15的内存中。进一步，控制模块15可根据图像采集设备14当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则确定目标对象A进入投影模块的投射范围内；并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，控制模块15开始对目标对象A进行跟踪，即开始对形变图案进行跟踪采集。其中，关于控制模块15对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

在另一些实施例中，出现在投影模块12的投影光线上的物体为指定对象或者指定类型的对象的时候，才会对该物体进行跟踪。例如，在安防领域，在出现在投影模块12的投影光线上的物体为人的时候，才将该物体作为目标对象A进行跟踪。在该应用场景中，跟踪设备可实现为监控设备，监控设备可部署在监控区域中。又例如，在生物检测领域，在出现在投影模块12的投影光线上的物体为指定类型的细胞的时候，才将该物体作为目标对象A进行跟踪；等等。在该应用场景中，跟踪设备可实现为显微镜等医学检测类设备等。

基于上述分析，图像采集设备14在采集到包含目标对象A引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像，并将该第二投影图像缓存在控制模块15的内存中。进一步，控制模块15可根据图像采集设备14当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则将第三投影图像输入神经网络模型中。之后，在神经网络模型中，计算第三投影图像包含的形变图案的对象类型；若第三投影图像包含的形变图案的对象类型为指定类型，则确定目标对象A进入投影模块的投射范围内，并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，控制模块15开始对目标对象A进行跟踪，即开始对形变图案进行跟踪采集。其中，关于控制模块15对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

上述利用投影图像中的形变图案进行检测，确定目标对象所属的对象类型，相较于利用图像采集设备拍摄到的物体的图像，来对物体进行识别，可降低图像识别的工作量。另一方面，由于直接利用普通单目图像采集设备拍摄到的物体的图像无法识别物体的三维特征，如果利用深度摄像头或双目摄像头来对物体进行拍摄来获取物体的三维特征，则无疑会增加图像采集设备的成本。

在本申请实施例中，利用投影图像中的形变图案进行目标检测，形变图案可包含深度信息，可用于测量目标对象的三维特征。因此，本申请实施例中，利用投影图像中的形变图案，可测量目标对象的三维特征，有助于降低图像采集设备的要求，从而有助于降低图像采集设备的成本。

值得说明的是，在本申请实施例中，在利用神经网络模型分析第三投影图像包含的形变图案的对象类型之前，还需对神经网络模型进行训练。

在本实施例中，不限定神经网络模型的模型结构。可选地，神经网络模型可包括：卷积层、池化层以及激活函数层。激活函数层中可采用Sigmoid函数、tanh函数或Relu函数。可选地，卷积层和池化层的数量相等。在本实施例中，不限定卷积层和池化层的具体数量。例如，卷积层和池化层的数量可以为2个、3个或4个甚至更多。

在本申请实施例中，可预设初始神经网络模型的网络架构。可选地，初始神经网络模型的网络架构包括：卷积层、池化层、这些卷积层和池化层的数量和设置顺序以及每个卷积层和池化层的超参数。其中，卷积层的超参数包括：卷积核的大小K(kernel size)、特征图边缘扩充的大小P(padding size)和步幅大小S(stride size)等。池化层的超参数为池化操作核的大小K和步幅大小S等。激活函数层可为Relu函数：

对于神经网络模型，每个卷积层的输出可表示为：

在本实施例中，对神经网络模型进行训练的过程可理解为对初始神经网络模型中的参数w

其中，损失函数是根据模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率确定的。其中，指定对象属于指定类型的实际概率可为1，即100％。可选地，损失函数可以为模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率的差值的绝对值。

为了更清楚地说明上述神经网络模型训练过程，下面结合图1d对本实施例提供的模型训练过程进行示例性说明。如图1e所示，模型训练过程的主要步骤如下：

S1：将样本图像作为初始神经网络模型的输入图像，输入初始神经网络模型。

S2：利用初始神经网络模型，计算样本图像包含的形变图案在每个对象类型下的概率。

S3：将样本图像包含的形变图案在每个对象类型下的概率以及样本图像包含的形变图案在每个对象类型下的实际概率分别带入损失函数，计算损失函数值。其中，神经网络模型输出的对象类型的种类和数量可由样本图像的丰富度进行确定。

S4：判断本次计算出的损失函数值是否小于或等于最近W次计算出的损失函数值；若判断结果为是，则执行步骤S5；若判断结果为否，则执行步骤S6。其中，W为大于或等于1的整数，其具体取值可进行灵活设备。例如，W可等于5、8、10等，但不限于此。

S5：沿初始神经网络模型中的参数的负梯度方向调整神经网络模型中的参数，并将调整后的神经网络模型作为初始神经网络模型，并返回执行步骤S1。

S6：将上述最近W次中损失函数值最小时的神经网络模型作为最终的神经网络模型。即，将上述最近W次中损失函数值最小时的每层的权重和偏置，作为最终的权重和偏置。

进一步，在确定目标对象A出现在投影模块13的投射范围内的情况下，可对目标对象A进行跟踪，即对目标对象A引起的形变图案进行跟踪采集。为了实现图像采集设备14对形变图案的跟踪采集，即实现对目标对象A的跟踪，在本实施例中，控制模块15可根据图像采集设备14已采集到的第一投影图像，调整多轴云台13的工作状态，以使多轴云台13带动图像采集设备14对形变图案进行跟踪采集。

在一些实施例中，可在控制模块15中设置调整周期，并启动一定时器或计数器对调整周期进行计时，每当调整周期到达时，控制模块15可根据图像采集设备15在当前调整周期采集到的第一投影图像，调整多轴云台13的工作状态，以带动图像采集设备14在下一调整周期对形变图案进行跟踪采集。即对于多轴云台13来说，其调整后的工作状态可使图像采集设备14采集到目标对象A在下一调整周期引起的形变图案。

进一步，控制模块15可根据图像采集设备14在当前调整周期采集到的第一投影图像，计算目标对象A的运动信息。其中，目标对象A的运动信息可包括：目标对象A的位移信息、运动速度、运动方向以及加速度信息中的至少一种。

可选地，控制模块15可计算目标投影图像与当前调整周期对应的初始投影图像的像素差异。其中，当前调整周期对应的初始投影图像可为图像采集设备14在当前调整周期采集到的第一帧第一投影图像，也可为图像采集设备14在当前调整周期最初采集到的前N帧第一投影图像的像素平均值组成的投影图像，其中N≥2，且为整数。目标投影图像则为图像采集设备14在当前调整周期采集到的除初始投影图像之外的其它投影图像。目标投影图像的数量可以1帧或多帧。多帧是指2帧或2帧以上。进一步，控制模块15可根据目标投影图像与初始投影图像的像素差异以及图像采集设备14在当前调整周期的位姿，计算目标对象A的运动信息。

在目标投影图像的数量为多帧的情况下，控制模块15可根据相邻两帧目标投影图像与当前调整周期对应的初始投影图像的像素差异，以及图像采集设备在当前调整周期的位姿，计算目标对象A的位移变化；并根据目标对象A的位移变化以及图像采集设备14的采样周期，计算目标对象A的运动速度和/或加速度。

对于控制模块15来说，可将图像采集设备14在当前调整周期采集到的初始投影图像，缓存在内存条中，并将初始投影图像记为I

进一步，控制模块15可根据目标对象A的运动信息，调整多轴云台的工作状态，以带动图像采集设备14在下一调整周期对形变图案进行跟踪采集。即对于多轴云台13来说，其调整后的工作状态可使图像采集设备14采集到目标对象A在下一调整周期引起的形变图案。

进一步，控制模块15可根据目标对象A的运动信息，计算多轴云台13中的电机的目标运动参数值，并将多轴云台13中的电机的运动参数调整为目标运动参数值，从而可调整多轴云台13的工作状态。对于多轴云台13来说，其调整后的工作状态可使图像采集设备14采集到目标对象A在下一调整周期引起的形变图案。

对于多轴云台13中的电机来说，其运动参数可包括：多轴云台13中的电机的加速度、角加速度以及转速中的至少一种。相应地，多轴云台13中的电机的目标运动参数值可包括：多轴云台13中的电机的目标加速度、目标加速度以及目标转速中的至少一种。

进一步，控制模块15可根据目标对象A的运动信息，预测目标对象A在下一调整周期移动到的位置；并根据目标对象A在下一调整周期移动到的位置，计算产生形变图案的位置；进一步，控制模块15可根据产生形变图案的位置，计算图像采集设备14在下一调整周期对应的位姿；并根据图像采集设备14在下一调整周期对应的位姿以及图像采集设备14在当前调整周期的位姿，计算多轴云台13中的电机的目标运动参数值。进一步，控制模块15可控制多轴云台13将其电机的运动参数调整为目标运动参数值，从而调整多轴云台13的工作状态，使其调整后的工作状态能够使图像采集设备14对目标对象A在下一调整周期引起的形变图案进行跟踪采集，从而实现在下一调整周期对目标对象A进行跟踪。

需要说明的是，如图1b所示，本申请实施例提供的跟踪设备还可包括：电源组件17和散热组件18等等。不同的跟踪设备所包含的这些基本组件以及基本组件的构成均会有所不同，本申请实施例列举的仅是部分示例。

除了上述跟踪设备之外，本申请实施例还提供目标跟踪系统。如图2a所示，该系统包括：投影模块22，跟踪设备S20和设置于跟踪设备S20所处物理环境中的投影面S21。投影模块22，用于向投影面投射基准图像，所述基准图像具有预定图案。

在本实施例中，如图2a所示，跟踪设备包括：机体21，多轴云台23，和控制模块25。机体21，用于安装多轴云台23。多轴云台23，用于搭载图像采集设备24，并能够带动图像采集设备24转动。其中，图像采集设备24用于采集基准图像对应的第一投影图像。基准图像由投影模块22向外投射，并且基准图像具有预定图案。第一投影图像包括所述预定图案对应的形变图案。形变图案基于目标对象产生。控制模块25，电连接于多轴云台23，用于根据图像采集设备24已采集到的第一投影图像，调整多轴云台23的工作状态，以带动所述图像采集设备对所述形变图案进行跟踪采集。

在本实施例中，不限定投影模块22与跟踪设备的所属关系。在一些实施例中，投影模块22为独立的投影设备，且设置于跟踪设备所处的物理环境中。投影模块22与控制模块15通信连接。控制模块25可指示投影模块22向外投射基准图像，该基准图像具有预定图案。

在另一实施例中，机体21可用于安装投影模块22和多轴云台23。投影模块22可固定在机体21上。关于投影模块22在机体21上的固定方式，可参见上述图1a的相关描述内容，在此不再赘述。

在本实施例中，多轴云台23与机体21转动连接。多轴云台23是指具有多个转轴的云台。多个是指2个或2个以上。在本实施例中，多轴云台23用于搭载图像采集设备24。关于多轴云台13搭载图像采集设备24的方式，可参见上述图1a中的相关描述，在此不再赘述。

在本实施例中，在图像采集设备24搭载于多轴云台23上的情况下，图像采集设备24可随多轴云台23的转动而转动，即多轴云台23可带动图像采集设备24转动。关于多轴云台23的工作原理、实现形态以及图像采集设备24的实现形态，均可参见上述实施例的相关内容，在此不再赘述。

在本实施例中，跟踪设备还包括：控制模块25。关于控制模块25的具体实施方式可参见上述跟踪设备实施例的相关内容。在本实施例中，跟踪设备S20的计算机指令主要由控制模块25执行。

在本实施例中，控制模块25可指示投影模块22向外投射基准图像，该基准图像具有预定图案。其中，预定图案可以为任何形式的图案。例如预定图案可以为条纹图案、编码图案、预定的字符图案等等，但不限于此。

可选地，控制模块25可与投影模块22通信连接。相应地，控制模块25可通过指令指示投影模块22向外投射具有预定图案的基准图像。可选地，控制模块25可向投影模块22发送投影指令，该投影指令用于指示投影模块22向外投射具有预定图案的基准图像。相应地，投影模块22在接收到投影指令的情况下，向外投射具有预定图案的基准图像。

或者，控制模块25电连接于投影模块22。相应地，控制模块25可通过电信号指示投影模块22向外投射具有预定图案的基准图像。其中电信号可为高电平或低电平信号。可选地，控制模块25可向投影模块22输出电信号，该电信号用于指示投影模块22向外投射具有预定图案的基准图像。相应地，投影模块22在接收到电信号的情况下，向外投射具有预定图案的基准图像。

无论控制模块25与投影模块22采用何种方式连接，投影模块22均可向外投射基准图像，该基准图像具有上述预定图案。在本申请实施例中，不限定投影模块22的具体实现形式。关于投影模块22的实现形式及工作原理的描述，可参见上述跟踪设备实施例的相关内容，在此不再赘述。

在实际应用中，在投影模块22向外投射基准图像的情况下，若未有物体出现在投影模块22的投影光线上，则基准图像在投影面S21上所呈现的投影图像具有预定图案。若有物体出现在投影模块22的投影光线上，则预定图案对应的投影图像为发生形变，为了便于描述，在本申请实施例中，将预定图案对应的投影图像发生形变所形成的图案，定义为形变图案。其中，形变图案是基于出现在投影模块22的投影光线上的物体产生的，且形变图案会随着物体的移动而移动。基于此，在本申请实施例中，可基于形变图案实现对出现在投影模块22的投影光线上的物体进行跟踪。为了便于描述，将出现在投影模块22的投影光线上的物体，定义为目标对象A。目标对象A可为移动对象。

基于上述分析，在本实施例中，图像采集设备24可采集基准图像对应的投影图像。基准图像对应的投影图像可包括：基准图像直接投影至投影面S21所形成的投影图像。当然，基准图像对应的投影图像也可包括：在有物体(目标对象A)出现在投影模块22的投影光线的情况下，投影模块22的投影光线经过目标对象A而将基准图像投射在投影面S21上形成的投影图像。在本实施例中，投影面S21可以为投影面S21可以为投影屏，例如投影幕布等；或者为当前所处环境中的其它物体表面，例如墙壁、地面或家具表面等等，但不限于此。图2中仅以投影面S21为投影幕布进行图示，但不构成限定。

在下述实施例中，为了便于描述和区分，将有物体(目标对象A)出现在投影模块22的投影光线的情况下，投影模块22的投影光线经过目标对象A而将基准图像投射在某一投影面上形成的投影图像，定义为第一投影图像；并将在没有物体出现在投影模块22的投影光线的情况下，基准图像直接投影至某一投影面上所形成的投影图像，定位为第二投影图像。其中，第一投影图像包含上述形变图案，第二投影图像不包含形变图案。因此，第一投影图像可以反应目标对象A的信息，而第二投影图像无法反应目标对象A的信息，也就无法基于第二投影图像对目标对象A进行跟踪。因此，在下述实施例中，重点以控制模块25基于图像采集设备24采集到的第一投影图像，实现对目标对象A的跟踪过程进行示例性说明。

控制模块25与图像采集设备24通信连接，控制模块25与多轴云台23电连接。其中，图像采集设备24可将采集到的第一投影图像提供给控制模块25。相应地，控制模块25可根据图像采集设备24已采集到的第一投影图像，调整多轴云台23的工作状态。多轴云台23在工作状态改变时，多轴云台23可进行转动。多轴云台23转动可带动图像采集设备24进行转动，进而可调整图像采集设备24的位姿，使图像采集设备24可对形变图案进行跟踪采集。其中，图像采集设备24的位姿包括图像采集设备24的位置和朝向。由于形变图案是由目标对象A引起的，因此对形变图案进行跟踪采集，可实现对目标对象A的跟踪。而且，多轴云台23带动图像采集设备24转动可调整图像采集设备24的位姿，有助于扩大对目标对象A的跟踪范围。

在本申请实施例中，为了实现对目标对象A引起的形变图案的跟踪采集，图像采集设备24可采用具有高采样率的图像采集设备。优选地，图像采集设备24在目标对象A在投影模块22的投射范围内移动过程中，可采集到多帧包含形变图案的第一投影图像。相应地，图像采集设备24的采样周期小于目标对象A在投影模块22的投射范围内的移动时间。即投影模块22的投影范围内的移动时间可以为图像采集设备24的采样周期Q倍，Q≥2。这样，图像采集设备14可采集到多帧第一投影图像。

在本申请实施例中，不限定目标对象A的实现形态。在一些实施例中，目标对象A可以为出现在投影模块22的投影光线上的任何移动对象。基于此，图像采集设备25在采集到包含目标对象A引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像，并将该第二投影图像缓存在控制模块25的内存中。进一步，控制模块25可根据图像采集设备24当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则确定目标对象A进入投影模块的投射范围内；并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，控制模块25开始对目标对象A进行跟踪，即开始对形变图案进行跟踪采集。其中，关于控制模块25对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

在另一些实施例中，出现在投影模块22的投影光线上的物体为指定对象或者指定类型的对象的时候，才会对该物体进行跟踪。基于此，图像采集设备24在采集到包含目标对象A引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像，并将该第二投影图像缓存在控制模块25的内存中。进一步，控制模块25可根据图像采集设备24当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则将第三投影图像输入神经网络模型中。之后，在神经网络模型中，计算第三投影图像包含的形变图案的对象类型；若第三投影图像包含的形变图案的对象类型为指定类型，则确定目标对象A进入投影模块的投射范围内。并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，控制模块25开始对目标对象A进行跟踪，即开始对形变图案进行跟踪采集。其中，关于控制模块25对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

值得说明的是，在本申请实施例中，在利用神经网络模型分析第三投影图像包含的形变图案的对象类型之前，还需对神经网络模型进行训练。

在本申请实施例中，可以损失函数最小化为训练目标，利用样本图像进行模型训练，得到神经网络模型。其中，样本图像包括投影模块的投影光线经过指定对象而将基准图像投射在投影面上形成的投影图像。其中，损失函数是根据模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率确定的。其中，指定对象属于指定类型的实际概率可为1，即100％。可选地，损失函数可以为模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率的差值的绝对值。

其中，关于样本图像和神经网络模型的网络架构的描述以及神经网络模型训练的具体过程的描述，可参见上述跟踪设备实施例的相关内容，在此不再赘述。

进一步，在确定目标对象A出现在投影模块22的投射范围内的情况下，可对目标对象A进行跟踪，即对目标对象A引起的形变图案进行跟踪采集。为了实现图像采集设备24对形变图案的跟踪采集，即实现对目标对象A的跟踪，在本实施例中，控制模块25可根据图像采集设备24已采集到的第一投影图像，调整多轴云台23的工作状态，以使多轴云台23带动图像采集设备24对形变图案进行跟踪采集。

在一些实施例中，可在控制模块25中设置调整周期，并启动一定时器或计数器对调整周期进行计时，每当调整周期到达时，控制模块25可根据图像采集设备25在当前调整周期采集到的第一投影图像，调整多轴云台23的工作状态，以带动图像采集设备24在下一调整周期对形变图案进行跟踪采集。即对于多轴云台23来说，其调整后的工作状态可使图像采集设备24采集到目标对象A在下一调整周期引起的形变图案。

进一步，控制模块25可根据图像采集设备24在当前调整周期采集到的第一投影图像，计算目标对象A的运动信息。其中，目标对象A的运动信息可包括：目标对象A的位移信息、运动速度、运动方向以及加速度信息中的至少一种。

可选地，控制模块25可计算目标投影图像与当前调整周期对应的初始投影图像的像素差异。其中，当前调整周期对应的初始投影图像可为图像采集设备24在当前调整周期采集到的第一帧第一投影图像，也可为图像采集设备24在当前调整周期最初采集到的前N帧第一投影图像的像素平均值组成的投影图像，其中N≥2，且为整数。目标投影图像则为图像采集设备24在当前调整周期采集到的除初始投影图像之外的其它投影图像。目标投影图像的数量可以1帧或多帧。多帧是指2帧或2帧以上。进一步，控制模块25可根据目标投影图像与初始投影图像的像素差异以及图像采集设备24在当前调整周期的位姿，计算目标对象A的运动信息。

在目标投影图像的数量为多帧的情况下，控制模块25可根据相邻两帧目标投影图像与当前调整周期对应的初始投影图像的像素差异，以及图像采集设备在当前调整周期的位姿，计算目标对象A的位移变化；并根据目标对象A的位移变化以及图像采集设备24的采样周期，计算目标对象A的运动速度和/或加速度。

进一步，控制模块25可根据目标对象A的运动信息，调整多轴云台的工作状态，以带动图像采集设备24在下一调整周期对形变图案进行跟踪采集。即对于多轴云台23来说，其调整后的工作状态可使图像采集设备24采集到目标对象A在下一调整周期引起的形变图案。

进一步，控制模块25可根据目标对象A的运动信息，计算多轴云台23中的电机的目标运动参数值，并将多轴云台23中的电机的运动参数调整为目标运动参数值，从而可调整多轴云台23的工作状态。对于多轴云台23来说，其调整后的工作状态可使图像采集设备24采集到目标对象A在下一调整周期引起的形变图案。

对于多轴云台23中的电机来说，其运动参数可包括：多轴云台23中的电机的加速度、角加速度以及转速中的至少一种。相应地，多轴云台23中的电机的目标运动参数值可包括：多轴云台23中的电机的目标加速度、目标加速度以及目标转速中的至少一种。

进一步，控制模块25可根据目标对象A的运动信息，预测目标对象A在下一调整周期移动到的位置；并根据目标对象A在下一调整周期移动到的位置，计算产生形变图案的位置；进一步，控制模块25可根据产生形变图案的位置，计算图像采集设备24在下一调整周期对应的位姿；并根据图像采集设备24在下一调整周期对应的位姿以及图像采集设备24在当前调整周期的位姿，计算多轴云台23中的电机的目标运动参数值。进一步，控制模块25可控制多轴云台23将其电机的运动参数调整为目标运动参数值，从而调整多轴云台13的工作状态，使其调整后的工作状态能够使图像采集设备14对目标对象A在下一调整周期引起的形变图案进行跟踪采集，从而实现在下一调整周期对目标对象A进行跟踪。

为了便于理解上述目标跟踪过程，下面以预定图案为条纹图案，并结合图2b对目标跟踪过程进行示例性说明。

如图2b所示，在一个球从投影模块22的投射范围内移动的过程中，投影模块投射出条纹图案A，条纹图案A经过球后，投影至投影面S21中形成投影图像D。投影图像D包含条纹图案A由于经过球而产生的形变图案。图像采集设备24获取投影图案D。控制模块25可将投影图像D输入神经网络模型，通过神经网络模型识别出该物体为球形。可选地，控制模块25还可检测到球上的凹陷点B和球上的裂纹C。同时，控制模块25可根据已采集到的投影图案D，控制多轴云台运动，以带动图像采集设备24对形变图案进行跟踪采集。由于形变图案是由球引起的，因此形变图案的运动轨迹可反映球的运动轨迹，因此对形变图案进行跟踪采集，也就实现了对球的跟踪。

除了上述跟踪设备及系统实施例之外，本申请实施例还提供目标跟踪方法，下面从上述控制模块的角度，对本申请实施例提供的目标跟踪方法进行示例性说明。

图3为本申请实施例提供的目标跟踪方法的流程示意图。如图3所示，该方法包括：

301、控制投影模块向外投射基准图像；基准图像具有预定图案。

302、控制搭载于多轴云台的图像采集设备采集基准图像对应的第一投影图像；第一投影图像包括：预定图案的形变图案；形变图案基于目标对象产生。

303、根据图像采集设备已采集到的第一投影图像，调整多轴云台的工作状态，以带动图像采集设备对形变图案进行跟踪采集。

其中，关于投影模块、多轴云台以及图像采集设备的实现方式和连接结构可参见上述跟踪设备实施例的相关内容，在此不再赘述。

多轴云台可绕其转轴进行转动，可转动的方向由多轴云台包含的转轴的转动方向决定。由于图像采集设备搭载于多轴云台上，图像采集设备也就随多轴云台的转动而转动。

在本实施例中，可控制投影模块向外投射基准图像，该基准图像具有预定图案。其中，预定图案可以为任何形式的图案。例如预定图案可以为条纹图案、编码图案、预定的字符图案等等，但不限于此。其中关于生成预定图案以及控制模块控制投影模块的实施方式，均可参见上述实施例的相关内容，在此不再赘述。

在实际应用中，在投影模块向外投射基准图像的情况下，若未有物体出现在投影模块的投影光线上，则基准图像在投影面上所呈现的投影图像也具有预定图案。若有物体出现在投影模块的投影光线上，则预定图案对应的投影图像为发生形变，为了便于描述，在本申请实施例中，将预定图案对应的投影图像发生形变所形成的图案，定义为形变图案。其中，形变图案是基于出现在投影模块的投影光线上的物体产生的，且形变图案会随着物体的移动而移动。基于此，在本申请实施例中，可基于形变图案实现对出现在投影模块的投影光线上的物体进行跟踪。为了便于描述，将出现在投影模块的投影光线上的物体，定义为目标对象。目标对象可为移动对象。

基于上述分析，在本实施例中，可控制图像采集设备采集基准图像对应的投影图像。基准图像对应的投影图像可包括：基准图像直接投影至某一投影面所形成的投影图像，即在没有物体出现在投影模块的投影光线的情况下，基准图像直接投影至某一投影面上所形成的投影图像。

当然，基准图像对应的投影图像也可包括：在有物体(目标对象)出现在投影模块的投影光线的情况下，投影模块的投影光线经过目标对象A而将基准图像投射在某一投影面上形成的投影图像。其中关于投影面的实现形态可参见上述跟踪设备实施例的相关内容，在此不再赘述。

在下述实施例中，为了便于描述和区分，将有物体(目标对象)出现在投影模块的投影光线的情况下，投影模块的投影光线经过目标对象而将基准图像投射在某一投影面上形成的投影图像，定义为第一投影图像；并将在没有物体出现在投影模块的投影光线的情况下，基准图像直接投影至某一投影面上所形成的投影图像，定位为第二投影图像。其中，第一投影图像包含上述形变图案，第二投影图像不包含形变图案。因此，第一投影图像可以反应目标对象的信息，而第二投影图像无法反应目标对象的信息，也就无法基于第二投影图像对目标对象进行跟踪。因此，在下述实施例中，重点以基于图像采集设备采集到的第一投影图像，实现对目标对象的跟踪过程进行示例性说明。

在本实施例中，可根据图像采集设备已采集到的第一投影图像，调整多轴云台的工作状态。多轴云台在工作状态改变时，多轴云台可进行转动。多轴云台转动可带动图像采集设备进行转动，进而可调整图像采集设备的位姿，使图像采集设备可对形变图案进行跟踪采集。其中，图像采集设备的位姿包括图像采集设备的位置和朝向。由于形变图案是由目标对象引起的，因此对形变图案进行跟踪采集，可实现对目标对象的跟踪。而且，多轴云台带动图像采集设备转动可调整图像采集设备的位姿，有助于扩大对目标对象的跟踪范围。

对于多轴云台来说，其调整后的工作状态，可将图像采集设备的位姿调整为可以采集后续时刻由目标对象引起的形变图案。

在本申请实施例中，为了实现对目标对象引起的形变图案的跟踪采集，图像采集设备可采用具有高采样率的图像采集设备。优选地，图像采集设备在目标对象在投影模块的投射范围内移动过程中，可采集到多帧包含形变图案的第一投影图像。相应地，图像采集设备的采样周期小于目标对象在投影模块的投射范围内的移动时间。即投影模块的投影范围内的移动时间可以为图像采集设备的采样周期Q倍，Q≥2。在本实施例中，不限定Q的具体取值。例如，Q可以为3、8、10、20或30.5等等。这样，图像采集设备可采集到多帧第一投影图像。

在本申请实施例中，不限定目标对象的实现形态。在一些实施例中，目标对象可以为出现在投影模块的投影光线上的任何移动对象。基于此，图像采集设备在采集到包含目标对象引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像。进一步，可根据图像采集设备当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则确定目标对象进入投影模块的投射范围内；并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，开始对目标对象进行跟踪，即开始对形变图案进行跟踪采集。其中，关于对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

在另一些实施例中，出现在投影模块的投影光线上的物体为指定对象或者指定类型的对象的时候，才会对该物体进行跟踪。基于此，图像采集设备在采集到包含目标对象引起的形变图案的第一投影图像之前，还可采集基准图案直接投射在某一投影面上所形成的第二投影图像。进一步，可根据图像采集设备当前采集到的第三投影图像与第二投影图像，判断第三投影图像相较于第二投影图像是否发生形变；若判断结果为是，则将第三投影图像输入神经网络模型中。之后，在神经网络模型中，计算第三投影图像包含的形变图案的对象类型；若第三投影图像包含的形变图案的对象类型为指定类型，则确定目标对象进入投影模块的投射范围内，并将第三投影图像作为第一投影图像。可选地，可将第三投影图像作为第一帧第一投影图像。之后，开始对目标对象进行跟踪，即开始对形变图案进行跟踪采集。其中，关于对形变图案进行跟踪采集的具体实施方式，将在下述实施例中进行详细说明，在此暂不详述。

值得说明的是，在本申请实施例中，在利用神经网络模型分析第三投影图像包含的形变图案的对象类型之前，还需对神经网络模型进行训练。

在本申请实施例中，可以损失函数最小化为训练目标，利用样本图像进行模型训练，得到神经网络模型。其中，样本图像包括投影模块的投影光线经过指定对象而将基准图像投射在投影面上形成的投影图像。样本图像可以为一帧或多帧，多帧是指2帧或2帧以上，其数量的具体取值可根据实际需求进行灵活设定。其中，损失函数是根据模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率确定的。其中，指定对象属于指定类型的实际概率可为1，即100％。可选地，损失函数可以为模型训练得到的指定对象属于指定类型的概率与指定对象属于指定类型的实际概率的差值的绝对值。

进一步，在确定目标对象出现在投影模块的投射范围内的情况下，可对目标对象进行跟踪，即对目标对象引起的形变图案进行跟踪采集。为了实现图像采集设备对形变图案的跟踪采集，即实现对目标对象的跟踪，在本实施例中，可根据图像采集设备已采集到的第一投影图像，调整多轴云台的工作状态，以使多轴云台带动图像采集设备对形变图案进行跟踪采集。

在一些实施例中，可设置调整周期，并启动一定时器或计数器对调整周期进行计时，每当调整周期到达时，可根据图像采集设备在当前调整周期采集到的第一投影图像，调整多轴云台的工作状态，以带动图像采集设备在下一调整周期对形变图案进行跟踪采集。即对于多轴云台来说，其调整后的工作状态可使图像采集设备采集到目标对象在下一调整周期引起的形变图案。

进一步，可根据图像采集设备在当前调整周期采集到的第一投影图像，计算目标对象的运动信息。其中，目标对象的运动信息可包括：目标对象的位移信息、运动速度、运动方向以及加速度信息中的至少一种。

可选地，可计算目标投影图像与当前调整周期对应的初始投影图像的像素差异。其中，当前调整周期对应的初始投影图像可为图像采集设备在当前调整周期采集到的第一帧第一投影图像，也可为图像采集设备在当前调整周期最初采集到的前N帧第一投影图像的像素平均值组成的投影图像，其中N≥2，且为整数。目标投影图像则为图像采集设备在当前调整周期采集到的除初始投影图像之外的其它投影图像。目标投影图像的数量可以1帧或多帧。多帧是指2帧或2帧以上。进一步，可根据目标投影图像与初始投影图像的像素差异以及图像采集设备在当前调整周期的位姿，计算目标对象的运动信息。

在目标投影图像的数量为多帧的情况下，可根据相邻两帧目标投影图像与当前调整周期对应的初始投影图像的像素差异，以及图像采集设备在当前调整周期的位姿，计算目标对象的位移变化；并根据目标对象的位移变化以及图像采集设备的采样周期，计算目标对象A的运动速度和/或加速度。

进一步，可根据目标对象的运动信息，调整多轴云台的工作状态，以带动图像采集设备在下一调整周期对形变图案进行跟踪采集。即对于多轴云台来说，其调整后的工作状态可使图像采集设备采集到目标对象在下一调整周期引起的形变图案。

进一步，可根据目标对象的运动信息，计算多轴云台中的电机的目标运动参数值，并将多轴云台中的电机的运动参数调整为目标运动参数值，从而可调整多轴云台的工作状态。对于多轴云台来说，其调整后的工作状态可使图像采集设备采集到目标对象在下一调整周期引起的形变图案。

对于多轴云台中的电机来说，其运动参数可包括：多轴云台中的电机的加速度、角加速度以及转速中的至少一种。相应地，多轴云台中的电机的目标运动参数值可包括：多轴云台中的电机的目标加速度、目标加速度以及目标转速中的至少一种。

进一步，可根据目标对象的运动信息，预测目标对象在下一调整周期移动到的位置；并根据目标对象在下一调整周期移动到的位置，计算产生形变图案的位置；进一步，可根据产生形变图案的位置，计算图像采集设备在下一调整周期对应的位姿；并根据图像采集设备在下一调整周期对应的位姿以及图像采集设备在当前调整周期的位姿，计算多轴云台中的电机的目标运动参数值。进一步，可控制多轴云台将其电机的运动参数调整为目标运动参数值，从而调整多轴云台的工作状态，使其调整后的工作状态能够使图像采集设备对目标对象在下一调整周期引起的形变图案进行跟踪采集，从而实现在下一调整周期对目标对象进行跟踪。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤301和302的执行主体可以为设备A；又比如，步骤301的执行主体可以为设备A，步骤302的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如301、302等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

相应地，本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述目标跟踪方法中的步骤。

需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。