基于速度控制的人员跟踪球机控制方法

技术领域

本发明属于球机控制领域，尤其是涉及一种基于速度控制的人员跟踪球机控制方法。

背景技术

随着社会的发展以及科技的进步，为提升港口作业效益，作业安全性，港口逐步向着无人化自动化发展。人员进入港口重点区域(含场桥、岸桥、堆场、主干道等)时会存在一定风险，因此需要一套自动化的监控设备对人员轨迹进行实时跟踪，一方面可使得后端管控人员掌握前端作业人员的实时情况，一方面可确保作业的安全性。

球机(云台)的姿态由Pan(水平转动角，以下简称为P)，Tilt(垂直转动角，即俯仰角，以下简称为T)，以及Zoom(焦距的无量纲化，以下简称为Z)三个部分组成，当给予球机(云台)这三个坐标值时，球机(云台)的绝对姿态即可固定。目标自动跟踪是一种利用球机(云台)控制算法，结合目标检测跟踪算法，控制球机(云台)对目标进行自动跟踪。在控制算法中，一般是基于球机(云台)控制协议来实现对球机(云台)的基础控制，包括上下左右放大缩小等。

现有基于视频流图像的传统的球机(云台)算法一般是使用PID算法，对目标位置按偏差的比例(P)、积分(I)和微分(D)进行控制。PID控制具有原理简单，易于实现，控制参数相互独立，参数的选定比较简单，闭环控制等优点。但传统的PID控制由于对目标速度多样性的适应问题容易出现明显的超调，反映在视频中为导致目标偏出图像中心，最终造成跟踪失败。

发明内容

有鉴于此，本发明旨在提出一种基于速度控制的人员跟踪球机控制方法，以解决现有PID控制算法对目标多样性的适应问题。

为达到上述目的，本发明的技术方案是这样实现的：

基于速度控制的人员跟踪球机控制方法，包括如下步骤：

S1、离线对球机进行学习，获取球机变倍系数与对应的Zoom坐标值的关系，记为F(z,f)；

S2、离线对球机进行学习，获取在不同的俯仰角T下球机水平方向运动分量与垂直方向运动分量的关系，记为F(t，Tanα)；

S3、判断当前目标是否处于图像中心区域；

S4、如若当前目标在图像中心区域，则根据球机变倍系数与对应的Zoom坐标值的关系控制球机进行变倍；

S5、如若当前目标不在图像中心区域，则先判断是否为首次计算目标水平及竖直方向的速度值，再根据判断结果计算目标水平和竖直方向的速度值，最后根据计算出的速度值控制球机转动跟踪目标；

S6、重复步骤S3至S5，直至当前目标离开球机的可视区域后，控制球机转动回到原始预置位。

进一步的，所述步骤S1中球机变倍系数与对应的Zoom坐标值的关系的获取方法如下：在每个z坐标下依次控制球机进行变倍操作，利用图像匹配算法分别计算相邻的两个z坐标位置图像对应的变倍数值f，并记录对应的z坐标位置与变倍数值f的关系，获取球机变倍系数与对应的Zoom坐标值的关系，记为F(z,f)。

进一步的，所述步骤S2中球机水平方向运动分量与垂直方向运动分量关系的具体获取方法如下：

S571、在TILT坐标t0下，记录当前图像为M0，控制球机依次向右转动三个不同的角度，分别得到图像M1，M2，M3；

S572、利用图像匹配算法，获取图像M0的中心(x0,y0)，并依次获取图像M1,M2,M3中对应的位置(x1,y1),(x2,y2),(x3,y3)；

S573、计算t0坐标系下球机水平转动时的运动分量与垂直方向运动的分量的关系Tanα，计算公式如下：

ΔX1＝x1-x0，ΔY1＝y1-y0；tanα1＝ΔX1/ΔY1；

ΔX2＝x2-x0，ΔY2＝y2-y0；tanα2＝ΔX2/ΔY2；

ΔX3＝x3-x0，ΔY3＝y3-y0；tanα3＝ΔX3/ΔY3；

Tanα＝(tanα1+tanα2+tanα3)/3；

S574、在不同的TILT坐标t

进一步的，所述步骤S3中判断当前目标是否处于图像中心区域的具体步骤如下：

S31、设目标的目标框左上角坐标为(Xti,Yti)；图像中心坐标为(X0,Y0)，图像的长为W，图像的宽为H，则图像中心区域半径R的计算公式为：

R＝(Xti-X0)*(Xti-X0)+(Yti-Y0)*(Yti-Y0)；

S32、若R>W*0.175*W*0.175，且R

进一步的，所述步骤S4中控制球机进行变倍的具体步骤如下：

S41、根据目标大小占整个球机图像尺寸的比例判断是否需要控制球机变倍；

S42、如球机不需要变倍，则当前帧图像处理结束；

S43、如球机需要变倍则控制球机变倍，球机变倍结束后，则当前帧图像处理结束。

进一步的，所述步骤S43中，球机变倍的具体方式如下：

S431、根据目标的长和宽计算球机变倍系数为ΔS，计算公式为：

s1＝Wt*4/W；

s2＝Ht*4/H；

ΔS＝min(s1，s2)；其中，Wt表示目标的长，Ht表示目标的宽，W表示图像的长,H表示图像的宽；

S432、记当前球机的Z坐标值为Z0，记F(z,f)中与Z0邻近的Z坐标分别为Zm、以及Z(m+1)；其中，Zm

将Zm，Z(m+1)带入关系式F(z,f)，得到对应的变倍系数为Fm，F(m+1)，计算公式为：

f＇＝(Z-Zm/Z(m+1)-Zm)*F(m+1)；

S433、设F值大于ΔS时对应的下标为n，记对应的Z坐标为Zn，记对应的F值为Fn；则新的Zoom坐标值Z＇的计算公式如下：

Z＇＝Zn*(F-ΔS)/Fn；

S434、根据新的Zoom坐标值Z＇控制球机进行变倍。

进一步的，所述步骤S5中，当首次进行目标水平及竖直方向的速度值计算时，目标水平及竖直方向的速度值具体计算步骤如下：

S51、设目标的目标框左上角坐标为(Xt0,Yt0)，目标框长为Wt0,目标框宽为Ht0；设图像中心坐标为(X0,Y0),图像长为W,图像宽为H；

S52、目标水平方向的速度值P(Vxto)的计算公式如下：

P(Vxto)＝(Xt0-X0)*2*Vp0/W；其中，Vp0为可调参数,0

S53、目标竖直方向的速度值T(Vyto)的计算公式如下：

T(Vyto)＝(Yt0-Y0)*2*Vt0/H；其中，Vt0为可调参数，0

S54、设置控制预期，记控制预期的期望值为ξ；其中，控制预期表示使得目标位于图像中心时，需要控制球机转动的次数；

S56、根据期望值ξ计算控制结果ΔX与ΔY，计算公式为：

ΔX＝(Xt0-X0)/ξ；

ΔY＝(Xt0-X0)/ξ；

其中，ξ为可调参数，ξ≥1；控制结果表示目标靠近图像中心的距离。

进一步的，所述步骤S5中，当目标不是首次进行水平和竖直方向的速度值计算时，目标水平和竖直方向的速度值具体计算步骤如下：

S57、计算当前帧目标距离图像中心的距离与上一帧目标距离图像中心的距离的差值，分别记为ΔXt,ΔYt；根据F(t，Tanα)计算出ΔXt对应的新偏移量ΔXt＇与ΔYt＇；

记当前TILT坐标为t,对应的偏移关系角为α；则对于ΔXt，可产生因球机转动的新偏移量ΔXt＇和ΔYt＇，计算公式如下：

ΔYt＇＝ΔXt/Tanα；

ΔXt＇＝ΔXt；

如果ΔXt＇>ΔX，表示球机水平方向调整过快，需要降速；如果ΔXt＇<ΔX，表示球机水平方向调整过慢，需要增速；其中，ΔX为步骤S56中的控制结果；

如果ΔYt＇>ΔY，表示球机垂直方向调整过快，需要降速，如果ΔYt＇<ΔY，表示球机垂直方向调整过慢，需要增速；其中，ΔY为步骤S56中的控制结果；

S58、设置当前的学习率为le；其中，le>0；

设上一帧目标的控制速度为P(Vt-1)和T(Vt-1)，则当前帧的速度PVt与TVt为：

降速时：PVt＝P(Vt-1)*(1-le)

TVt＝T(Vt-1)*(1-le)

增速时，PVt＝P(Vt-1)*(1+le)

TVt＝T(Vt-1)*(1+le)

S59、据计算出的速度值PVt和TVt，控制球机转动。

相对于现有技术，本发明所述的基于速度控制的人员跟踪球机控制方法具有以下优势：

本发明所述的基于速度控制的人员跟踪球机控制方法对不同球机具有良好的适用性，可适用于市面各类品牌型号的数字球机，且操作简单，可通过选择合适参数适应不同场景的目标适应性跟踪问题；本发明可以确保球机始终对目标进行准确的跟踪，有利于提高球机对目标的连续跟踪效果，同时本发明还可以提高球机在跟随目标转动过程中的稳定性，确保球机可以对目标进行清晰的摄录或识别，有利于提高球机的监控效果。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于速度控制的人员跟踪球机控制方法的流程图；

图2为本发明实施例所述的一种基于速度控制人员自动跟踪系统的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

基于速度控制的人员跟踪球机控制方法，如图1和图2所示，下文中出现的名称可参考如下解释：1、图像：泛指所有具有视觉效果的画面，在附图中指数字图像，用以记录图像上各点的信息。2、目标：泛指使用者在图像中关注的物体，如人，车，船等。3、目标位置：指目标在图像中的外接矩形。4、球机位置：指球机姿态，由Pan(水平转动角)，Tilt(垂直转动角，即俯仰角)，以及Zoom(焦距的无量纲化)三个部分组成。

基于速度控制的人员跟踪球机控制方法，包括如下步骤：S1、离线对球机进行学习，获取球机变倍系数与对应的Zoom坐标值的关系，记为F(z,f)；离线对球机进行学习，获取在不同的俯仰角T下球机水平方向运动分量与垂直方向运动分量的关系，记为F(t，Tanα)；S3、判断当前目标是否处于图像中心区域；S4、如若当前目标在图像中心区域，则根据球机变倍系数与对应的Zoom坐标值的关系控制球机进行变倍；S5、如若当前目标不在图像中心区域，则先判断是否为首次计算目标水平及竖直方向的速度值，再根据判断结果计算目标水平和竖直方向的速度值，最后根据计算出的速度值控制球机转动跟踪目标；S6、重复步骤S3至S5，直至当前目标离开球机的可视区域后，控制球机转动回到原始预置位。

所述步骤S1中球机变倍系数与对应的Zoom坐标值的关系的获取方法如下：在每个z坐标下依次控制球机进行变倍操作，利用图像匹配算法分别计算相邻的两个z坐标位置图像对应的变倍数值f，并记录对应的z坐标位置与变倍数值f的关系，获取球机变倍系数与对应的Zoom坐标值的关系，记为F(z,f)。

所述步骤S2中球机水平方向运动分量与垂直方向运动分量关系的具体获取方法如下：在TILT坐标t0下，记录当前图像为M0，控制球机依次向右转动三个不同的角度，分别得到图像M1，M2，M3；

可选的，首先可在t0坐标下，记录当前图像为M0，控制球机依次向右转动不同度数，如10度，20度，30度，分别得到图像M1,M2,M3；

之后，可利用现有图像匹配算法，获取图像M0的中心(x0,y0)，并依次获取图像M1,M2,M3中对应的位置(x1,y1),(x2,y2),(x3,y3)；计算t0坐标系下球机水平转动时的运动分量与垂直方向运动的分量的关系Tanα，计算公式如下：

ΔX1＝x1-x0，ΔY1＝y1-y0；tanα1＝ΔX1/ΔY1；

ΔX2＝x2-x0，ΔY2＝y2-y0；tanα2＝ΔX2/ΔY2；

ΔX3＝x3-x0，ΔY3＝y3-y0；tanα3＝ΔX3/ΔY3；

Tanα＝(tanα1+tanα2+tanα3)/3；

最后，在不同的TILT坐标t

本发明解决了当目标在球机正下方或接近正下方时的球机控制问题，本发明着重考虑了球机曲线转动的特性，在弧度越大(即球机俯仰角越大)时，水平与垂直方向的分量越大；本发明所述的控制方法通过提前学习了俯仰角与对应的水平转动下垂直方向分量的关系，在球机控制时融入了此位移分量，从而解决了常规控制方法下球机在俯仰角过大时的控制失败的问题。

所述步骤S3中判断当前目标是否处于图像中心区域的具体步骤如下：S31、设目标的目标框左上角坐标为(Xti,Yti)；图像中心坐标为(X0,Y0)，图像的长为W，图像的宽为H，则图像中心区域半径R的计算公式为：

R＝(Xti-X0)*(Xti-X0)+(Yti-Y0)*(Yti-Y0)；

S32、若R>W*0.175*W*0.175，且R

可选的，0.175和0.375均为可调参数，实际计算过程中，本领域技术人员可以根据需要进行调整；其中0.175和0.375分别表示图像的1/8与3/8，经过实际测试，0.175和0.375为经验参数，具有更好的参考效果，可以提高目标是否在图像中心区域判定的准确性。

所述步骤S4中控制球机进行变倍的具体步骤如下：S41、根据目标大小占整个球机图像尺寸的比例判断是否需要控制球机变倍；S42、如球机不需要变倍，则当前帧图像处理结束；S43、如球机需要变倍则控制球机变倍，球机变倍结束后，则当前帧图像处理结束。

可选的，目标大小占整个球机图像尺寸的比例判断的逻辑可以为：当目标的宽度或高度大于图像宽度或高度的1/4时，需要缩小到图像的1/4，当目标的宽度或高度小于图像宽度或高度的1/8时，需要放大到图像的1/4，此处1/4为可调参数，实际计算过程中，本领域技术人员可以根据需要进行调整；经过实际测试，1/4为经验参数，具有更好的参考效果，可以提高是否需要控制球机变倍判定的准确性。

所述步骤S43中，球机变倍的具体方式如下：S431、根据目标的长和宽计算球机变倍系数为ΔS，计算公式为：

s1＝Wt*4/W；s2＝Ht*4/H；ΔS＝min(s1，s2)；其中，Wt表示目标的长，Ht表示目标的宽，W表示图像的长,H表示图像的宽；

S432、记当前球机的Z坐标值为Z0，记F(z,f)中与Z0邻近的Z坐标分别为Zm、以及Z(m+1)；其中，Zm

f＇＝(Z-Zm/Z(m+1)-Zm)*F(m+1)；

S433、设F值大于ΔS时对应的下标为n，记对应的Z坐标为Zn，记对应的F值为Fn；则新的Zoom坐标值Z＇的计算公式如下：

Z＇＝Zn*(F-ΔS)/Fn；

S434、根据新的Zoom坐标值Z＇控制球机进行变倍。

本发明通过采用定量变倍，解决了看得清问题，即对球机进行变倍操作，使得目标清晰的呈现在图像中；现有球机传统的变倍为定性变倍，即只知道放大或缩小，因此容易出现超调问题，本发明中使用定量变倍，即根据目标大小计算出应该变倍的倍数，再控制球机变倍，避免了盲目变倍导致的超调的问题。

所述步骤S5中，当首次进行目标水平及竖直方向的速度值计算时，目标水平及竖直方向的速度值具体计算步骤如下：S51、设目标的目标框左上角坐标为(Xt0,Yt0)，目标框长为Wt0,目标框宽为Ht0；设图像中心坐标为(X0,Y0),图像长为W,图像宽为H；

S52、目标水平方向的速度值P(Vxto)的计算公式如下：

P(Vxto)＝(Xt0-X0)*2*Vp0/W；其中，Vp0为可调参数,0

S53、目标竖直方向的速度值T(Vyto)的计算公式如下：

T(Vyto)＝(Yt0-Y0)*2*Vt0/H；其中，Vt0为可调参数，0

S54、设置控制预期，记控制预期的期望值为ξ；其中，控制预期表示使得目标位于图像中心时，需要控制球机转动的次数；

S56、根据期望值ξ计算控制结果ΔX与ΔY，计算公式为：

ΔX＝(Xt0-X0)/ξ；

ΔY＝(Xt0-X0)/ξ；

其中，ξ为可调参数，ξ≥1；控制结果表示目标靠近图像中心的距离。可选的，ξ可以为15，经过实际测试，设置期望值ξ为15，即可满足控制需要，且相比其他数据，具有更好的效果。

本发明可以稳定的控制球机转动，使得目标始终在图像中清晰可辨，解决了球机变倍下的球机控制问题，即变倍越大，焦距拉大，在长焦下，球机需要转动得更快才能跟上目标的问题；通过利用控制期望使得每次球机控制后都能使目标是逐步靠近图像中心，避免了大幅快速控制中因为突变导致的图像模糊无法辨认目标的情况，有利于提高目标在球机图像中的清晰度；利用本发明所述控制方法控制的球机也可以与图像存储设备连接，实现对目标图像的存储，便于后续对目标进行记录和分析。

所述步骤S5中，当目标不是首次进行水平和竖直方向的速度值计算时，目标水平和竖直方向的速度值具体计算步骤如下：S57、计算当前帧目标距离图像中心的距离与上一帧目标距离图像中心的距离的差值，分别记为ΔXt,ΔYt；根据F(t，Tanα)计算出ΔXt对应的新偏移量ΔXt＇与ΔYt＇；

记当前TILT坐标为t,对应的偏移关系角为α；则对于ΔXt，可产生因球机转动的新偏移量ΔXt＇和ΔYt＇，计算公式如下：

ΔYt＇＝ΔXt/Tanα；

ΔXt＇＝ΔXt；

如果ΔXt＇>ΔX，表示球机水平方向调整过快，需要降速；如果ΔXt＇<ΔX，表示球机水平方向调整过慢，需要增速；其中，ΔX为步骤S56中的控制结果；

如果ΔYt＇>ΔY，表示球机垂直方向调整过快，需要降速，如果ΔYt＇<ΔY，表示球机垂直方向调整过慢，需要增速；其中，ΔY为步骤S56中的控制结果；

S58、设置当前的学习率为le；其中，le>0；

设上一帧目标的控制速度为P(Vt-1)和T(Vt-1)，则当前帧的速度PVt与TVt为：

降速时：PVt＝P(Vt-1)*(1-le)

TVt＝T(Vt-1)*(1-le)

增速时，PVt＝P(Vt-1)*(1+le)

TVt＝T(Vt-1)*(1+le)

S59、据计算出的速度值PVt和TVt，控制球机转动。

本发明可以适应目标的不同速度，可利用控制加速度使得球机控制速度逐步与目标实际速度进行匹配，最终达到球机速度与目标速度基本趋同，提高了球机跟踪目标的准确性，使球机可以连续稳定的跟踪目标进行转动。

本发明把握了球机控制问题本质，通过使用定量变倍、目标位置与控制期望位置的控制期望、学习率、球机机械运动导致图像水平与垂直的位移关系的学习、及球机变倍曲线的学习等技术与手段，克服了传统控制中的控制超调，控制不平滑、大俯视角下控制失败等问题。

在一个可选的实施例中，结合本发明所述的球机控制方法，可以设计一种基于速度控制人员自动跟踪系统，该系统可包含的软硬件设备及部署为：1、监控球机，分别部署在人员进出口位置；2、分析服务器部署在电气房，安装基于速度控制自动跟踪系统；3、视频客户端安装在总控机房。

一种基于速度控制人员自动跟踪系统主要的工作流程为：1、实时对监控入口处的人员进行检测；2、发现人员后，利用基于速度控制的球机控制方法对人员进行实时跟踪；3、存储对应的视频，并在视频客户端实时显示目标的轨迹及画面。

本发明所述的基于速度控制的人员跟踪球机控制方法对不同球机具有良好的适用性，可适用于市面各类品牌型号的数字球机，且操作简单，可通过选择合适参数适应不同场景的目标适应性跟踪问题；本发明可以确保球机始终对目标进行准确的跟踪，有利于提高球机对目标的连续跟踪效果，同时本发明还可以提高球机在跟随目标转动过程中的稳定性，确保球机可以对目标进行清晰的摄录或识别，有利于提高球机的监控效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。