掌桥专利:专业的专利平台
掌桥专利
首页

自动导播方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:59:31


自动导播方法、装置、电子设备及存储介质

技术领域

本发明涉及导播技术领域,具体涉及自动导播方法、装置、电子设备及存储介质。

背景技术

随着导播技术的发展,一些摄像机上已经集成了导播功能。具体地,使用摄像机进行导播的过程中,可基于AI(Artificial Intelligence,人工智能)算法对人脸和/或人形进行识别,根据识别的结果,在被追踪目标移动时控制摄像机跟踪被追踪目标,从而实现对被追踪目标进行持续地视频录制和/或图片拍摄,以达到自动导播等目的。但是,如果被追踪目标正面没有正对摄像机,则人脸识别算法误差率较高,导致跟踪精度较差等问题;如果被追踪目标移动范围大或肢体活动范围大或姿势变化多等情况出现时,依赖AI算法跟踪被追踪目标的方式难以及时地聚焦被追踪目标,需要借助于人工导播方式。因此,现有的自动导播方法易存在跟踪精度差、导播效果不佳等问题。

发明内容

有鉴于此,本发明提供了一种自动导播方法、装置、电子设备及存储介质,以解决相关导播技术存在的跟踪精度差和导播效果差等问题。

第一方面,本发明提供了一种自动导播方法,该方法包括:

获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接;

将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机;

根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。

基于超宽带模块和定位标签,本发明能够检测用户位置信息,并转换成为控制云台动作的控制参数,实现对用户的有效追踪,以进行导播。借助于超宽带模块在导播方法上的运用,与AI识别算法等相关技术相比,本发明能够实现自动导播功能,提高导播精度;而且本发明既能够应用于室内常态化录播场景,又能够覆盖室外移动录播场景,实现室内和室外等多场景下的自动导播功能。

在一种可选的实施方式中,将用户位置信息转换为云台的控制参数,包括:

利用用户位置信息构建位置描述函数,用户位置信息包括俯仰角和水平偏移角,俯仰角表示定位标签、超宽带模块所在直线方向与竖直方向之间的夹角,水平偏移角表示定位标签在地面上的投影、超宽带模块在地面上的投影所在直线方向与预设的水平方向之间的夹角,位置描述函数用于表征用户位置信息;

利用位置描述函数对云台控制函数进行更新,云台控制函数用于表征控制参数,控制参数包括云台垂直转向角度和云台水平转向角度。

本发明创新地使用位置描述函数对云台控制函数进行更新,包括通过俯仰角对云台垂直转向角度的更新和通过水平偏移角对云台水平转向角度的更新,以更精准地控制摄像机对准用户。

在一种可选的实施方式中,用户位置信息还包括直线距离,控制参数还包括焦距调整量,直线距离表示定位标签与超宽带模块之间的距离;

该方法还包括:

根据控制参数调整摄像机的焦距。

本发明还能够具体根据定位标签与超宽带模块之间的距离作为用户与摄像机之间的距离,并基于该距离调整摄像机的焦距,从而提升导播画面的质量。

在一种可选的实施方式中,利用位置描述函数对云台控制函数进行更新,包括:

基于俯仰角,对云台垂直转向角度进行更新;

基于水平偏移角,对云台水平转向角度进行更新;

基于直线距离,对焦距调整量进行更新。

基于所测量的俯仰角、水平偏移角、直线距离,本发明还能够精确地衡量用户与摄像机之间的空间位置关系,以达到精准地控制摄像机的垂直转向角度、水平转向角度及焦距调整量的目的。

在一种可选的实施方式中,超宽带模块为超宽带到达角度定位设备;定位标签为超宽带到达角度跟踪标签。

基于超宽带到达角度定位设备和超宽带到达角度跟踪标签之间的通信,本发明能够高精准地测量俯仰角、水平偏移角以及直线距离,从而为高精度导播提供数据支持。

在一种可选的实施方式中,该方法还包括:

对指定目标在导播画面中的位置和大小进行调整,以控制指定目标与导播画面的尺寸之间呈预设比例,并控制指定目标处于导播画面中的预设位置;

其中,指定目标包括人脸和/或人体。

在实现对用户进行自动导播的基础上,本发明还能够对人脸、人体在导播画面中的位置进行精确调节,使用户人脸、身体在导播画面中处于合适位置,例如在导播画面的中部,以实现精细化导播。

在一种可选的实施方式中,摄像机为具备云台的摄像机;摄像机和超宽带模块均设置于距地面预设高度的同一位置上;

摄像机与超宽带模块集成于同一目标设备上。

通过将超宽带模块与摄像机固定于距地面预设高度的同一位置上,本发明可减少将用户位置信息转换为云台的控制参数的过程的计算量,降低转换过程中出错的可能性,进而提高本发明对云台控制的可靠性,更精准地控制摄像机。

通过将摄像机与超宽带模块整合到一个目标设备上,本发明能够提供一种具备自动导播功能的一体化设备,并且更便于设备的安装和使用。

第二方面,本发明提供了一种自动导播装置,该装置包括:

位置获取模块,用于获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接;

参数转换模块,用于将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机;

云台控制模块,用于根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。

第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的自动导播方法。

第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的自动导播方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的自动导播方法的流程示意图;

图2是根据本发明实施例的另一自动导播方法的流程示意图;

图3是根据本发明实施例的又一自动导播方法的流程示意图;

图4是根据本发明实施例的再一自动导播方法的流程示意图;

图5是根据本发明实施例的一种自动导播方法的实现原理的示意图;

图6是根据本发明一些实施例的一种基于超宽带到达角度的自动导播方法的流程示意图;

图7是根据本发明实施例的自动导播装置的结构框图;

图8是本发明实施例的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

目前,基于AI算法的自动导播方案已在摄像机上得到了应用。以教室内的课程录制场景为例,具备自动导播功能的摄像机仅采用人脸识别算法,以跟踪教师的人脸和/或人形,但是,在教学过程中教师位置变化的同时或者教师正面没有正对摄像机时,或者多人在讲台的情形下难以正确识别教师,出现误导播情况,存在人脸、人形识别误差率较高、跟踪精度和跟踪及时性较差等问题。以室外移动录播场景为例,例如,体育课、课外活动课或者校园大型室外活动等,教师人体活动空间广、姿势变化多、肢体活动范围大,这种情况下,仅仅依靠人脸识别算法等AI算法难以准确地跟踪教师活动,难以及时地聚焦教师画面,常常需要人工导播方式才能够完成全程导播。可见传统的自动导播功能的跟踪技术不够成熟,定位精度较差,而且尚不能稳定控制摄像机焦距和云台进行精细导播。

根据本发明实施例,提供了一种自动导播方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种自动导播方法,可用于摄像机上的控制器,图1是根据本发明实施例的自动导播方法的流程图,如图1所示,该流程包括如下步骤:

步骤S101,获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接。

本实施例涉及的用户为被追踪目标,例如可以是教师,当然并不限于此。

其中,用户位置信息表示用户所处的空间位置,通过定位标签位置表征;超宽带模块与定位标签之间通信,以利用超宽带模块对定位标签进行定位,以实现对用户的定位。

超宽带(UWB,Ultra Wide Band)技术是一种新兴的无载波通信技术,以占空比很低的超短电磁能量窄脉冲作为信息载体,所以又被称为脉冲无线电;其信号定义为相对带宽(信号带宽与中心频率之比)大于0.2或在传输的任何时刻的绝对带宽不小于500MHz的脉冲信号。一般地,UWB信号使用的频段范围为3.1GHz~10.6GHz,而且,UWB信号的发射功率须在1MW以下。UWB信号的信号带宽和独特的频域和时域特性,使其在信道容量上较其他通信方式有明显优势,其具有高速数据传输、低功耗、保密性强、高处理增益、抗多径能力强和定位精准等特点。另外,单个定位标签的定位精度可达10cm。

在一些可选的实施方式中,超宽带模块为超宽带到达角度(UWB-AOA,Ultra WideBand-Angle of Arrival)定位设备;定位标签为超宽带到达角度(UWB-AOA,Ultra WideBand-Angle of Arrival)跟踪标签。

基于超宽带到达角度定位设备和超宽带到达角度跟踪标签之间的通信,本实施例还能够高精准地测量俯仰角、水平偏移角以及直线距离,从而为高精度导播提供数据支持。

结合图5所示,本实施例可按照图示建立XYZ坐标系,XY表示水平面,在原点(0,0,0)上方可设置UWB-AOA定位设备100与摄像机模块400(包括云台和设置于该云台上的摄像机),例如在A(0,0,H)点设置;其中,H例如是2.5米至3.5米之间的任意值,例如H=2.5米;用户200身上携带着定位标签300,通过UWB-AOA定位设备100与定位标签300之间的通信测定用户位置信息。

本实施例涉及的超宽带到达角度定位设备以AOA(Angle of Arrival,到达角度)技术测定到达角度差,到达角度差例如可包括俯仰角和水平偏移角,超宽带到达角度定位设备以TOF(Time Of Flight,飞行时间)技术进行测距。而对于超宽带到达角度定位设备基于定位标签测定到达角度差和测距的具体过程属于超宽带到达角度定位设备自带的功能,本实施例不进行赘述。

步骤S102,将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机。

其中,本实施例的云台为转动云台,用于调节摄像机镜头的朝向。

本实施例中的控制参数,随着用户位置信息的更新而动态更新。

步骤S103,根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。

具体实施时,在用户移动的过程中,用户位置信息发生变化,则控制参数将随着用户位置信息的变化而变化,从而对云台进行动态控制,进而达到动态控制摄像机的目的。

在一些可选的实施方式中,摄像机为具备云台的摄像机,摄像机和超宽带模块均设置于距地面预设高度的同一位置上。

本实施例中的摄像机可搭载有可活动的云台,摄像机随着云台的活动调整摄像头的朝向;通过将超宽带模块与摄像机固定于距地面预设高度的同一位置上,本发明能够减少将用户位置信息转换为云台的控制参数的过程的计算量,降低转换过程中出错的可能性,进而提高本发明对云台控制的可靠性,更精准地控制摄像机。

在一些可选的实施方式中,摄像机与超宽带模块集成于同一目标设备上。

本实施例中的目标设备具体为一种整合有具备云台的摄像机和超宽带模块的一体化设备,通过一体化设备与定位标签配合能够实现自动导播功能,而且一体化设备更便于使用者对设备的安装和使用。

本实施例提供的自动导播方法,基于超宽带模块和定位标签检测用户位置信息,并将用户位置信息转换成为控制云台动作的控制参数,根据控制参数对云台进行控制,从而达到对云台上的摄像机进行控制的目的,进而使得摄像机镜头对准用户,以实现对用户的有效追踪,以进行导播。借助于超宽带模块在导播方法上的运用,与AI识别算法等相关技术相比,本发明解决了仅依靠人脸识别进行定位存在的局限较大、室外定位困难、多人出现时易出现跟踪错误等问题,本发明能够实现自动导播功能,提高导播精度;可见本发明既能够应用于室内常态化录播场景,又能够覆盖室外移动录播场景,实现室内和室外等多场景下的自动导播功能。

在本实施例中提供了一种自动导播方法,可用于摄像机上的控制器,图2是根据本发明实施例的自动导播方法的流程图,如图2所示,该流程包括如下步骤:

步骤S201,获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接。详细请参见图1所示实施例的步骤S101,在此不再赘述。

步骤S202,将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机。

具体地,上述步骤S202包括:

步骤S2021,利用用户位置信息构建位置描述函数,用户位置信息包括俯仰角和水平偏移角,俯仰角表示定位标签、超宽带模块所在直线方向与竖直方向之间的夹角,水平偏移角表示定位标签在地面上的投影、超宽带模块在地面上的投影所在直线方向与预设的水平方向之间的夹角,位置描述函数用于表征用户位置信息。

本实施例中的用户例如可以为教师,则本实施例中的位置描述函数具体为教师位置函数。

结合图5所示,本实施例中的俯仰角通过α表示,水平偏移角通过β表示;在位置描述函数中,变量包括α和β。

步骤S2022,利用位置描述函数对云台控制函数进行更新,云台控制函数用于表征控制参数,控制参数包括云台垂直转向角度和云台水平转向角度。

本实施例中的用户例如可以为教师,则本实施例中的云台控制函数具体为相机控制函数。

本实施例使用位置描述函数对云台控制函数进行更新,包括通过俯仰角对云台垂直转向角度的更新和通过水平偏移角对云台水平转向角度的更新,以更精准地控制摄像机对准用户。

步骤S203,根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。详细请参见图1所示实施例的步骤S103,在此不再赘述。

在本实施例中提供了一种自动导播方法,可用于摄像机上的控制器,图3是根据本发明实施例的自动导播方法的流程图,如图3所示,该流程包括如下步骤:

步骤S301,获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接。详细请参见图2所示实施例的步骤S201,在此不再赘述。

步骤S302,将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机。详细请参见图2所示实施例的步骤S202,在此不再赘述。

步骤S303,根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。详细请参见图2所示实施例的步骤S203,在此不再赘述。

步骤S304,根据控制参数调整摄像机的焦距。其中,用户位置信息还包括直线距离,控制参数还包括焦距调整量,直线距离表示定位标签与超宽带模块之间的距离。

其中,在位置描述函数中,变量还包括直线距离d。

基于超宽带的方式,本实施例还能够精准确定用户与摄像机之间的距离,并具体根据定位标签与超宽带模块之间的距离作为用户与摄像机之间的距离,并基于该距离调整摄像机的焦距,从而提升导播画面的质量。

结合前述实施例中的超宽带到达角度定位设备,直线距离的测量方式可以为:以超宽带到达角度定位设备为基站,用户携带定位标签,通过基站与定位标签之间的信息交流记录信息的发送时间和到达时间,并可以根据获取的时间关系推算出信号飞行时间,从而得到基站与定位标签之间的直线距离,上述的实现方式一般被称为TOF测距,当然本发明测距的实现方式并不限于此。

本实施例的步骤S301至步骤S304,在一次导播的过程中往往要执行多次,具体的执行次数与用户移动/活动的次数正相关。

在本实施例中提供了一种自动导播方法,可用于摄像机上的控制器,图4是根据本发明实施例的自动导播方法的流程图,如图4所示,该流程包括如下步骤:

步骤S401,获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接。详细请参见图2所示实施例的步骤S201,在此不再赘述。

步骤S402,将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机。

具体地,上述步骤S402包括:

步骤S4021,利用用户位置信息构建位置描述函数,用户位置信息包括俯仰角和水平偏移角,俯仰角表示定位标签、超宽带模块所在直线方向与竖直方向之间的夹角,水平偏移角表示定位标签在地面上的投影、超宽带模块在地面上的投影所在直线方向与预设的水平方向之间的夹角,位置描述函数用于表征用户位置信息。

结合图5所示,用户位置信息还包括直线距离d。本发明实施例所需要的硬件模块包括超宽带到达角度(UWB-AOA,Ultra Wide Band-Angle of Arrival)定位设备100、用户200身上携带的定位标签300以及摄像机模块400。本实施例的用户可以为教师,当教师走动时,本实施例可通过UWB-AOA定位设备100测定教师所处位置B(x,y,z)与Z轴之间的俯仰角α,教师所处位置具体为定位标签300的位置,并测定UWB-AOA定位设备100与教师之间的直线距离d,教师在XY地平面上的投影为P(x,y,0)点,UWB-AOA定位设备100同时测定PO连线与X轴之间的水平偏移角β;其中,O点表示坐标系的原点500,即超宽带模块在地面上的投影,本实施例中,通过定位标签在地面上的投影600表示教师在XY地平面上的投影点P(x,y,0)。

步骤S4022,基于俯仰角,对云台垂直转向角度进行更新;基于水平偏移角,对云台水平转向角度进行更新;基于直线距离,对焦距调整量进行更新。

其中,云台控制函数用于表征控制参数,控制参数包括云台垂直转向角度和云台水平转向角度。

本发明实施例中的位置描述函数表示为F=f(α,β,d),其中,F表示位置描述函数,α表示俯仰角,β表示水平偏移角,d表示直线距离。本发明实施例中的云台控制函数表示为G=h(θ,γ,s),其中,G表示云台控制函数,θ表示云台垂直转向角度,γ表示云台水平转向角度,s表示焦距调整量。本发明一些实施例中,初始状态下摄像机镜头对准用户,则可以将云台垂直转向角度更新为俯仰角,即θ=α,将云台水平转向角度更新为水平偏移角,即γ=β;而焦距调整量与直线距离之间存在函数关系,表示为s=f(d)。

因此,本实施例中的云台控制函数(或可称为相机控制函数)具体可简化为

其中,h(θ,γ,s)表示基于云台垂直转向角度θ、云台水平转向角度γ、焦距调整量s构建的云台控制函数,f(d)表示基于直线距离d构建的焦距调整量函数。

本实施例基于所测量的俯仰角、水平偏移角、直线距离,实现精确地衡量用户与摄像机之间的空间位置关系,以达到精准地控制摄像机的垂直转向角度、水平转向角度及焦距调整量的目的。

在一些可选的实施方式中,基于直线距离,对焦距调整量进行更新,包括:

采用飞行时间(TOF,Time Of Flight)方式、反差对焦(Contrast Auto Focus,CAF)方式、相位检测自动聚焦(Phase Detection Auto Focus,PDAF)方式中的至少一种,确定直线距离对应的焦距调整量。

本实施例中,可以将TOF方式、CAF方式、PDAF方式中的两种或三种组合,以更准确地计算出调整后的焦距量;焦距调整量具体为调整后的焦距量与调整前的焦距量的差值,根据当前的直线距离,采用TOF方式、CAF方式、PDAF方式中的至少一种,确定与当前的直线距离对应的焦距量,该焦距量即调整后的焦距量。应当理解的是,TOF方式、CAF方式、PDAF方式对应的算法实现过程可以从相关技术中进行选择,本实施例不再赘述。

确定直线距离对应的焦距调整量的过程中,CAF方式对应的算法具有准确性更高的优点,PDAF方式对应的算法具有对焦速度快的优点,TOF方式对应的算法具有对焦速度快以及暗环境下对焦准确性好的优点,在将CAF方式对应的算法、PDAF方式对应的算法、TOF方式对应的算法组合时,本实施例可优先使用PDAF方式对应的算法和/或TOF方式对应的算法;所以本发明上述实施例的一种或多种确定焦距调整量的方式的组合,可以更为精确且快速地调整摄像机的焦距,提升导播画面质量。

步骤S403,根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。

本实施例基于位置描述函数动态控制摄像机,具体控制云台垂直转向角度和云台水平转向角度,以使导播画面中始终出现有用户。

步骤S404,根据控制参数调整摄像机的焦距。其中,用户位置信息还包括直线距离,控制参数还包括焦距调整量,直线距离表示定位标签与超宽带模块之间的距离。

本实施例基于位置描述函数动态控制摄像机,具体控制摄像机的焦距,以使导播画面中的用户足够清晰。

应当理解的是,本实施例中的步骤S403和步骤S404可以同步执行,即在动态控制摄像机对准用户的同时也可以动态控制着摄像机的焦距。

在一些可选的实施方式中,本发明提供的自动导播方法还包括:

对指定目标在导播画面中的位置和大小进行调整,以控制指定目标与导播画面的尺寸之间呈预设比例,并控制指定目标处于导播画面中的预设位置;其中,指定目标包括人脸和/或人体。

其中,预设比例根据画面显示需求进行合理设置,例如15%;预设位置也可根据实际情况进行设置,例如导播画面的中心位置。

基于前述的实施例,本发明已经实现对用户(例如,教师)的精确导播,且能够使得画面足够清晰,但是用户人脸和人体在导播画面中的位置可能出现不合适的情况,为克服该问题,本发明进一步可通过人工智能人脸和人形算法精细化调整画面,使得用户人脸、人体的大小与导播画面长宽呈一定比例,并可保证人脸、人体处于导播画面中的中心位置。人工智能人脸和人形算法具体实现过程可从相关技术中选择,本实施例不进行赘述。因此,本发明实施例在实现对用户进行自动导播的基础上,还能够对人脸、人体在导播画面中的位置进行精确调节,使用户人脸、身体在导播画面中处于合适位置,例如,在导播画面的中部,以实现精细化导播。

如图6所示,本发明具体能够提供一种基于超宽带到达角度和人脸识别的自动导播方法,该方法可包括但不限于如下的步骤。

步骤S601,超宽带到达角度定位设备(UWB-AOA)、云台及摄像机初始化,用户携带与超宽带到达角度定位设备配对的定位标签,并在初始化的过程中,超宽带到达角度定位设备能够与定位标签之间自动建立连接。

步骤S602,检测教师活动:位置变化、身体姿态变化。基于相互通信连接的超宽带到达角度定位设备与定位标签,本实施例的超宽带到达角度定位设备能够检测教师的位置。

步骤S603,超宽带到达角度定位设备测定三维空间中教师的位置描述函数F=f(α,β,d),利用位置描述函数F=f(α,β,d)更新控制函数G=h(θ,γ,s),例如,θ=α,γ=β,s=f(d)。

步骤S604,云台按照控制函数G=h(θ,γ,s)动作。云台动作的过程中,云台上的摄像机随着云台的动作而动作。

步骤S605,自动对焦程序检测当前导播画面,使用基于距离的自动对焦算法以参数d(即前述的直线距离)为输入完成快速初步对焦。以参数d为输入,本实施例可以使用TOF方式对应的算法完成快速初步对焦,然后可采用CAF方式对应的算法以及PDAF方式对应的算法对当前的画面精细化调整,使画面更清晰。

步骤S606,画面是否清晰。如果画面清晰,则执行步骤S607;如果画面不清晰,则返回步骤S605。

步骤S607,通过人工智能人脸、人形算法精细化调整画面,使教师人脸、人体的大小和画面长宽成一定比例。

步骤S608,人脸、人体画面在导播画面中的位置、大小合适。前述的步骤实现了对教师的精确导播,且能够使得画面足够清晰,但是教师人脸和人体在导播画面中的位置不一定理想,本发明进一步可通过人工智能人脸和人形算法精细化调整画面,使得教师人脸、人体的大小与导播画面长宽呈一定比例,并可保证人脸、人体处于导播画面中的中心位置。

综上,本发明提供的基于超宽带到达角度和人脸识别的自动导播方法,可利用超宽带到达角度(UWB-AOA,Ultra Wide Band-Angle of Arrival)定位设备定位教师等被追踪目标在室内、室外等三维教学场景下的位置,并建立了教师位置函数和相机控制函数两种数学模型,以教师位置函数作为输入对相机控制函数进行控制,以实现导播画面对教师位置的追踪,再利用AI人脸识别、人形识别算法等对导播画面进行精调,最终实现高精度地自动导播,从而有效解决相关技术中存在的人脸、人形识别误差率较高、跟踪精度和跟踪及时性较差等问题,有效解决相关技术中存在的难以及时地聚焦教师画面以及需要人工导播方式才能完成导播功能等问题。

在本实施例中还提供了一种自动导播装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种自动导播装置,如图7所示,包括:

位置获取模块701,用于获取通过超宽带模块检测的用户位置信息,超宽带模块与用户携带的定位标签通信连接。

参数转换模块702,用于将用户位置信息转换为云台的控制参数,云台与超宽带模块处于相同的位置,云台上设置有摄像机。

云台控制模块703,用于根据控制参数控制云台动作,以驱动摄像机对用户进行追踪。

在一些可选的实施方式中,参数转换模块702包括:

位置描述函数构建单元,用于利用用户位置信息构建位置描述函数,用户位置信息包括俯仰角和水平偏移角,俯仰角表示定位标签、超宽带模块所在直线方向与竖直方向之间的夹角,水平偏移角表示定位标签在地面上的投影、超宽带模块在地面上的投影所在直线方向与预设的水平方向之间的夹角,位置描述函数用于表征用户位置信息。

云台控制函数更新单元,用于利用位置描述函数对云台控制函数进行更新,云台控制函数用于表征控制参数,控制参数包括云台垂直转向角度和云台水平转向角度。

在一些可选的实施方式中,用户位置信息还包括直线距离,控制参数还包括焦距调整量,直线距离表示定位标签与超宽带模块之间的距离,上述的自动导播装置还包括:

焦距调整模块,用于根据控制参数调整摄像机的焦距。

在一些可选的实施方式中,云台控制函数更新单元包括:

第一角度更新子单元,用于基于俯仰角,对云台垂直转向角度进行更新。

第二角度更新子单元,用于基于水平偏移角,对云台水平转向角度进行更新。

焦距调整量更新子单元,用于基于直线距离,对焦距调整量进行更新。

在一些可选的实施方式中,焦距调整量更新子单元,用于采用飞行时间方式、反差对焦方式、相位检测自动聚焦方式中的至少一种,确定直线距离对应的焦距调整量。

在一些可选的实施方式中,超宽带模块为超宽带到达角度定位设备,定位标签为超宽带到达角度跟踪标签。

在一些可选的实施方式中,对指定目标在导播画面中的位置和大小进行调整,以控制指定目标与导播画面的尺寸之间呈预设比例,并控制指定目标处于导播画面中的预设位置;其中,指定目标包括人脸和/或人体。

在一些可选的实施方式中,上述的自动导播装置还包括:

目标调整模块,用于对指定目标在导播画面中的位置和大小进行调整,以控制指定目标与导播画面的尺寸之间呈预设比例,并控制指定目标处于导播画面中的预设位置;其中,指定目标包括人脸和/或人体。

在一些可选的实施方式中,摄像机为具备云台的摄像机;摄像机和超宽带模块均设置于距地面预设高度的同一位置上。

在一些可选的实施方式中,摄像机与超宽带模块集成于同一目标设备上。

上述各个模块和各个单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。

本实施例中的自动导播装置是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。

本发明实施例还提供一种电子设备,具有上述图8所示的自动导播装置。

请参阅图8,图8是本发明可选实施例提供的一种电子设备的结构示意图,如图8所示,该电子设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。

处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。

其中,所述存储器20存储有可由至少一个处理器10执行的指令,以使所述至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。

该电子设备还包括通信接口30,用于该电子设备与其他设备或通信网络通信。

本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术分类

06120116521119