掌桥专利:专业的专利平台
掌桥专利
首页

摄像装置、第一显示设备、第二显示设备及视频交互方法

文献发布时间:2023-06-19 11:26:00


摄像装置、第一显示设备、第二显示设备及视频交互方法

技术领域

本发明涉及无线通信技术领域,尤其涉及一种摄像装置、第一显示设备、第二显示设备及视频交互方法。

背景技术

在现有的远程视频交互过程中,大多建立在视频通话的基础上。如果在视频通话过程中,远程通话的两个用户,例如,用户A和用户B,用户A想要查看用户B的局部放大画面,用户B拍摄自己的局部放大画面,再发给远程通话的用户A,可以看出用户B在视频的过程中,启动的另外传送方式传送局部画面,用户A在视频的过程中,也会另外启动查看图片的应用。或者用户B通过拉近视频通话过程中的摄像头,使摄像头采集用户的近距离视频。

综上可知,现有的方式中从整张图片的视频改成该整张图片的局部区域的视频的过程,操作比较繁琐。

发明内容

本发明提供一种摄像装置、第一显示设备、第二显示设备及视频交互方法,能够从视频中截取到目标区域,这样可以以截取的目标图像为基础码流进行放大处理,从而能够直接从视频改成局部区域的视频,简化了用户操作。

第一方面,本发明实施例提供的一种摄像装置,包括:采集单元、通信单元和处理器;

所述采集单元,用于在第一用户和第二用户进行视频过程中采集第一用户的视频;

所述处理器,用于在第一用户和第二用户进行视频过程中,若接收到所述第二用户触发的放大指令,则根据所述第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中截取目标区域;其中,所述放大指令为由所述第二用户在第二显示设备上触发的;所述第二显示设备为第二用户进行视频使用的显示设备;

所述通信单元,用于接收由第一显示设备发送的放大指令,以及将所述目标区域通过所述第一显示设备转发给所述第二显示设备,其中,所述第一显示设备为第一用户进行视频使用的显示设备。

上述摄像装置,能够在第一用户和第二用户进行视频过程中,根据第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中截取目标区域,从而使得第二显示设备能够显示目标区域中的需要放大区域的视频,从而能够直接从视频改成局部区域的视频,简化了用户操作。

第二方面,本发明实施例提供的一种摄像装置,包括:采集单元、通信单元和处理器;

所述采集单元,用于在第一用户和第二用户进行视频过程中采集第一用户的视频;

所述处理器,用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述目标分辨率为所述第一用户进行视频使用的第一显示设备和所述第二显示设备之间连接的网络的网络带宽对应的分辨率;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;

从包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

所述通信单元,用于接收所述第一显示设备发送的放大指令,以及将所述目标区域通过所述第一显示设备转发给所述第二显示设备。

上述摄像装置,能够在第一用户和第二用户进行视频过程中,考虑到摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,从包含第一用户的视频中截取目标区域,然后再发给第二显示设备,这样不仅能够使得第二显示设备能够直接得到局部区域的视频,同时能够满足网络带宽对应的分辨率的要求。

在一种可能的实现方式中,所述原始位置信息为在所述第二显示设备分辨率下的原始像素坐标;所述处理器,具体用于:

根据所述摄像装置的分辨率和所述第二显示设备的分辨率之间的倍数关系,将所述原始像素坐标转换为所述摄像装置的分辨率的像素坐标;

按照所述摄像装置的分辨率的像素坐标,从所述摄像装置采集到的视频的图像帧中截取候选区域;

若所述候选区域横坐标方向上的像素个数在第一预设范围内,且纵坐标方向上的像素个数在第二预设范围内,则将所述第一预设范围和所述第二预设范围对应的分辨率转换关系,作为目标转换关系,其中,所述第一预设范围和所述第二预设范围均根据所述目标分辨率确定的。

上述摄像装置,能够通过摄像装置的分辨率和第二显示设备的分辨率之间的倍数关系,从而获取到候选区域,通过目标分辨率确定的预设范围,依据候选区域,选择分辨率转换关系,从而能够通过目标转换关系,得到预设分辨率的目标区域,这样可以考虑到目标分辨率选择目标转换关系,可以使得根据目标转换关系得到的目标区域能够满足目标分辨率的要求。

在一种可能的实现方式中,所述摄像装置采集到的视频的图像帧中横坐标方向上包括至少一个第一固定区域和至少一个第一变化区域;所述摄像装置采集到的视频的图像帧中纵坐标方向上包括至少一个第二固定区域和至少一个第二变化区域;

所述处理器,具体用于:

若位置横坐标在所述第一固定区域内,则将所述目标转换关系中的预设像素横坐标,作为目标位置信息中像素横坐标;其中,所述位置横坐标为根据所述原始像素坐标中像素横坐标确定的;

若所述位置横坐标在所述第一变化区域内,则将所述原始像素坐标中像素横坐标输入到,所述目标转换关系中的横坐标转换关系后得到的值,作为目标位置信息中像素横坐标;

若位置纵坐标在所述第二固定区域内,则将所述目标转换关系中的预设像素纵坐标,作为目标位置信息中像素纵坐标;其中,所述位置纵坐标为根据所述原始像素坐标中像素纵坐标确定的;

若所述位置纵坐标在所述第二变化区域,则将原始像素坐标中像素纵坐标输入到,所述目标转换关系中的纵坐标转换关系后得到的值,作为目标位置信息中像素纵坐标;

将目标位置信息中像素横坐标、以及目标位置信息中像素纵坐标,组成目标位置信息。

通常图像的边缘区域像素定位比较麻烦,上述摄像装置,通过确定位置坐标在视频中设定的固定区域和变化区域中的哪个区域,从而选择目标转换关系中的预设像素坐标或者坐标转换关系得到目标位置信息,从而提高了处理的速度。

第三方面,本发明实施例提供的一种第一显示设备,包括控制器、通信器、外部装置接口、显示器;

所述外部装置接口与摄像装置相连,用于接收所述摄像装置采集的包含第一用户的视频;

所述控制器,用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述目标分辨率为第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率;

以及根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;从包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

所述通信器,用于接收所述第二显示设备发送的所述放大指令、接收所述第二显示设备发送的包含所述第二用户的视频、以及发送所述目标区域给所述第二显示设备;

所述显示器,用于显示包含所述第二用户的视频。

上述第一显示设备,能够在第一用户和第二用户进行视频过程中,通过外部装置接口获取到摄像装置采集的包含第一用户的视频,考虑到摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,从包含第一用户的视频中截取目标区域,然后再发给与第一显示设备通过网络连接的第二显示设备,这样不仅能够使得第二显示设备能够直接得到局部区域的视频,同时能够满足网络带宽对应的分辨率的要求。

在一种可能的实现方式中,所述显示器,还用于以小窗口的形式显示所述目标区域中的需要放大区域。

上述第一显示设备,在显示包含第二用户的视频时,还可以显示自己的局部区域,供第一用户观看。

第四方面,本发明实施例提供的一种第二显示设备,包括:通信单元、处理器以及显示器;

所述通信单元,用于发送放大指令给第一用户进行视频使用的第一显示设备,以及接收所述第一显示设备发送给的目标区域;其中,所述目标区域为根据第二用户选择的需要放大区域的位置信息从包含第一用户的视频中截取到的;

所述显示器,用于显示所述目标区域中的需要放大区域;

所述处理器,用于在第一用户和第二用户进行视频过程中,若接收到所述第二用户触发的放大指令,则控制所述通信单元将所述放大指令发送给第二显示设备、以及控制所述显示器显示所述目标区域中的需要放大区域。

上述第二显示设备,能够在第二显示设备触发放大后,从包含第一用户的视频中截取目标区域,传输到第二显示设备,本发明能够直接从视频改成局部区域的视频,简化了用户操作。

在一种可能的实现方式中,所述处理器,具体用于:

根据所述原始位置信息和所述目标位置信息,确定所述目标区域的放大倍数;

控制所述显示器以所述目标区域中所述需要放大区域的中心为所述第二显示设备的显示中心,显示放大后的所述目标区域中的需要放大区域。

上述第二显示设备,能够确定目标区域中需要放大区域的放大倍数,并在放大后,以目标区域中需要放大区域的中心为第二显示设备的显示中心,显示给第二用户,这样以目标区域的视频流作为基础码流进行放大处理时,提高了放大处理后的图像的清晰度。

第五方面,本发明实施例提供的一种视频交互方法,应用于采集第一用户的视频的摄像装置中,包括:

在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述目标分辨率为第一显示设备和所述第二显示设备之间连接的网络的网络带宽对应的分辨率;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述第一显示设备为所述第一用户进行视频使用的显示设备;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;

从所述包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

将截取后的目标区域通过第一显示设备发送给所述第二显示设备,以使所述第二显示设备进行显示所述目标区域中的需要放大区域。

第六方面,本发明实施例提供的一种视频交互方法,应用于第一用户进行视频使用的第一显示设备中,包括:

在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述目标分辨率为第一显示设备和所述第二显示设备之间连接的网络的网络带宽对应的分辨率;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述第一显示设备为所述第一用户进行视频使用的显示设备;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;

从所述包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

将截取后的目标区域发送给所述第二显示设备,以使所述第二显示设备进行显示所述目标区域中的需要放大区域。

第七方面,本发明实施例提供的一种视频交互方法,应用于第二用户进行视频使用的第二显示设备中,包括:

在第一用户和第二用户进行视频过程中,若接收到所述第二用户触发的放大指令,则将所述放大指令发送给第一显示设备;其中,所述第一显示设备为所述第一用户进行视频使用的显示设备;

接收目标区域;其中,所述目标区域为根据第二用户选择的需要放大区域的位置信息从包含第一用户的视频中截取到的;

显示所述目标区域中的需要放大区域。

第八方面,本发明还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理单元执行时实现第五方面至第七方面所述视频交互方法的步骤。

另外,第五方面实现第五方面所述视频交互方法的步骤的第八方面中任一种实现方式所带来的技术效果可参见第二方面中不同实现方式所带来的技术效果,此处不再赘述。第六方面实现第六方面所述视频交互方法的步骤的第八方面中任一种实现方式所带来的技术效果可参见第三方面中不同实现方式所带来的技术效果,此处不再赘述。第七方面和实现第七方面所述视频交互方法的步骤的第八方面中任一种实现方式所带来的技术效果可参见第四方面中不同实现方式所带来的技术效果,此处不再赘述。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理,并不构成对本发明的不当限定。

图1是本发明实施例提供的一种视频交互的系统的结构图;

图2是本发明实施例提供的一种显示设备与用户进行交互的示意图;

图3是本发明实施例提供的一种正在进行视频过程中第二显示设备与用户进行交互的示意图;

图4是本发明实施例提供的一种截取目标区域后第二显示设备与显示设备正在进行视频的示意图;

图5是本发明实施例提供的一种视频交互的系统的信息交互的流程图;

图6是本发明实施例提供的另一种视频交互的系统的信息交互的流程图;

图7是本发明实施例提供的一种从视频帧中截取需要放大区域、以及从需要放大区域中再次截取放大区域的示意图;

图8是本发明实施例提供的一种应用于摄像装置视频交互的方法的流程图;

图9是本发明实施例提供的一种应用于第一显示设备的视频交互的方法的流程图;

图10是本发明实施例提供的一种应用于第二显示设备的视频交互的方法的流程图;

图11是本发明实施例提供的一种摄像装置的结构图;

图12是本发明实施例提供的一种第二显示设备的结构图;

图13是本发明实施例提供的一种第一显示设备的结构图。

具体实施方式

为了使本领域普通人员更好地理解本发明的技术方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。

目前,在第一用户和第二用户进行视频通话过程中,如果第二用户想要获取视频中的图像帧的第一用户的局部清晰放大区域,第一用户只能通过拍摄自己局部清晰放大图像,通过非视频通话的方式发送给第二用户,使得过程比较繁琐。

对此,本发明实施例提供了一种摄像装置、第一显示设备、第二显示设备及视频交互方法,根据第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中截取目标区域,从而使得第二显示设备能够显示目标区域中的需要放大区域的视频,从而能够直接从视频改成局部区域的视频,简化了用户操作。

本发明实施例提供了一种进行视频交互的系统,包括:第一用户进行视频使用的第一显示设备、第二用户进行视频使用的第二显示设备、以及摄像装置;第一显示设备和第二显示设备通过网络连接、第一显示设备中的外接装置接口与摄像装置连接,外接装置接口为USB(Universal Serial Bus,通用串行总线)、MIPI(Mobile Industry ProcessorInterface,移动产业处理器接口)。

其中,该进行视频交互的系统中可以实现以下功能:在第一用户和第二用户进行视频过程中获取到第一用户的视频,获取到第二用户的视频,并且,若接收到由第二用户在第二显示设备上触发的放大指令,则根据第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中截取目标区域,能够使得第一显示设备显示包含第二用户的视频,第二显示设备在未接收到放大指令前,显示包含第一用户的视频,在接收到放大指令后,显示目标区域中的需要放大区域。

考虑到第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率的限制,进行视频交互的系统,在截取目标区域时,除了上述的过程,还可以:根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;目标分辨率为第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率;根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息;从包含第一用户的视频中目标图像帧之后的每一帧中,按照目标位置信息截取目标区域;其中,目标图像帧为第二用户触发所述放大指令时视频中的图像帧。

示例性的,在上述系统中,第一显示设备和第二显示设备之间可以通过服务器转发视频流,例如,第一显示设备将包含第一用户的视频通过服务器转发给第二显示设备,第一显示设备将目标区域通过服务器转发给第二显示设备,服务器除了具有视频转发的功能,还具有身份认证的功能。例如,第一用户通过显示设备输入自己的用户名和密码、第二用户通过第二显示设备输入自己的用户名和密码,显示设备和第二显示设备通过与服务器交互,实现用户登录验证和用户类型识别操作。第一用户和第二用户登录成功后,会收到由服务器发送的token。其中,token用于在进行视频通话过程中,服务器进行token校验,进而响应用户操作以及实现视频流转发操作。

当然,视频转发的功能和身份认证的功能还可以在两个服务器中实现。本发明并不做具体限制。第一服务器负责视频转发,第二服务器负责身份认证。

其中,第一显示设备可以为电视,摄像装置为电视上安装的摄像头,第二显示设备可以为电脑、pad、手机等显示设备。

结合图1所示,进行视频交互的系统中包括第一用户,即患者,进行视频使用的电视100、安装在电视上的摄像头101、登录认证服务器102、视频问诊服务器103、第二用户,即医生,进行视频使用的第二显示设备,例如电脑104、平板电脑105、手机106;电视100分别与电脑104、平板电脑105、手机106通过网络连接。

患者通过电视100输入用户名密码、医生通过电脑104输入用户名密码,将输入的用户名密码发送给登录验证服务器102,登录验证服务器102进行身份验证,验证通过后登录认证服务器102可以给患者发送相应身份的页面,登录认证服务器102可以给医生发送相应身份的页面,同时会收到由登录验证服务器发送的token,用于在进行视频通话过程中,视频问诊服务器进行token校验,进而响应用户操作以及实现视频流转发操作。

结合图2所示,患者向登录验证服务器102求取在线医生,登录认证服务器102发送给电视100在线医生的列表,例如王医生、李医生、张医生,患者在页面中选择一个在线医生,例如,张医生,向张医生发起视频问诊请求。

例如,张医生进行视频使用的第二显示设备为电脑104,张医生在电脑104侧接收视频问询请求。

摄像头101采集第一用户的视频,完成视频数据压缩,传输至电视100,电视100将视频通过视频问诊服务器103发送给电脑104。

结合图3所示,张医生在电脑104上框选需要放大区域,并在点击框选后的“+”的圆圈,则电脑104生成放大指令,放大指令对应有需要放大区域的位置信息。

当电脑104产生放大指令后,通过视频问诊服务器103发送给电视100,可以通过电视100、或者摄像头101完成截取目标区域。结合图4所示,电脑104显示目标区域中的需要放大区域。

示例性的,进行视频交互的系统中实现上述功能时,系统中的各个设备进行交互的流程为:

其中,若截取目标区域的过程在摄像装置中实现时,则系统中每个元件的工作过程,结合图5所示,为:

S500:摄像装置采集第一用户的视频;

S501:摄像装置将包含第一用户的视频发送给第一显示设备;

S502:第一显示设备将包含第一用户的视频发送给第二显示设备;

S503:第二显示设备响应第二用户触发的放大指令;

第二用户选择的需要放大区域,在第二显示设备的分辨率下的需要放大区域的原始位置信息采用需要放大区域的左上顶点和右下顶点坐标,分别为(x1,y1)、(x2,y2),这两个原始像素坐标表示。该坐标由视频通话定制RTP协议经发送给第一显示设备。

顶点坐标封装至RTP包的填充字节或扩展头部中,例如,X位置处开启RTP头的扩展头部,结合表1所示,RTP头的格式可以包含序列号(sequence number)、时间戳(timestamp)、同步源标识符(synchronization source(SSRC)identifier)、贡献源标识符(contributing source(CSRC)identifiers)。

表1

表1中的X的位置处,开启RTP头的扩展头部。扩展的头部,结合表2所示,包括:由配置文件定义(defined by profile)、长度(length)、报头扩展(header extension)。

表2

封装字段的内容如下表3所示:

表3

S504:第二显示设备将放大指令发送给第一显示设备;

S505:第一显示设备接收到放大指令后,发送给摄像装置;

S506:摄像装置根据第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中目标图像帧之后的每一帧中,截取目标区域;

S507:摄像装置将目标区域发给第一显示设备;

S508:第一显示设备将目标区域发给第二显示设备;

S509:第二显示设备显示目标区域中的需要放大区域。

若截取目标区域的过程在第一显示设备中实现时,则系统中每个元件的工作过程,结合图6所示,为:

S600:摄像装置采集第一用户的视频;

S601:摄像装置将包含第一用户的视频发送给第一显示设备;

S602:第一显示设备将包含第一用户的视频发送给第二显示设备;

S603:第二显示设备响应第二用户触发的放大指令;

S604:第二显示设备将放大指令发送给第一显示设备;

S605:第一显示设备接收到放大指令后,根据第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中目标图像帧之后的每一帧中,截取目标区域;

S606:第一显示设备将目标区域发送给第二显示设备;

S607:第二显示设备显示目标区域中的需要放大区域。

在考虑到第二显示设备与摄像装置的分辨率不同,而且截取的目标区域的传输时是通过网络进行的,所以会受到网络带宽对应的分辨率的影响。对此,本发明提出了:

摄像装置还用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;目标分辨率为第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率;根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息;从包含第一用户的视频中目标图像帧之后的每一帧中,按照目标位置信息截取目标区域;其中,目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

或者第一显示设备还用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息;从包含第一用户的视频中目标图像帧之后的每一帧中,按照目标位置信息截取目标区域。

其中,需要放大区域的原始位置信息为在第二用户进行视频使用的第二显示设备分辨率下的原始像素坐标,例如,需要放大区域中左上角顶点的像素坐标和右下角顶点的像素坐标。然而,第二显示设备的分辨率和摄像装置的分辨率不同,所以不能直接按照需要放大区域的位置信息去从摄像装置采集的视频的图像帧中截取需要放大区域,同时,还需要考虑第一显示设备和第二显示设备之间的网络的网络带宽对应的分辨率,所以,确定目标转换关系,具体来说:

根据摄像装置的分辨率和第二显示设备的分辨率之间的倍数关系,将原始像素坐标转换为摄像装置的分辨率的像素坐标;

按照摄像装置的分辨率的像素坐标,从摄像装置采集到的视频的图像帧中截取候选区域;

若候选区域横坐标方向上的像素个数在第一预设范围内,且纵坐标方向上的像素个数在第二预设范围内,则将第一预设范围和第二预设范围对应的分辨率转换关系,作为目标转换关系,其中,第一预设范围和第二预设范围均根据目标分辨率确定的。

其中,将原始像素坐标转换为摄像装置的分辨率下的像素坐标,例如,摄像装置的分辨率是第二显示设备的分辨率的4倍,则转换坐标时:原始像素坐标中横坐标的2倍为摄像装置的分辨率下的像素坐标中横坐标的值,原始像素坐标中纵坐标的2倍为摄像装置的分辨率下的像素坐标中纵坐标的值。

例如,摄像装置的分辨率为4k,第二显示设备的分辨率为1080p,由于4k与1080p之间为1/4的换算关系,即4k的横坐标方向上的像素点是1080p的横坐标方向的像素点的2倍,4k的纵坐标方向上的像素点是1080p的纵坐标方向的像素点的2倍;所以,根据倍数关系,当原始位置信息分别为(x1,y1)和(x2,y2),则摄像装置的分辨率的像素坐标为(2x1,2y1)和(2x2,2y2)。

若摄像装置的分辨率为8k,第二显示设备的分辨率为1080p,由于8k与1080p之间为1/16的换算关系,即8k的横坐标方向上的像素点是1080p的横坐标方向的像素点的4倍,8k的纵坐标方向上的像素点是1080p的纵坐标方向的像素点的4倍;所以,根据倍数关系,当原始像素坐标分别为(x1,y1)和(x2,y2),则摄像装置的分辨率的像素坐标为(4x1,4y1)和(4x2,4y2)。

其中,第一预设范围和第二预设范围均根据第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率确定的。

例如,第一预设范围和第二预设范围为根据网络带宽对应的分辨率或者网络带宽对应的分辨率的倍数确定的,第一预设范围为限定横坐标方向上的分辨率,第二预设范围为限定纵坐标方向上的分辨率,例如,当摄像装置的分辨率为8k、网络带宽对应的分辨率为1080p时,第一预设范围以1920、3840为界限的预设范围,第二预设范围以2160、1080为界限的预设范围。当摄像装置的分辨率为4k、第二显示设备的分辨率为1080p时,第一预设范围以1920为界限的预设范围,第二预设范围以1080为界限的预设范围。

其满足对应的预设范围那么根据对应的目标转换关系截取的目标区域的分辨率也是为网络带宽对应的分辨率确定的,目标区域的横坐标方向上的分辨率为网络带宽对应的横坐标方向上分辨率或者网络带宽对应的横坐标方向上分辨率的倍数,目标区域的纵坐标方向上的分辨率可以为网络带宽对应的纵坐标方向上分辨率或网络带宽对应的纵坐标方向上分辨率的倍数。例如,当摄像装置的分辨率为8k、网络带宽对应的分辨率为1080p时,目标区域可以具有的分辨率为1080p、4k。当摄像装置的分辨率为4k、第二显示设备的分辨率为1080p时,目标区域可以具有的分辨率为1080p。

对于具体的确定目标转换关系的过程,例如,摄像装置的分辨率为4k,第二显示设备的分辨率为1080p,那么根据4k和1080P的4倍的倍数关系,原始像素坐标(x1,y1)、(x2,y2),变为在4k下的像素坐标(2x1,2y1)、(2x2,2y2),然后从4k的图像帧中截取出2*|x2-x1|、2|y2-y1|的候选区域。

由于摄像装置的分辨率为4k,由于网络带宽对应的分辨率为1080p,则第一预设范围为小于1920,第二预设范围为小于1080;

即2*|x2-x1|<1920;2*|y2-y1|<1080;其中,坐标(x1,y1)和(x2,y2)为原始像素坐标,例如,坐标(x1,y1)为(400,400),(x2,y2)为(600,500)。

其中,2*(600-400)=400<1920;2*(500-400)=200<1080;则说明候选区域的分辨率小于1920*1080,则可以将第一预设范围和第二预设范围对应的分辨率转换关系,作为目标转换关系。

示例性的,摄像装置的分辨率为8k,第二显示设备的分辨率为1080p,那么根据8k和1080P的16倍的倍数关系,将原始像素坐标(x1,y1)、(x2,y2),变为在8k下的像素坐标(4x1,4y1)、(4x2,4y2),然后从8k的图像帧中截取出4*|x2-x1|、4|y2-y1|的候选区域。

由于摄像装置的分辨率为8k,网络带宽对应的分辨率为1080p,则可以具有的预设范围为不超过1902、不超过1080、在1920到3840之间,不超过2610、在1080和2160之间、不超过3840;

其中,候选区域横坐标方向上的像素个数与不超过1902、在1920到3840之间、不超过3840进行判断,即确定候选区域横坐标方向上的像素个数属于哪个范围;

候选区域纵坐标方向上的像素个数与不超过1080、不超过2610、在1080和2160之间进行判断,即确定候选区域纵坐标方向上的像素个数属于哪个范围;

例如,4*|x2-x1|≤1920且4*|y2-y1|≤1080,则说明候选区域的分辨率小于1920*1080;

1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840,则说明候选区域的分辨率大于1080p,但小于4k;

若4*|x2-x1|≤1920且4*|y2-y1|≤1080,则将4*|x2-x1|≤1920且4*|y2-y1|≤1080对应的分辨率转换关系,作为目标转换关系;

若1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840,则将1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840对应的分辨率转换关系,作为目标转换关系。

其中,摄像装置采集到的视频的图像帧中横坐标方向上包括至少一个第一固定区域和至少一个第一变化区域;摄像装置采集到的视频的图像帧中纵坐标方向上包括至少一个第二固定区域和至少一个第二变化区域;

根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下的需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息,包括:

若位置横坐标在所述第一固定区域内,则将目标转换关系中的预设像素横坐标,作为目标位置信息中像素横坐标;其中,位置横坐标为根据原始像素坐标中像素横坐标确定的;

若位置横坐标在第一变化区域内,则将原始像素坐标中像素横坐标输入到,目标转换关系中的横坐标转换关系后得到的值,作为目标位置信息中像素横坐标;

若位置纵坐标在第二固定区域内,则将目标转换关系中的预设像素纵坐标,作为目标位置信息中像素纵坐标;其中,位置纵坐标为根据所述原始像素坐标中像素纵坐标确定的;

若位置纵坐标在第二变化区域,则将原始像素坐标中像素纵坐标输入到,目标转换关系中的纵坐标转换关系后得到的值,作为目标位置信息中像素纵坐标;

将目标位置信息中像素横坐标、以及目标位置信息中像素纵坐标,组成目标位置信息。

示例性的,在摄像装置的4k下2*|x2-x1|<1920;2*|y2-y1|<1080对应的转换关系为:

如果x1+x2<960,那么a=0,c=1919;

如果x1+x2>2880,那么a=1920,c=3839;

否则a=x1+x2-960,c=x1+x2+960;

如果y1+y2<540,那么b=0,d=1079;

如果y1+y2>1620,那么b=1080,d=2159;

否则b=y1+y2-540,d=y1+y2+540;

上述关系中单位为像素。

可以看出目标转换关系是原始像素坐标转换目标位置信息的关系,其中根据目标位置信息截取出来的目标区域的分辨率为网络带宽对应的分辨率或网络带宽对应的分辨率的倍数。

其中,摄像装置采集到的视频的图像帧中横坐标方向上包括两个第一固定区域,一个第一固定区域为小于960,另一个第一固定区域为大于2880;摄像装置采集到的视频的图像帧中纵坐标方向上包括两个第二固定区域,一个第二固定区域为小于540,另一个第二固定区域为大于1620;

详细来说,本发明通过两个原始像素中像素横坐标相加的值来代表位置横坐标;两个原始像素中像素纵坐标相加的值来代表位置纵坐标;若位置横坐标小于第一阈值,说明位置横坐标位于一个第一固定区域内,则将目标转换关系中的第一阈值对应的预设值,作为目标位置信息中像素横坐标,第一阈值可以为960;小于960,则将a=0,c=1919;

若位置横坐标大于第二阈值,第二阈值为2880,说明位置横坐标位于另一个第一固定区域内,则将目标转换关系中的第二阈值对应的预设值,即a=1920,c=3839,作为目标位置信息中像素横坐标;

若位置横坐标均不满足小于第一阈值和大于第二阈值,则利用目标转换关系中的横坐标转换关系,a=x1+x2-960,c=x1+x2+960,求取目标位置信息中像素横坐标;

同样的,若位置纵坐标小于第三阈值,第三阈值为540,说明位置纵坐标位于一个第二固定区域内,则将目标转换关系中的第三阈值对应的预设值,即b=0,d=1079,作为目标位置信息中像素纵坐标;

若位置纵坐标大于第四阈值,第四阈值为1620,说明位置纵坐标位于另一个第二固定区域内,则将目标转换关系中的第四阈值对应的预设值,即b=1080,d=2159,作为目标位置信息中像素纵坐标;

若位置纵坐标均不满足小于第三阈值和大于第四阈值,则利用目标转换关系中的纵坐标转换关系,b=y1+y2-540,d=y1+y2+540,求取目标位置信息中像素纵坐标。

以坐标(x1,y1)为(400,400),(x2,y2)为(600,500)为例,转换时:

由于400+600>960,且<2880,所以,a=x1+x2-960=400+600-960=40,c=x1+x2+960=400+600+960=1960;

由于400+500>540,且<1620,所以,b=y1+y2-540=400+600-540=360,d=y1+y2+540=400+600+540=1540;

则目标位置信息为(40,360)、(1960,1540)。

以坐标(x1,y1)为(100,50),(x2,y2)为(600,500)为例,转换时:

由于100+600=700<960,所以,a=0,c=1919;

由于50+500=550>540,且<1620,所以,b=y1+y2-540=550-540=10,d=y1+y2+540=550+540=1090。

示例性的,在摄像装置的8k下1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840对应的转换关系为:

如果x1+x2<960,那么a=0,c=3839;

如果x1+x2>2880,那么a=3840,c=7679;

否则a=2(x1+x2)-1920,c=2(x1+x2)+1920;

如果y1+y2<540,那么b=0,d=2159;

如果y1+y2>1620,那么b=2160,d=4319;

否则b=2(y1+y2)-1080,d=2(y1+y2)+1080;

其中,摄像装置采集到的视频的图像帧中横坐标方向上包括两个第一固定区域,一个第一固定区域为小于960,另一个第一固定区域为大于2880;摄像装置采集到的视频的图像帧中纵坐标方向上包括两个第二固定区域,一个第二固定区域为小于540,另一个第二固定区域为大于1620;

详细来说,若位置横坐标小于第一阈值,即第一阈值为960,说明位置横坐标位于一个第一固定区域内,则将目标转换关系中的第一阈值对应的预设值,作为目标位置信息中像素横坐标,a=0,c=3839;

若位置横坐标大于第二阈值,第二阈值为2880,说明位置横坐标位于另一个第一固定区域内,则将目标转换关系中的第二阈值对应的预设值,即a=3840,c=7679,作为目标位置信息中像素横坐标;

若位置横坐标均不满足小于第一阈值和大于第二阈值,说明位置横坐标位于第一变化区域内,则利用目标转换关系中的横坐标转换关系,a=2(x1+x2)-1920,c=2(x1+x2)+1920,求取目标位置信息中像素横坐标;

同样的,若位置纵坐标小于第三阈值,第三阈值为540,说明位置纵坐标位于一个第二固定区域内,则将目标转换关系中的第三阈值对应的预设值,即b=0,d=2159,作为目标位置信息中像素纵坐标;

若位置纵坐标大于第四阈值,第四阈值为1620,说明位置纵坐标位于另一个第二固定区域内,则将目标转换关系中的第四阈值对应的预设值,即b=2160,d=4319,作为目标位置信息中像素纵坐标;

若位置纵坐标均不满足小于第三阈值和大于第四阈值,则利用目标转换关系中的纵坐标转换关系,说明位置纵坐标位于第二变化区域内,b=2(y1+y2)-1080,d=2(y1+y2)+1080,求取目标位置信息中像素纵坐标。

以坐标(x1,y1)为(300,600),(x2,y2)为(1000,1000)为例;

由于|x2-x1|=|1000-300|=700,700*4=2800,1920<2800≤3840;|y2-y1|=|1000-600|=400,400*4=1600,1600≤2160,所以,坐标(x1,y1)为(300,600),(x2,y2)为(1000,1000)符合1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840,则采用8k下1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840对应的分辨率转换关系,确定目标位置信息。

在摄像装置的8k下1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840对应的转换关系,转换时:

由于300+1000=1300>960,<2880,所以,a=2(x1+x2)-1920=2(1300)-1920=680,c=2(x1+x2)+1920=2*1300+1920=4520;

由于600+1000=1600>540,且<1620,所以,b=2(y1+y2)-1080=1000+600-1080=2120,d=2(y1+y2)+1080=2(1000+600)+1080=4280;

则目标位置信息为(680,2120)、(4520,4280)。

示例性的,在摄像装置的8k下4*|x2-x1|≤1920且4*|y2-y1|≤1080对应的转换关系为:

如果2*(x1+x2)<960,那么a=0,c=1919;

如果2*(x1+x2)>6720,那么a=5760,c=7679;

否则a=2(x1+x2)-960,c=2(x1+x2)+960;

如果2*(y1+y2)<540,那么b=0,d=1079;

如果2*(y1+y2)>3780,那么b=3240,d=4319;

否则b=2(y1+y2)-540,d=2(y1+y2)+540;

其中,摄像装置采集到的视频的图像帧中横坐标方向上包括两个第一固定区域,一个第一固定区域为小于480,另一个第一固定区域为大于3360;摄像装置采集到的视频的图像帧中纵坐标方向上包括两个第二固定区域,一个第二固定区域为小于270,另一个第二固定区域为大于1890;

详细来说,若位置横坐标小于第一阈值,即第一阈值为480,说明位置横坐标位于一个第一固定区域内,则将目标转换关系中的第一阈值对应的预设值,作为目标位置信息中像素横坐标,a=0,c=1919;

若位置横坐标大于第二阈值,第二阈值为3360,说明位置横坐标位于另一个第一固定区域内,则将目标转换关系中的第二阈值对应的预设值,即a=5760,c=7679,作为目标位置信息中像素横坐标;

若位置横坐标均不满足小于第一阈值和大于第二阈值,说明位置横坐标位于第一变化区域内,则利用目标转换关系中的横坐标转换关系,a=2(x1+x2)-960,c=2(x1+x2)+960,求取目标位置信息中像素横坐标;

同样的,若位置纵坐标小于第三阈值,第三阈值为270,说明位置横坐标位于一个第一固定区域内,则将目标转换关系中的第三阈值对应的预设值,即b=0,d=1079,作为目标位置信息中像素纵坐标;

若位置纵坐标大于第四阈值,第四阈值为1890,说明位置横坐标位于另一个第一固定区域内,则将目标转换关系中的第四阈值对应的预设值,即b=3240,d=4319,作为目标位置信息中像素纵坐标;

若位置纵坐标均不满足小于第三阈值和大于第四阈值,说明位置横坐标位于第二变化区域内,则利用目标转换关系中的纵坐标转换关系,b=2(y1+y2)-540,d=2(y1+y2)+540,求取目标位置信息中像素纵坐标。

以坐标(x1,y1)为(1000,1000),(x2,y2)为(600,800)为例;

由于|x2-x1|=|600-1000|=400,400*4=1600,1600≤1920;|y2-y1|=|800-1000|=200,200*4=800,800≤1080,所以,坐标(x1,y1)为(1000,1000),(x2,y2)为(600,800)符合4*|x2-x1|≤1920且4*|y2-y1|≤1080,则采用4*|x2-x1|≤1920且4*|y2-y1|≤1080对应的分辨率转换关系,确定目标位置信息。

在摄像装置的8k下4*|x2-x1|≤1920且4*|y2-y1|≤1080对应的分辨率转换关系,转换时:

由于600+1000=1600>480,且小于3360,所以,a=0,c=1919;

由于800+1000=1800>270,且<1890,所以,b=2(y1+y2)-540=2(1000+800)-540=3060,d=2(y1+y2)+1080=2(1000+800)+540=4140;

则目标位置信息为(0,3060)、(1919,4140)。

当摄像装置为4k时,其中2*|x2-x1|大于1920、或者2*|y2-y1|大于1080,导致截取的候选图像的分辨率大于网络带宽对应的分辨率1080p,而且成网络带宽对应的分辨率称倍数的增大时,目标区域的分辨率只能是4k,所以无需进行截取目标区域,只需要将原图进行压缩到成网络带宽对应的分辨率后传输即可,不执行放大指令。

在摄像装置为8k时,其中,4*|x2-x1|>3840、或者4*|y2-y1|>2160,导致截取的候选图像的分辨率大于网络带宽对应的分辨率1080p的16倍,而且成网络带宽对应的分辨率称倍数的增大时,目标区域的分辨率只能是8k,所以无需进行截取目标区域,只需要将原图进行压缩到成网络带宽对应的分辨率后传输即可,不执行放大指令。

在实际应用过程中,若目标区域的分辨率与网络带宽对应的分辨率不同时,所以为了保证视频流正常传递,本发明实施例还提出了以下方式:

将目标区域的分辨率压缩为目标分辨率,然后将转换后的目标区域发送给第二显示设备,第二显示设备进行显示。

例如,目标区域的分辨率为4k,网络带宽对应的分辨率为1080p,则需要将4k压缩成1080p后,传输给第二显示设备。

由于不同分辨率的转换,可能会出现图片的失真,特别是小的分辨率向大的分辨率发展的时候,所以为了提高图像的清晰度,一般可以将第二显示设备的分辨率设为与目标分辨率相同。

示例性的,在第二显示设备侧进行显示时:根据原始位置信息和目标位置信息,确定目标区域的放大倍数;

以目标区域中需要放大区域的中心为第二显示设备的显示中心,显示放大后的目标区域中的需要放大区域。

其中,在第二显示设备实际预置视频画面的放大倍数,例如1、2、4等(预置放大倍数有利于降低算法处理量)。以目标区域为中心,放大视频画面。实时视频缩放工具采用FFmpeg(通用工具)。视频缩放放大倍数由以下规则确定:

首先将摄像装置的分辨率下的目标位置信息(a,b)、(c,d)转换为与原始位置信息相同的分辨率下的目标位置信息(a1,b1)、(c1,d1),原始位置信息的分辨率为第二显示设备的分辨率,所以,将摄像装置的分辨率下的目标位置信息(a,b)、(c,d)转换为与第二显示设备的分辨率下的目标位置信息(a1,b1)、(c1,d1)。

例如,如果摄像装置的分辨率为4k,第二显示设备的分辨率为1080p,所以,那么摄像装置的分辨率下的目标位置信息的横坐标是在0~3840之间,纵坐标为0~2160之间,转换为第二显示设备的分辨率下的目标位置信息的横坐标是在0~1920之间,纵坐标为0~1080之间。由于4k与1080p之间为4倍的关系,a/2=a1,b/2=b1、c/2=c1,d/2=d1。

如果摄像装置的分辨率为8k,第二显示设备的分辨率为1080p,由于8k与1080p之间为16倍的关系,a/4=a1,b/4=b1、c/4=c1,d/4=d1。

转换完成后,采用第二显示设备的分辨率下的目标位置信息(a1,b1)、(c1,d1)和第二显示设备的分辨率下的需要放大区域的原始位置信息为(x1,y1)、(x2,y2),得到放大倍数。

|c1-a1|/|x2-x1|<2或|d1-b1|/|y2-y1|<2,缩放倍数为1,画面不缩放;

2≤|c1-a1|/|x2-x1|<4并且|d1-b1|/|y2-y1|≥2或2≤|d1-b1|/|y2-y1|<4并且|c1-a1|/|x2-x1|≥2,缩放倍数为2,画面放大一倍;

|c1-a1|/|x2-x1|≥4并且|d1-b1|/|y2-y1|≥4,缩放倍数为4,画面放大四倍;

其中,当根据目标转换关系截取到目标区域后,可以将目标位置信息、放大系数、摄像装置的分辨率信息与目标区域一起进行传递,传递给第二显示设备,第二显示设备在接收到这些信息后,确定放大倍数。

其中,放大系数表明截取的目标区域的分辨率与摄像装置的分辨率的关系,当无法进行截取目标区域时,放大系数为0,当目标区域的分辨率为1080p、摄像装置的分辨率为8k时,放大系数为4,当目标区域的分辨率为1080p、摄像装置的分辨率为4k时,放大系数为2;当目标区域的分辨率为4k、摄像装置的分辨率为8k时,放大系数为2。

具体来说,在摄像装置为4k时,候选区域满足2*|x2-x1|<1920;2*|y2-y1|<1080,则放大系数为2,候选区域不满足上述条件时,放大系数为0;在摄像装置为8k时,候选区域满足1920<4*|x2-x1|≤3840且4*|y2-y1|≤2160,或1080<4*|y2-y1|≤2160且4*|x2-x1|≤3840,则放大系数为2;在摄像装置为8k时,候选区域满足4*|x2-x1|≤1920且4*|y2-y1|≤1080,则放大系数为4;候选区域不满足上述8k的条件时,即4*|x2-x1|>3840,或4*|y2-y1|>2160时,则放大系数为0。

在第二显示设备与第二显示设备进行网络通信时,可以将目标位置信息、放大系数、目标区域一起进行传递,这样在第二显示设备接收到后,直接通过上述算法确定放大倍数。

其中,当放大系数为0时,目标位置信息为摄像装置采集的视频帧的图像区域的位置信息,如果摄像装置为4k,那么目标位置信息为(0,2159)、(3839,0),如果摄像装置为8k,那么目标位置信息为(0,4319)、(7679,0)。其中,目标位置信息与原始位置信息中取的像素坐标相同,例如,原始位置信息中取的像素坐标为左上角、右下角,那么目标位置信息的像素坐标为左上角和右下角。

其中,第二显示设备的显示中心可以为第二显示设备的屏幕中心,也可以是用户选择的显示区域的中心。

当目标分辨率和第二显示设备的分辨率相同时,例如均为1080p,那么第二显示设备获取到的目标区域的分辨率为1080p,由于目标区域的面积大于需要放大区域的面积,所以,目标区域中的需要放大区域的分辨率不会为1080p,本发明提供了以下方式,进行显示:

若需要放大区域的分辨率不小于第二显示设备的显示比例,即需要放大区域纵坐标方向上的像素点个数比较少,则以目标区域中需要放大区域的中心为第二显示设备的显示中心,目标区域中的需要放大区域的纵坐标方向正常放大显示,目标区域中的需要放大区域的横坐标方向按照第一预设的关系,进行放大显示。

若需要放大区域的分辨率小于第二显示设备的显示比例,即需要放大区域横坐标方向上的像素点个数比较少,则以目标区域中需要放大区域的中心为第二显示设备的显示中心,目标区域中的需要放大区域的横坐标方向正常放大显示,目标区域中的需要放大区域的纵坐标方向按照第二预设的关系,进行放大显示。

示例性的,当显示比例为1920*1080P时,若|x2-x1|:|y2-y1|>=1920:1080,则以目标区域中需要放大区域的中心为第二显示设备的显示中心,目标区域中需要放大区域的纵坐标方向正常显示,放大显示后需要放大区域的纵坐标方向的长度y′为1080,目标区域中需要放大区域的横坐标方向按照|x2-x1|*1080/|y2-y1|进行显示,放大显示后需要放大区域的横坐标方向的长度x′为|x2-x1|*1080/|y2-y1|,放大显示后需要放大区域的坐标为(960-x′/2,540-y′/2),(960+x′/2,540+/2)。

若|x2-x1|:|y2-y1|<1920:1080,则按以目标区域中需要放大区域的中心为第二显示设备的显示中心,目标区域中需要放大区域的横坐标方向正常显示,放大显示后需要放大区域的纵坐标方向的长度x′为1920,目标区域中需要放大区域的纵坐标方向按照|y2-y1|*1920/|x2-x1|进行显示,放大显示后需要放大区域的横坐标方向的长度y′为|y2-y1|*1920/|x2-x1|。放大显示后需要放大区域的坐标为(960-x′/2,540-y′/2),(960+x′/2,540+/2)。

示例性的,按照上述方式进行显示后,显示的结果如图4的电脑604的画面一样,框选出来的画面为目标区域中的需要放大区域,在目标区域中的该需要放大的区域中由于纵坐标方向上的像素个数比较少,所以,以目标区域中需要放大区域的中心为第二显示设备的显示中心,以纵坐标方向上铺满屏幕,横坐标方向按照|x2-x1|*1080/|y2-y1|进行显示,这样显示的效果是纵坐标方向上铺满屏幕,横坐标方向上除了显示该需要放大区域外,还有一点目标区域的画面。

当第二用户在目标区域中的需要放大区域再次进行放大处理时,同时再次框选的区域是在放大显示需要放大区域内框选的,与第二显示设备的分辨率不同,会导致第二显示设备要知道每次截取原始位置信息是在哪个区域下框选的,操作起来比较麻烦。

所以,本发明实施例的第二用户在目标区域中的需要放大区域再次进行放大处理时,需要将再次框选的位置信息,转换为第二显示设备的分辨率下的像素坐标。

结合图7所示,在视频帧中的需要放大区域的原始位置信息(x1,y1)、(x2,y2),在放大显示后需要放大区域的坐标为(960-x′/2,540-y′/2),(960+x′/2,540+/2),用户在放大显示后需要放大区域中再次选择放大的放大区域,其中再次选择放大的放大区域的左上顶点的像素坐标(m,n)、右下顶点的像素坐标(α,β)。本发明需要将(m,n)、(α,β)转换为在第二显示设备的分辨率下的像素坐标。

以第二显示设备的分辨率为1080p为例:

若960-x′/2=0,则(m,n)转换为在第二显示设备的分辨率下的像素坐标(m(x2-x1)/1920+x1,y1+(n-(540-y′/2))(x2-x1)/1920);

同样的,(α,β)转换为在第二显示设备的分辨率下的像素坐标(α(x2-x1)/1920+x1,y1+(β-(540-y′/2))(x2-x1)/1920);

若540-y′/2=0,则(m,n)转换为在第二显示设备的分辨率下的像素坐标(x1+(m-(960-x′/2))(y2-y1)/1080,y1+n(y2-y1)/1080);

同样的,(α,β)转换为在第二显示设备的分辨率下的像素坐标(x1+(α-(960-x′/2))(y2-y1)/1080,y1+β(y2-y1)/1080);

获取到新的像素坐标后的流程,例如,将(m,n)、(α,β)转换后的像素坐标发送至摄像头,摄像头依据新的坐标,截取对应区域发送给医生端。

当摄像头为4k的,则根据(m,n)、(α,β)转换后的像素坐标,从4k的图像中截取新的目标区域。

当摄像头为8k的,则根据(m,n)、(α,β)转换后的像素坐标,从8k的图像中截取新的目标区域。

其中,与4k摄像头不同之处在于8k清晰度摄像头具备更高清晰度输出能力,例如第二用户首先请求的需要放大区域,摄像头可以截取的4k区域,压缩到1080p后发送给第二用户,第二用户二次画放大区域后,依据新的坐标,摄像头依然可以截取4k区域,压缩到1080p后发给第二用户。

基于上述的介绍,本发明实施例提供了一种应用于采集第一用户的视频的摄像装置的视频交互方法,结合图8所述,包括:

S800:在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;

其中,放大指令为由第二用户在第二显示设备上触发的;目标分辨率为第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率;第二显示设备为第二用户进行视频使用的显示设备;第一显示设备为第一用户进行视频使用的显示设备;

S801:根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息;

S802:从包含第一用户的视频中目标图像帧之后的每一帧中,按照目标位置信息截取目标区域;

其中,目标图像帧为第二用户触发放大指令时视频中的图像帧;

S803:将截取后的目标区域通过第一显示设备发送给第二显示设备,以使第二显示设备进行显示目标区域中的需要放大区域。

可选的,所述原始位置信息为在所述第二显示设备分辨率下的原始像素坐标;根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系,包括:

根据所述摄像装置的分辨率和所述第二显示设备的分辨率之间的倍数关系,将所述原始像素坐标转换为所述摄像装置的分辨率的像素坐标;

按照所述摄像装置的分辨率的像素坐标,从所述摄像装置采集到的视频的图像帧中截取候选区域;

若所述候选区域横坐标方向上的像素个数在第一预设范围内,且纵坐标方向上的像素个数在第二预设范围内,则将所述第一预设范围和所述第二预设范围对应的分辨率转换关系,作为目标转换关系,其中,所述第一预设范围和所述第二预设范围均根据目标分辨率确定的。

可选的,所述摄像装置采集到的视频的图像帧中横坐标方向上包括至少一个第一固定区域和至少一个第一变化区域;所述摄像装置采集到的视频的图像帧中纵坐标方向上包括至少一个第二固定区域和至少一个第二变化区域;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息,包括:

若位置横坐标在所述第一固定区域内,则将所述目标转换关系中的预设像素横坐标,作为目标位置信息中像素横坐标;其中,所述位置横坐标为根据所述原始像素坐标中像素横坐标确定的;

若所述位置横坐标在所述第一变化区域内,则将所述原始像素坐标中像素横坐标输入到,所述目标转换关系中的横坐标转换关系后得到的值,作为目标位置信息中像素横坐标;

若位置纵坐标在所述第二固定区域内,则将所述目标转换关系中的预设像素纵坐标,作为目标位置信息中像素纵坐标;其中,所述位置纵坐标为根据所述原始像素坐标中像素纵坐标确定的;

若所述位置纵坐标在所述第二变化区域,则将原始像素坐标中像素纵坐标输入到,所述目标转换关系中的纵坐标转换关系后得到的值,作为目标位置信息中像素纵坐标;

将目标位置信息中像素横坐标、以及目标位置信息中像素纵坐标,组成目标位置信息。

基于上述的介绍,本发明实施例提供了一种应用于第一用户进行视频使用的第一显示设备的视频交互方法,结合图9所述,包括:

S900:在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;

其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述目标分辨率为第一显示设备和所述第二显示设备之间连接的网络的网络带宽对应的分辨率;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述第一显示设备为所述第一用户进行视频使用的显示设备;

S901:根据目标转换关系,将第二用户选择的在第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在摄像装置的分辨率下的目标位置信息;

S902:从包含第一用户的视频中目标图像帧之后的每一帧中,按照目标位置信息截取目标区域;

其中,目标图像帧为第二用户触发放大指令时视频中的图像帧;

S903:将截取后的目标区域发送给第二显示设备,以使第二显示设备进行显示目标区域中的需要放大区域。

可选的,所述原始位置信息为在所述第二显示设备分辨率下的原始像素坐标;根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系,包括:

根据所述摄像装置的分辨率和所述第二显示设备的分辨率之间的倍数关系,将所述原始像素坐标转换为所述摄像装置的分辨率的像素坐标;

按照所述摄像装置的分辨率的像素坐标,从所述摄像装置采集到的视频的图像帧中截取候选区域;

若所述候选区域横坐标方向上的像素个数在第一预设范围内,且纵坐标方向上的像素个数在第二预设范围内,则将所述第一预设范围和所述第二预设范围对应的分辨率转换关系,作为目标转换关系,其中,所述第一预设范围和所述第二预设范围均根据目标分辨率确定的。

可选的,所述摄像装置采集到的视频的图像帧中横坐标方向上包括至少一个第一固定区域和至少一个第一变化区域;所述摄像装置采集到的视频的图像帧中纵坐标方向上包括至少一个第二固定区域和至少一个第二变化区域;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息,包括:

若位置横坐标在所述第一固定区域内,则将所述目标转换关系中的预设像素横坐标,作为目标位置信息中像素横坐标;其中,所述位置横坐标为根据所述原始像素坐标中像素横坐标确定的;

若所述位置横坐标在所述第一变化区域内,则将所述原始像素坐标中像素横坐标输入到,所述目标转换关系中的横坐标转换关系后得到的值,作为目标位置信息中像素横坐标;

若位置纵坐标在所述第二固定区域内,则将所述目标转换关系中的预设像素纵坐标,作为目标位置信息中像素纵坐标;其中,所述位置纵坐标为根据所述原始像素坐标中像素纵坐标确定的;

若所述位置纵坐标在所述第二变化区域,则将原始像素坐标中像素纵坐标输入到,所述目标转换关系中的纵坐标转换关系后得到的值,作为目标位置信息中像素纵坐标;

将目标位置信息中像素横坐标、以及目标位置信息中像素纵坐标,组成目标位置信息。

结合图10所示,本发明实施例提供了另一种视频交互方法,应用于第二用户进行视频使用的第二显示设备中,包括:

S1000:在第一用户和第二用户进行视频过程中,若接收到第二用户触发的放大指令,则将放大指令发送给第二显示设备;

S1001:接收目标区域;其中,所述目标区域为根据第二用户选择的需要放大区域的位置信息从包含第一用户的视频中截取到的;

S1002:显示目标区域中的需要放大区域。

可选的,显示所述目标区域中的需要放大区域,包括:

根据所述原始位置信息和所述目标位置信息,确定所述目标区域的放大倍数;

以所述目标区域中所述需要放大区域的中心为所述第二显示设备的显示中心,显示放大后的所述目标区域中的需要放大区域。

本发明实施例提供了一种摄像装置,结合图11所示,包括:采集单元1100、通信单元1101和处理器1102;

所述采集单元1101,用于在第一用户和第二用户进行视频过程中采集第一用户的视频;

所述处理器1102,用于在第一用户和第二用户进行视频过程中,若接收到所述第二用户触发的放大指令,则根据所述第二用户选择的需要放大区域的位置信息,从包含第一用户的视频中截取目标区域;其中,所述放大指令为由所述第二用户在第二显示设备上触发的;所述第二显示设备为第二用户进行视频使用的显示设备;

所述通信单元1101,用于接收由第一显示设备发送的放大指令,以及将所述目标区域通过所述第一显示设备转发给所述第二显示设备,其中,所述第一显示设备为第一用户进行视频使用的显示设备。

本发明实施例提供了另一种摄像装置,同样的,包括:采集单元、通信单元和处理器;

所述采集单元,用于在第一用户和第二用户进行视频过程中采集第一用户的视频;

所述处理器,用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述目标分辨率为所述第一用户进行视频使用的第一显示设备和所述第二显示设备之间连接的网络的网络带宽对应的分辨率;

根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;

从包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

所述通信单元,用于接收所述第一显示设备发送的放大指令,以及将所述目标区域通过所述第一显示设备转发给所述第二显示设备。

可选的,所述原始位置信息为在所述第二显示设备分辨率下的原始像素坐标;所述处理器,具体用于:

根据所述摄像装置的分辨率和所述第二显示设备的分辨率之间的倍数关系,将所述原始像素坐标转换为所述摄像装置的分辨率的像素坐标;

按照所述摄像装置的分辨率的像素坐标,从所述摄像装置采集到的视频的图像帧中截取候选区域;

若所述候选区域横坐标方向上的像素个数在第一预设范围内,且纵坐标方向上的像素个数在第二预设范围内,则将所述第一预设范围和所述第二预设范围对应的分辨率转换关系,作为目标转换关系,其中,所述第一预设范围和所述第二预设范围均根据所述目标分辨率确定的。

可选的,所述摄像装置采集到的视频的图像帧中横坐标方向上包括至少一个第一固定区域和至少一个第一变化区域;所述摄像装置采集到的视频的图像帧中纵坐标方向上包括至少一个第二固定区域和至少一个第二变化区域;

所述处理器,具体用于:

若位置横坐标在所述第一固定区域内,则将所述目标转换关系中的预设像素横坐标,作为目标位置信息中像素横坐标;其中,所述位置横坐标为根据所述原始像素坐标中像素横坐标确定的;

若所述位置横坐标在所述第一变化区域内,则将所述原始像素坐标中像素横坐标输入到,所述目标转换关系中的横坐标转换关系后得到的值,作为目标位置信息中像素横坐标;

若位置纵坐标在所述第二固定区域内,则将所述目标转换关系中的预设像素纵坐标,作为目标位置信息中像素纵坐标;其中,所述位置纵坐标为根据所述原始像素坐标中像素纵坐标确定的;

若所述位置纵坐标在所述第二变化区域,则将原始像素坐标中像素纵坐标输入到,所述目标转换关系中的纵坐标转换关系后得到的值,作为目标位置信息中像素纵坐标;

将目标位置信息中像素横坐标、以及目标位置信息中像素纵坐标,组成目标位置信息。

本发明实施例提供了一种第二显示设备,结合图12所示,包括:通信单元1200、处理器1201以及显示器1202;

所述通信单元1200,用于发送放大指令给第一用户进行视频使用的第一显示设备,以及接收所述第一显示设备发送给的目标区域;其中,所述目标区域为根据第二用户选择的需要放大区域的位置信息从包含第一用户的视频中截取到的;

所述显示器1202,用于显示所述目标区域中的需要放大区域;

所述处理器1201,用于在第一用户和第二用户进行视频过程中,若接收到所述第二用户触发的放大指令,则控制所述通信单元将所述放大指令发送给第二显示设备、以及控制所述显示器显示所述目标区域中的需要放大区域。

本发明实施例提供了一种第一显示设备,包括控制器、通信器、外部装置接口、显示器;

所述外部装置接口与摄像装置相连,用于接收所述摄像装置采集的包含第一用户的视频;

所述控制器,用于在第一用户和第二用户进行视频过程中,若接收到放大指令,则根据摄像装置的分辨率、目标分辨率、第二显示设备的分辨率,确定目标转换关系;其中,所述放大指令为由所述第二用户在所述第二显示设备上触发的;所述第二显示设备为所述第二用户进行视频使用的显示设备;所述目标分辨率为第一显示设备和第二显示设备之间连接的网络的网络带宽对应的分辨率;

以及根据所述目标转换关系,将所述第二用户选择的在所述第二显示设备的分辨率下需要放大区域的原始位置信息,转换为在所述摄像装置的分辨率下的目标位置信息;从包含第一用户的视频中目标图像帧之后的每一帧中,按照所述目标位置信息截取目标区域;其中,所述目标图像帧为所述第二用户触发所述放大指令时视频中的图像帧;

所述通信器,用于接收所述第二显示设备发送的所述放大指令、接收所述第二显示设备发送的包含所述第二用户的视频、以及发送所述目标区域给所述第二显示设备;

所述显示器,用于显示包含所述第二用户的视频。

可选的,所述显示器,还用于以小窗口的形式显示所述目标区域中的需要放大区域。

当第一显示设备为电视时,结合图13所示,示出了第一显示设备的另一种结构。

在一些实施例中,第一显示设备包括调谐解调器1310、通信器1320、检测器1330、外部装置接口1340、控制器1350、显示器1360、音频输出接口1370、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。

在一些实施例中,显示器1360包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中,显示器1360可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。

在一些实施例中,调谐解调器1310通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。

在一些实施例中,通信器1320是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。第一显示设备可以通过通信器1320与第二显示设备建立控制信号和数据信号的发送和接收。

在一些实施例中,检测器1330用于采集外部环境或与外部交互的信号。例如,检测器1330包括光接收器,用于采集环境光线强度的传感器;或者,检测器1330包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器1330包括声音采集器,如麦克风等,用于接收外部声音。

在一些实施例中,外部装置接口1340可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中,控制器1350和调谐解调器1310可以位于不同的分体设备中,即调谐解调器1310也可在控制器1350所在的主体设备的外置设备中,如外置机顶盒等。

在一些实施例中,控制器1350,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器1350控制第一显示设备的整体操作。例如:响应于接收到用于选择在显示器1360上显示UI对象的用户命令,控制器1350便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。

在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。

在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可第一显示设备上显示或播放的信号。

在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。

在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。

在一些实施例中,用户可在显示器1360上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。

在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在第一显示设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中,用户接口1380,为可用于接收控制输入的接口(如:第一显示设备本体上的实体按键,或其他等)。

在一些实施例中,第一显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。

在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成上述视频交互的方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明实施例还提供第一种计算机程序产品,当所述计算机程序产品在摄像装置上运行时,使得所述摄像装置执行实现本发明实施例上述任意一项视频交互的方法。

本发明实施例还提供第二种计算机程序产品,当所述计算机程序产品在第一显示设备上运行时,使得所述第一显示设备执行实现本发明实施例上述任意一项视频交互的方法。

本发明实施例还提供第三种计算机程序产品,当所述计算机程序产品在第二显示设备上运行时,使得所述第二显示设备执行实现本发明实施例上述任意一项视频交互的方法。

本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

相关技术
  • 摄像装置、第一显示设备、第二显示设备及视频交互方法
  • 具有光学系统、具有第一显示设备并具有第二显示设备的车辆显示系统
技术分类

06120112920141