掌桥专利:专业的专利平台
掌桥专利
首页

视频图像的增强方法、装置、设备、芯片及存储介质

文献发布时间:2023-06-19 10:21:15


视频图像的增强方法、装置、设备、芯片及存储介质

技术领域

本申请涉及视频图像处理技术领域,尤其涉及一种视频图像的增强方法、装置、设备、芯片及存储介质。

背景技术

终端设备在播放虚拟现实(Virtual Reality,VR)360度片源时,若终端设备的配置较低,为了能够播放高分辨率的片源,终端设备可以将片源切分成若干个小块,并在片源播放时,只对视角区域内的部分块进行拼接和显示。另外为了避免视角区域中的数据流不能及时下载显示的问题,终端设备可以在背景部分叠加一层分辨率较低、码率较低的背景流,例如:背景流的分辨率是4K,视角区域中的数据流的分辨率是8K(即高清流),而背景流和高清流的内容完全相同,二者投影后完全重叠,基于此,当用户视角切换到上述视角区域时,如果高清流不能得到及时显示,则用户看到的是背景流的内容。例如:图1为现有技术提供的片源被切分成若72块的示意图,如图1所示,视角区域1是用户在同一时刻实际能够看到的部分。终端设备在进行片源播放时,若终端设备可以及时下载到上述高清流,则对视角区域1采用高清流播放,若终端设备可以不能及时下载到上述高清流,则对视角区域1采用低清流(即背景流)播放,而对片源中的其他部分仍然使用低清流播放。

对于VR360片源等视频图像,其亮度、对比度、色彩饱和度值在编码时是针对整个视频图像的,因此如果终端设备在播放视角区域内容时,采用整个360度画面的亮度、对比度、色彩饱和度值,这将造成视角区域部分看起来比较暗,颜色不够鲜艳等显示效果不佳的问题。

发明内容

本申请提供一种视频图像的增强方法、装置、设备、芯片及存储介质。通过该方法可以提高视频图像显示效果。

第一方面,本申请提供一种视频图像增强方法,包括:服务器接收终端设备发送的请求消息,请求消息包括视频图像的标识。服务器根据视频图像的标识获取视频图像中的至少一个视角区域的画面参数。服务器向终端设备发送至少一个视角区域的画面参数。其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

即通过该方法可以提高视频图像显示效果。进一步地,本申请提供的技术方案可以将视频图像增强细化到各个视角区域或者主视角区域中,每个视角区域都有对应的增强参数,而不是针对整个视频图像进行视频图像增强,从而可以进一步地提高视频图像显示效果。

可选的,服务器接收终端设备发送的请求消息之前,还包括:服务器确定至少一个视角区域的画面参数。

可选的,服务器确定至少一个视角区域的画面参数,包括:若视频图像中各个像素的亮度分量均值小于亮度阈值,且第一像素的个数大于第一预设个数,则确定至少一个视角区域分别对应的亮度增强参数,第一像素为各个像素中亮度分量小于亮度分量均值的像素。和/或,若视频图像中各个像素的饱和度分量均值小于饱和度阈值,且第二像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的饱和度增强参数,第二像素为各个像素中饱和度分量小于饱和度分量均值的像素。和/或,若视频图像中各个像素的对比度分量均值小于对比度阈值,且第三像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的对比度增强参数,第三像素为各个像素中对比度分量小于对比度分量均值的像素。和/或,若视频图像中各个像素的锐化度分量均值小于锐化度阈值,且第四像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的锐化度增强参数,第四像素为各个像素中锐化度分量小于锐化度分量均值的像素。

即当视频图像中各个像素满足上述条件时,服务器才确定至少一个视角区域的画面参数,当视频图像中各个像素不满足上述条件时,服务器不确定至少一个视角区域的画面参数,相应的,终端设备也不进行视频图像增强处理,一方面可以提高视频图像增强处理的灵活性,另一方面可以降低服务器和终端设备的功耗。可选的,上述多个视角区域覆盖视频图像。

可选的,编码器可以编码生成视频图像,可以将该视频图像注入到业务/媒体管理服务器,业务/媒体管理服务器生成该视频图像的唯一标识。编码器还可以将视频图像注入到流媒体服务器,即该流媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从业务/ 媒体管理服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取上述至少一个视角区域对应的画面参数。并且终端设备可以从流媒体服务器获取视频图像。

或者,上述业务/媒体管理服务器、流媒体服务器和图像增强服务器为一个服务器,假设将该服务器还被称为图像增强服务器,这种情况下,编码器可以编码生成视频图像,可以将该视频图像注入到图像增强服务器,图像增强服务器生成该视频图像的唯一标识。编码器还可以将视频图像注入到图像增强服务器,即该图像增强服务器用于存储视频图像。其中,终端设备可以从图像增强服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取上述至少一个视角区域对应的画面参数和视频图像。

或者,上述业务/媒体管理服务器和流媒体服务器为一个服务器,假设将该服务器称为媒体服务器,编码器可以编码生成视频图像,可以将该视频图像注入到媒体服务器,媒体服务器生成该视频图像的唯一标识。编码器还可以将视频图像注入到媒体服务器,即该媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从媒体服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取上述至少一个视角区域对应的画面参数。并且终端设备可以从媒体服务器获取视频图像。

可选的,上述至少一个视角区域的画面参数还包括:至少一个视角区域分别对应的时间戳和空间范围。

下面将提供终端设备侧所执行的视频图像的增强方法,以及视频图像的增强装置、设备、芯片、存储介质及计算机程序产品,其效果可参考上述视频图像的增强方法对应的效果,下面对此不再赘述。

第二方面,本申请提供一种视频图像的增强方法,包括:终端设备向服务器发送请求消息,请求消息包括视频图像的标识,视频图像的标识用于服务器获取视频图像中的至少一个视角区域的画面参数。终端设备接收服务器发送的至少一个视角区域的画面参数。终端设备根据至少一个视角区域的画面参数对视频图像进行增强处理。其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

可选的,至少一个视角区域的画面参数还包括:至少一个视角区域分别对应的时间戳和空间范围。相应的,终端设备根据至少一个视角区域的画面参数对视频图像进行增强处理,包括:终端设备根据目标视角区域的时间戳和空间范围,以及,至少一个视角区域分别对应的时间戳和空间范围确定目标视角区域对应的增强参数。根据目标视角区域对应的增强参数,对目标视角区域进行增强处理。其中,目标视角区域为至少一个视角区域的部分或者全部。

可选的,任一个视角区域对应的增强参数包括以下至少一项:该视角区域的亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数。

第三方面,本申请提供一种视频图像的增强装置,包括:

接收模块,用于接收终端设备发送的请求消息,请求消息包括视频图像的标识。

获取模块,用于根据视频图像的标识获取视频图像中的至少一个视角区域的画面参数。

发送模块,用于向终端设备发送至少一个视角区域的画面参数。

其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

第四方面,本申请提供一种一种视频图像的增强装置,包括:

发送模块,用于向服务器发送请求消息,请求消息包括视频图像的标识,视频图像的标识用于服务器获取视频图像中的至少一个视角区域的画面参数。

接收模块,用于接收服务器发送的至少一个视角区域的画面参数。

处理模块,用于根据至少一个视角区域的画面参数对视频图像进行增强处理。

其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

第五方面,本申请提供一种服务器,包括:存储器和处理器。存储器用于存储计算机指令,以使处理器执行计算机指令,以实现如第一方面或第一方面的可选方式的视频图像的增强方法。

第六方面,本申请提供一种终端设备,包括:存储器和处理器。存储器用于存储计算机指令,以使处理器执行计算机指令,以实现如第二方面或第二方面的可选方式的视频图像的增强方法。

第七方面,本申请提供一种芯片,芯片用于实现如第一方面或第一方面的可选方式的视频图像的增强方法。

第八方面,本申请提供一种芯片,芯片用于实现如第二方面或第二方面的可选方式的视频图像的增强方法。

第十方面,本申请提供一种计算机存储介质,包括:计算机可执行指令,计算机可执行指令用于实现如第一方面或第一方面的可选方式的视频图像的增强方法。

第十一方面,本申请提供一种计算机存储介质,包括:计算机可执行指令,计算机可执行指令用于实现如第二方面或第二方面的可选方式的视频图像的增强方法。

第十二方面,本申请提供一种计算机程序产品,包括:计算机可执行指令,计算机可执行指令用于实现如第一方面或第一方面的可选方式的视频图像的增强方法。

第十三方面,本申请提供一种计算机程序产品,包括:计算机可执行指令,计算机可执行指令用于实现如第二方面或第二方面的可选方式的视频图像的增强方法。

本申请提供一种视频图像的增强方法、装置、设备、芯片及存储介质。该方法包括:服务器接收终端设备发送的请求消息,请求消息包括视频图像的标识。服务器根据视频图像的标识获取视频图像中的至少一个视角区域的画面参数。服务器向终端设备发送至少一个视角区域的画面参数。其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。通过该方法可以提高视频图像显示效果。

附图说明

图1为现有技术提供的片源被切分成若72块的示意图;

图2为本申请一实施例提供的本申请技术方案的应用场景图;

图3为本申请一实施例提供的视频图像的增强方法的交互流程图;

图4为本申请一实施例提供的视频图像的示意图;

图5A至图5C为本申请另一实施例提供的视频图像的示意图;

图6为本申请一实施例提供的亮度增强示意图;

图7为本申请另一实施例提供的视频图像的增强方法的流程图;

图8为本申请再一实施例提供的视频图像的增强方法的交互流程图;

图9为本申请又一实施例提供的视频图像的增强方法的流程图;

图10为本申请一实施例提供的一种视频图像的增强装置的示意图;

图11为本申请另一实施例提供的一种视频图像的增强装置的示意图;

图12为本申请一实施例提供的一种服务器的示意图;

图13为本申请一实施例提供的一种终端设备的示意图。

具体实施方式

如上所述,对于VR360片源等视频图像,其亮度、对比度、色彩饱和度值在编码时是针对整个360度画面的,因此如果终端设备在播放视角区域内容时,采用整个360度画面的亮度、对比度、色彩饱和度值,这将造成视角区域部分看起来比较暗,颜色不够鲜艳等显示效果不佳的问题。为了解决该技术问题,本申请提供一种视频图像的增强方法、装置、设备、芯片及存储介质。

示例性的,图2为本申请一实施例提供的本申请技术方案的应用场景图,如图2所示,本申请技术方案涉及的网元包括:编码器21、业务/媒体管理服务器22、终端设备23、流媒体服务器24和图像增强服务器25。其中,编码器21分别与业务/媒体管理服务器22、流媒体服务器24和图像增强服务器25连接,并且业务/媒体管理服务器22、流媒体服务器24和图像增强服务器25分别与终端设备23连接。其中,编码器21用于编码生成视频图像,并将该视频图像分别发送给业务/媒体管理服务器22、流媒体服务器24和图像增强服务器25。业务/媒体管理服务器22生成该视频图像的标识。业务/媒体管理服务器22将该视频图像的标识发送给终端设备23。图像增强服务器25确定视频图像中的至少一个视角区域对应的画面参数,终端设备23可以从图像增强服务器25获取该画面参数,并且从流媒体服务器24获取视频图像,以通过该画面参数对视频图像进行增强处理。

其中,本申请中涉及的终端设备可以是指具有视频或者视频图像播放功能的设备,其可以是具有无线连接功能的手持式设备、或连接到无线调制解调器的其它处理设备。该终端设备可以经无线接入网(Radio Access Network,RAN)与至少一个核心网进行通信。该终端设备可以是移动终端,如移动电话(或称为“蜂窝”电话)和计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换数据。终端设备也可以称为用户单元(Subscriber Unit)、用户站(Subscriber Station),移动站(Mobile Station)、移动台(Mobile Station)、远程站(Remote Station)、接入点(AccessPoint)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(UserTerminal)、用户代理(User Agent) 或用户设备(User Equipment),在此不作限定。综上,只要终端设备具有视频或者视频图像播放功能的设备,并且可以和服务器之间实现通信即可,本申请对终端设备的形式不做限制。

示例性的,上述的至少一个视角区域可以是视频图像中的多个视角区域或者主视角区域,下面分别针对这两种情况对视频图像增强方法进行详细说明:

图3为本申请一实施例提供的视频图像的增强方法的交互流程图,该方法涉及的网元包括:服务器的部分或者全部,和,终端设备的部分或者全部。其中,服务器的部分可以是服务器中的处理器或者具有处理功能的芯片等,终端设备的部分可以是终端设备中的处理器或者具有处理功能的芯片等。为了将该服务器和本申请中的其他服务器区分开来,在本申请中,可以将该服务器称为图像增强服务器。下面以图像增强服务器和终端设备为执行主体,对视频图像增强方法进行说明。如图3所示,该方法包括如下步骤:

可选步骤S301:图像增强服务器确定视频图像中的多个视角区域对应的画面参数。

步骤S302:终端设备向图像增强服务器发送请求消息,该请求消息包括:上述视频图像的标识。

步骤S303:图像增强服务器根据视频图像的标识向终端设备发送上述多个视角区域对应的画面参数。

步骤S304:终端设备根据上述多个视角区域对应的画面参数对视频图像进行增强处理。

针对步骤S301进行说明:

视频图像被划分为多个视角区域,示例性的,图4为本申请一实施例提供的视频图像的示意图,该视频图像可以为VR360片源,但不限于,如图4所示,视频图像被划分为5个视角区域,分别为视角区域1、视角区域2、视角区域3、视角区域4和视角区域5,每个视角区域为一个矩形区域,这5个视角区域两两相交部分超过120度,且这5个视角区域覆盖视频图像。需要说明的是,视频图像实际是一个环形片源,即如图4所示的第一列内容和最后一列内容相邻。第一列内容包括:数据块1、数据块13、数据块25、数据块37、数据块49、数据块61。最后一列内容包括:数据块12、数据块24、数据块36、数据块48、数据块60、数据块72。

图像增强服务器可以生成多个视角区域对应的画面参数,针对上述多个视角区域中的任一个视角区域,则多个视角区域对应的画面参数包括:该视角区域对应的增强参数,该增强参数用于终端设备对该视角区域进行增强处理。可选的,该视角区域的增强参数包括以下至少一项:该视角区域的亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数。

可选的,多个视角区域对应的画面参数还包括:任一个视角区域的时间戳和空间范围。

其中,图像增强服务器可以经过训练得到亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数分别对应的增强算法模型,例如:亮度增强参数对应的增强算法模型如下:

Y(new)=A*Y(original)+B(当Y(original)<200)

Y(new)=C*Y(original)+D(当Y(original)>=200)

其中,针对任一视角区域中的任一像素,Y(original)表示在对该像素进行增强处理之前的亮度分量,Y(new)表示在对该像素进行增强处理之后的亮度分量,A、B、C和D为亮度增强参数。

进一步地,图像增强服务器可以确定多个视角区域中的每个视角区域分别对应的增强参数。需要说明的是,本申请对图像增强服务器如何训练得到增强算法模型以及如何确定每个视角区域对应的增强参数不做限制。

由于视频图像存在多个视角区域,为了令终端设备在播放该视频图像时,能够确定各个视角区域的增强参数,如上所述,每个视角区域的参数还包括该视角区域的时间戳和空间范围。该时间戳为该视角区域的播放时间,时间戳一般以毫秒(millisecond,ms)为单位,视频播放的时候实际是以一帧帧连续的画面按照以固定的时间间隔平稳的展示出来,比如帧率为25帧的视频,意思是每秒播放25帧画面,每帧间隔为40毫秒(1秒/25帧),时间戳的定义比如从0开始,则第一帧画面的时间戳为0,第二帧画面的时间戳为40,第三帧画面的时间戳为80等。空间范围是按照经纬度的定义的。

例如:某个视角区域的参数为:133|(0,90)-(72,-90)|1,1.15,5.5,1.05,3.5。其中,133表示该视角区域的时间戳为133ms,空间范围为(0,90)-(72,-90),1表示过暗增强场景,即1是场景标识,该标识为可选参数。1.15,5.5,1.05,3.5分别表示A=1.15,B=5.5,C=1.05D=3.5。

需要说明的是,图像增强服务器还可以为是否确定多个视角区域对应的画面参数设置条件:例如:若视频图像中各个像素的亮度分量均值小于亮度阈值,如255*0.3,且第一像素的个数大于第一预设个数,则确定上述多个视角区域分别对应的亮度增强参数,第一像素为各个像素中亮度分量小于亮度分量均值的像素。和/或,若视频图像中各个像素的饱和度分量均值小于饱和度阈值,且第二像素的个数大于第二预设个数,则确定上述多个视角区域分别对应的饱和度增强参数,第二像素为各个像素中饱和度分量小于饱和度分量均值的像素。和/或,若视频图像中各个像素的对比度分量均值小于对比度阈值,且第三像素的个数大于第二预设个数,则确定上述多个视角区域分别对应的对比度增强参数,第三像素为各个像素中对比度分量小于对比度分量均值的像素。和/或,若视频图像中各个像素的锐化度分量均值小于锐化度阈值,且第四像素的个数大于第二预设个数,则确定上述多个视角区域分别对应的锐化度增强参数,第四像素为各个像素中锐化度分量小于锐化度分量均值的像素。

针对步骤S302进行说明:

示例性地,编码器可以编码生成视频图像,可以将该视频图像注入到业务/媒体管理服务器,业务/媒体管理服务器生成该视频图像的唯一标识,如:A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到流媒体服务器,即该流媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从业务/媒体管理服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取多个视角区域对应的画面参数。并且终端设备可以从流媒体服务器获取视频图像。

或者,

示例性地,上述业务/媒体管理服务器、流媒体服务器和图像增强服务器为一个服务器,假设将该服务器还被称为图像增强服务器,这种情况下,编码器可以编码生成视频图像,可以将该视频图像注入到图像增强服务器,图像增强服务器生成该视频图像的唯一标识,如: A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到图像增强服务器,即该图像增强服务器用于存储视频图像。其中,终端设备可以从图像增强服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取多个视角区域对应的画面参数和视频图像。

或者,

示例性地,上述业务/媒体管理服务器和流媒体服务器为一个服务器,假设将该服务器称为媒体服务器,编码器可以编码生成视频图像,可以将该视频图像注入到媒体服务器,媒体服务器生成该视频图像的唯一标识,如:A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到媒体服务器,即该媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从媒体服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取多个视角区域对应的画面参数。并且终端设备可以从媒体服务器获取视频图像。

结合步骤S303和步骤S304进行说明:

如上所述,视频图像包括多个视角区域,因此当图像增强服务器获取到视频图像的标识后,可以获取上述多个视角区域对应的画面参数。并将多个视角区域对应的画面参数发送给终端设备,终端设备根据目标视角区域的时间戳和空间范围,以及,上述多个视角区域分别对应的时间戳和空间范围确定所述目标视角区域对应的增强参数;并根据所述目标视角区域对应的增强参数,对所述目标视角区域进行增强处理;其中,所述目标视角区域为上述多个视角区域的部分或者全部。例如:图5A至图5C为本申请另一实施例提供的视频图像的示意图,如图5A所示,由于目标视角区域51属于视角区域1,因此目标视角区域51对应的增强参数即为视角区域1对应的增强参数。如图5B所示,由于目标视角区域52属于视角区域1 和视角区域2,因此目标视角区域51对应的增强参数即为视角区域1或者视角区域2对应的增强参数。如图5C所示,由于目标视角区域53属于视角区域3,因此目标视角区域53对应的增强参数即为视角区域3对应的增强参数。

假设终端设备获取到的亮度增强参数A=1.15,B=5.5,C=1.05D=3.5。则终端设备对每个像素可以进行如下增强处理:

Y(new)=1.15*Y(original)+5.5(当Y(original)<200)

Y(new)=1.05*Y(original)+3.5(当200<=Y(original)<230)

其中,针对任一视角区域中的任一像素,Y(original)表示在对该像素进行增强处理之前的亮度分量,Y(new)表示在对该像素进行增强处理之后的亮度分量,A、B、C和D为亮度增强参数。图6为本申请一实施例提供的亮度增强示意图,如图6所示,横坐标表示各个像素在进行增强处理之前的亮度分量,纵坐标表示各个像素在进行增强处理之后的亮度分量。

可选的,终端设备在对视频图像做完增强处理之后,还可以对视频图像进行渲染。

综上,本申请提供一种视频图像增强方法,包括:终端设备向图像增强服务器发送请求消息,请求消息包括:上述视频图像的标识。图像增强服务器根据视频图像的标识向终端设备发送上述多个视角区域对应的画面参数。终端设备根据上述多个视角区域对应的画面参数对视频图像进行增强处理。即通过该方法可以提高视频图像显示效果。进一步地,本申请提供的技术方案可以将视频图像增强细化到各个视角区域中,每个视角区域都有对应的增强参数,而不是针对整个视频图像进行视频图像增强,从而可以进一步地提高视频图像显示效果。

如上所述,编码器可以编码生成视频图像,可以将该视频图像注入到业务/媒体管理服务器,业务/媒体管理服务器生成该视频图像的唯一标识,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到流媒体服务器,即该流媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从业务/媒体管理服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取多个视角区域对应的画面参数。并且终端设备可以从流媒体服务器获取视频图像。下面对这种方案进行详细说明:

图7为本申请另一实施例提供的视频图像的增强方法的流程图,如图7所示,该方法包括如下步骤:

步骤S701:编码器编码生成视频图像。

步骤S702:编码器将该视频图像发送给业务/媒体管理服务器。

步骤S703:业务/媒体管理服务器生成该视频图像的标识。

步骤S704:业务/媒体管理服务器将该视频图像的标识发送给终端设备。

步骤S705:编码器将该视频图像发送给流媒体服务器。

步骤S706:编码器将该视频图像发送给图像增强服务器。

步骤S707:图像增强服务器确定上述多个视角区域对应的画面参数。

步骤S708:终端设备向图像增强服务器发送请求消息,该请求消息包括:视频图像的标识。

步骤S709:图像增强服务器向终端设备发送响应消息,该响应消息包括:视频图像对应的第一存储地址和各个视角区域对应的参数对应的第二存储地址。

其中,第二存储地址包括:上述视频图像的标识,例如:第二存储地址为: http://10.135.13.12/A894093847378394_enhance.dat,A894093847378394为上述视频图像的标识。

步骤S710:终端设备根据该第一存储地址从流媒体服务器获取视频图像。

步骤S711:终端设备根据该第二存储地址从图像增强服务器获取上述多个视角区域对应的画面参数。

步骤S712:终端设备根据上述多个视角区域对应的画面参数对视频图像进行增强处理。

需要说明的是,本实施例主要应用于存在业务/媒体管理服务器、流媒体服务器、图像增强服务器的情况,它们分别用于确定视频图像的标识、存储视频图像和获取视频图像的各个视角区域对应的参数,本实施例的细节可参考上一实施例,在此不再赘述。

图8为本申请再一实施例提供的视频图像的增强方法的交互流程图,该方法涉及的网元包括:服务器的部分或者全部,和,终端设备的部分或者全部。其中,服务器的部分可以是服务器中的处理器或者具有处理功能的芯片等,终端设备的部分可以是终端设备中的处理器或者具有处理功能的芯片等。为了将该服务器和本申请中的其他服务器区分开来,在本申请中,可以将该服务器称为图像增强服务器。下面以图像增强服务器和终端设备为执行主体,对视频图像增强方法进行说明。如图8所示,该方法包括如下步骤:

可选步骤S801:图像增强服务器确定视频图像中的主视角区域对应的画面参数。

步骤S802:终端设备向图像增强服务器发送请求消息,请求消息包括:上述视频图像的标识。

步骤S803:图像增强服务器根据视频图像的标识向终端设备发送主视角区域对应的画面参数。

步骤S804:终端设备根据主视角区域对应的画面参数对视频图像进行增强处理。

针对步骤S801进行说明:

其中,针对上述视频图像,主视角区域是用户在同一时刻实际能够看到的部分。

图像增强服务器可以生成主视角区域对应的画面参数,该主视角区域对应的画面参数包括:该主视角区域的增强参数,主视角区域的增强参数用于终端设备对主视角区域进行增强处理。主视角区域的增强参数包括以下至少一项:主视角区域的亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数。

可选的,该主视角区域对应的画面参数还包括:该主视角区域的时间戳和空间范围,其中,图像增强服务器可以经过训练得到亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数分别对应的增强算法模型,例如:亮度增强参数对应的增强算法模型如下:

Y(new)=A*Y(original)+B(当Y(original)<200)

Y(new)=C*Y(original)+D(当Y(original)>=200)

其中,针对主视角区域中的任一像素,Y(original)表示在对该像素进行增强处理之前的亮度分量,Y(new)表示在对该像素进行增强处理之后的亮度分量,A、B、C和D为亮度增强参数。

进一步地,图像增强服务器可以确定主视角区域对应的增强参数。需要说明的是,本申请对图像增强服务器如何训练得到增强算法模型以及如何确定主视角区域对应的增强参数不做限制。

由于视频图像存在多个视角区域,为了令终端设备在播放该视频图像时,能够确定主视角区域的增强参数,如上所述,主视角区域的参数还包括主视角区域的时间戳和空间范围。

需要说明的是,图像增强服务器还可以为是否确定主视角区域对应的画面参数设置条件:例如:若视频图像中各个像素的亮度分量均值小于亮度阈值,如255*0.3,且第一像素的个数大于第一预设个数,则确定视频图像中的主视角区域对应的亮度增强参数,第一像素为各个像素中亮度分量小于亮度分量均值的像素。和/或,若视频图像中各个像素的饱和度分量均值小于饱和度阈值,且第二像素的个数大于第二预设个数,则确定视频图像中的主视角区域对应的饱和度增强参数,第二像素为各个像素中饱和度分量小于饱和度分量均值的像素。和/或,若视频图像中各个像素的对比度分量均值小于对比度阈值,且第三像素的个数大于第二预设个数,则确定视频图像中的主视角区域对应的对比度增强参数,第三像素为各个像素中对比度分量小于对比度分量均值的像素。和/或,若视频图像中各个像素的锐化度分量均值小于锐化度阈值,且第四像素的个数大于第二预设个数,则确定视频图像中的主视角区域对应的锐化度增强参数或者多个视角区域分别对应的锐化度增强参数,第四像素为各个像素中锐化度分量小于锐化度分量均值的像素。

针对步骤S802进行说明:

示例性地,编码器可以编码生成视频图像,可以将该视频图像注入到业务/媒体管理服务器,业务/媒体管理服务器生成该视频图像的唯一标识,如:A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到流媒体服务器,即该流媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从业务/媒体管理服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取主视角区域对应的画面参数。并且终端设备可以从流媒体服务器获取视频图像。

或者,

示例性地,上述业务/媒体管理服务器、流媒体服务器和图像增强服务器为一个服务器,假设将该服务器还被称为图像增强服务器,这种情况下,编码器可以编码生成视频图像,可以将该视频图像注入到图像增强服务器,图像增强服务器生成该视频图像的唯一标识,如:A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到图像增强服务器,即该图像增强服务器用于存储视频图像。其中,终端设备可以从图像增强服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取主视角区域对应的画面参数和视频图像。

或者,

示例性地,上述业务/媒体管理服务器和流媒体服务器为一个服务器,假设将该服务器称为媒体服务器,编码器可以编码生成视频图像,可以将该视频图像注入到媒体服务器,媒体服务器生成该视频图像的唯一标识,如:A894093847378394,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到媒体服务器,即该媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从媒体服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取主视角区域对应的画面参数。并且终端设备可以从媒体服务器获取视频图像。

结合步骤S803和步骤S804进行说明:

如上所述,视频图像包括主视角区域,因此当图像增强服务器获取到视频图像的标识后,可以获取上述主视角区域对应的画面参数。并将主视角区域对应的画面参数发送给终端设备,终端设备根据目标视角区域的时间戳和空间范围,以及,主视角区域对应的时间戳和空间范围确定所述目标视角区域对应的增强参数;并根据所述目标视角区域对应的增强参数,对所述目标视角区域进行增强处理;其中,所述目标视角区域为主视角区域中的部分或者全部。

假设终端设备获取到的亮度增强参数A=1.15,B=5.5,C=1.05D=3.5。则终端设备对每个像素可以进行如下增强处理:

Y(new)=1.15*Y(original)+5.5(当Y(original)<200)

Y(new)=1.05*Y(original)+3.5(当200<=Y(original)<230)

其中,针对主视角区域中的任一像素,Y(original)表示在对该像素进行增强处理之前的亮度分量,Y(new)表示在对该像素进行增强处理之后的亮度分量,A、B、C和D为亮度增强参数。可选的,终端设备在对视频图像做完增强处理之后,还可以对视频图像进行渲染。

综上,本申请提供一种视频图像增强方法,包括:终端设备向图像增强服务器发送请求消息,请求消息包括:上述视频图像的标识。图像增强服务器根据视频图像的标识向终端设备发送上述主视角区域对应的画面参数。终端设备根据上述主视角区域对应的画面参数对视频图像进行增强处理。即通过该方法可以提高视频图像显示效果。进一步地,本申请提供的技术方案可以将视频图像增强细化到主视角区域中,主视角区域具有对应的画面参数,而不是针对整个视频图像进行视频图像增强,从而可以进一步地提高视频图像显示效果。

如上所述,编码器可以编码生成视频图像,可以将该视频图像注入到业务/媒体管理服务器,业务/媒体管理服务器生成该视频图像的唯一标识,该唯一标识用于标识视频图像。编码器还可以将视频图像注入到流媒体服务器,即该流媒体服务器用于存储视频图像。其中,终端设备和图像增强服务器可以从业务/媒体管理服务器获取视频图像的标识。当终端设备需要播放该视频图像时,终端设备向图像增强服务器发送携带有视频图像的标识的请求消息,以请求获取主视角区域对应的画面参数。并且终端设备可以从流媒体服务器获取视频图像。下面对这种方案进行详细说明:

图9为本申请又一实施例提供的视频图像的增强方法的流程图,如图9所示,该方法包括如下步骤:

步骤S901:编码器编码生成视频图像。

步骤S902:编码器将该视频图像发送给业务/媒体管理服务器。

步骤S903:业务/媒体管理服务器生成该视频图像的标识。

步骤S904:业务/媒体管理服务器将该视频图像的标识发送给终端设备。

步骤S905:编码器将该视频图像发送给流媒体服务器。

步骤S906:编码器将该视频图像发送给图像增强服务器。

步骤S907:图像增强服务器确定视频图像中的主视角区域对应的画面参数。

步骤S908:终端设备向图像增强服务器发送请求消息,该请求消息包括:视频图像的标识。

步骤S909:图像增强服务器向终端设备发送响应消息,该响应消息包括:视频图像对应的第一存储地址和主视角区域对应的参数对应的第二存储地址。

其中,第二存储地址包括:上述视频图像的标识,例如:第二存储地址为: http://10.135.13.12/A894093847378394_enhance.dat,A894093847378394为上述视频图像的标识。

步骤S910:终端设备根据该第一存储地址从流媒体服务器获取视频图像。

步骤S911:终端设备根据该第二存储地址从图像增强服务器获取主视角区域对应的画面参数。

步骤S912:终端设备根据上述主视角区域分别对应的画面参数对视频图像进行增强处理。

需要说明的是,本实施例主要应用于存在业务/媒体管理服务器、流媒体服务器、图像增强服务器的情况,它们分别用于确定视频图像的标识、存储视频图像和获取视频图像的各个视角区域对应的参数,本实施例的细节可参考上一实施例,在此不再赘述。

图10为本申请一实施例提供的一种视频图像的增强装置的示意图,其中该视频图像的增强装置可以为服务器的部分或者全部,如图10所示,该装置包括:

接收模块1001,用于接收终端设备发送的请求消息,请求消息包括视频图像的标识。

获取模块1002,用于根据视频图像的标识获取视频图像中的至少一个视角区域的画面参数。

发送模块1003,用于向终端设备发送至少一个视角区域的画面参数。

其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

可选的,该装置还包括:确定模块1004,用于在接收模块接收终端设备发送的请求消息之前,确定至少一个视角区域的画面参数。

可选的,确定模块1004具体用于:若视频图像中各个像素的亮度分量均值小于亮度阈值,且第一像素的个数大于第一预设个数,则确定至少一个视角区域分别对应的亮度增强参数,第一像素为各个像素中亮度分量小于亮度分量均值的像素。和/或,若视频图像中各个像素的饱和度分量均值小于饱和度阈值,且第二像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的饱和度增强参数,第二像素为各个像素中饱和度分量小于饱和度分量均值的像素。和/或,若视频图像中各个像素的对比度分量均值小于对比度阈值,且第三像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的对比度增强参数,第三像素为各个像素中对比度分量小于对比度分量均值的像素。和/或,若视频图像中各个像素的锐化度分量均值小于锐化度阈值,且第四像素的个数大于第二预设个数,则确定至少一个视角区域分别对应的锐化度增强参数,第四像素为各个像素中锐化度分量小于锐化度分量均值的像素。

可选的,至少一个视角区域的画面参数还包括:至少一个视角区域分别对应的时间戳和空间范围。

本申请提供的视频图像的增强装置可用于执行上述图像增强服务器所执行的视频图像的增强方法,其内容和效果可参考方法实施例部分,对此不再赘述。

图11为本申请另一实施例提供的一种视频图像的增强装置的示意图,其中该视频图像的增强装置可以为服务器的部分或者全部,如图11所示,该装置包括:

发送模块1101,用于向服务器发送请求消息,请求消息包括视频图像的标识,视频图像的标识用于服务器获取视频图像中的至少一个视角区域的画面参数。

接收模块1102,用于接收服务器发送的至少一个视角区域的画面参数。

处理模块1103,用于根据至少一个视角区域的画面参数对视频图像进行增强处理。

其中,至少一个视角区域的画面参数包括:至少一个视角区域分别对应的增强参数,至少一个视角区域中任一个视角区域对应的增强参数用于终端设备对该视角区域进行增强处理。

可选的,至少一个视角区域的画面参数还包括:至少一个视角区域分别对应的时间戳和空间范围。相应的,处理模块1103具体用于:根据目标视角区域的时间戳和空间范围,以及,至少一个视角区域分别对应的时间戳和空间范围确定目标视角区域对应的增强参数。根据目标视角区域对应的增强参数,对目标视角区域进行增强处理。其中,目标视角区域为至少一个视角区域的部分或者全部。

可选的,任一个视角区域对应的增强参数包括以下至少一项:该视角区域的亮度增强参数、饱和度增强参数、对比度增强参数、锐化度增强参数。

本申请提供的视频图像的增强装置可用于执行上述终端设备所执行的视频图像的增强方法,其内容和效果可参考方法实施例部分,对此不再赘述。

图12为本申请一实施例提供的一种服务器的示意图,如图12所示,该服务器包括:存储器1201和处理器1202。存储器用于存储计算机指令,以使处理器执行计算机指令,以实现服务器所执行的视频图像的增强方法,其内容和效果可参考方法实施例部分,对此不再赘述。可选的,该服务器还包括收发器1203,用于实现与终端设备或者其他设备之间的数据传输。

图13为本申请一实施例提供的一种终端设备的示意图,如图13所示,该终端设备包括:存储器1301和处理器1302。存储器用于存储计算机指令,以使处理器执行计算机指令,以实现终端设备所执行的视频图像的增强方法,其内容和效果可参考方法实施例部分,对此不再赘述。可选的,该终端设备还包括收发器1303,用于实现与服务器或者其他设备之间的数据传输。

本申请提供一种芯片,该芯片用于实现服务器所执行的视频图像的增强方法。其内容和效果可参考方法实施例部分,对此不再赘述。

本申请提供一种芯片,该芯片用于实现终端设备所执行的视频图像的增强方法。其内容和效果可参考方法实施例部分,对此不再赘述。

本申请提供一种计算机存储介质,包括:计算机可执行指令,计算机可执行指令用于实现服务器所执行的视频图像的增强方法。其内容和效果可参考方法实施例部分,对此不再赘述。

本申请提供一种计算机存储介质,包括:计算机可执行指令,计算机可执行指令用于实现终端设备所执行的视频图像的增强方法。其内容和效果可参考方法实施例部分,对此不再赘述。

相关技术
  • 视频图像的增强方法、装置、设备、芯片及存储介质
  • 数据增强方法、装置、计算设备、芯片及计算机存储介质
技术分类

06120112518039