掌桥专利:专业的专利平台
掌桥专利
首页

一种自适应锐化决策方法、装置、设备、存储介质及产品

文献发布时间:2024-04-18 19:59:31


一种自适应锐化决策方法、装置、设备、存储介质及产品

技术领域

本申请实施例涉及视频处理技术领域,尤其涉及一种自适应锐化决策方法、装置、设备、存储介质及产品。

背景技术

随着视频处理技术和互联网技术的发展,人们对视频质量的要求也越来越高。为了提高视频的播放效果,可对视频进行增强处理,提高用户的视频观看体验。例如,可通过对解码视频进行锐化处理的方式对视频进行增强处理。

目前,对视频的锐化处理一般是通过固定使用复杂的视频锐化算法来实现最佳的锐化效果。由于即时通讯产品对实时性的要求较高,并且即时通讯产品终端算量较低,这种通过复杂的视频锐化算法的视频锐化方式对于即时通讯产品并不适用,现有视频锐化方案在即时通讯产品的视频锐化耗时长,用户体验较差。

发明内容

本申请实施例提供一种自适应锐化决策方法、装置、设备、存储介质及产品,以解决相关技术中现有视频锐化方案在即时通讯产品的视频锐化耗时长,用户体验较差的技术问题,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

在第一方面,本申请实施例提供了一种自适应锐化决策方法,应用于视频解码端,包括:

获取视频编码端提供的视频码流信息;

根据所述视频码流信息确定解码参数信息;

根据所述视频码流信息中的媒体补充增强信息确定编码参数信息,所述媒体补充增强信息由所述视频编码端写入所述视频码流信息中;

根据所述解码参数信息和所述编码参数信息确定是否开启对所述视频码流信息的锐化处理。

在第二方面,本申请实施例提供了一种自适应锐化决策方法,应用于视频编码端,包括:

对采集到的视频源信息进行视频编码得到视频码流信息,并确定视频编码对应的编码参数信息;

根据所述编码参数信息生成媒体补充增强信息,并将所述媒体补充增强信息写入所述视频码流信息中;

向视频解码端发送所述视频码流信息,以供所述视频解码端根据所述视频码流信息确定解码参数信息,以及根据所述视频码流信息中的媒体补充增强信息确定编码参数信息,并根据所述解码参数信息和所述编码参数信息确定是否开启对所述视频码流信息的锐化处理。

在第三方面,本申请实施例提供了一种自适应锐化决策装置,应用于视频解码端,包括码流获取模块、第一参数模块、第二参数模块和锐化决策模块,其中:

所述码流获取模块,配置为获取视频编码端提供的视频码流信息;

所述第一参数模块,配置为根据所述视频码流信息确定解码参数信息;

所述第二参数模块,配置为根据所述视频码流信息中的媒体补充增强信息确定编码参数信息,所述媒体补充增强信息由所述视频编码端写入所述视频码流信息中;

所述锐化决策模块,配置为根据所述解码参数信息和所述编码参数信息确定是否开启对所述视频码流信息的锐化处理。

在第四方面,本申请实施例提供了一种自适应锐化决策装置,应用于视频编码端,包括参数确定模块、信息写入模块和视频发送模块,其中:

所述参数确定模块,配置为对采集到的视频源信息进行视频编码得到视频码流信息,并确定视频编码对应的编码参数信息;

所述信息写入模块,配置为根据所述编码参数信息生成媒体补充增强信息,并将所述媒体补充增强信息写入所述视频码流信息中;

所述视频发送模块,配置为向视频解码端发送所述视频码流信息,以供所述视频解码端根据所述视频码流信息确定解码参数信息,以及根据所述视频码流信息中的媒体补充增强信息确定编码参数信息,并根据所述解码参数信息和所述编码参数信息确定是否开启对所述视频码流信息的锐化处理。

在第五方面,本申请实施例提供了一种自适应锐化决策设备,包括:存储器以及一个或多个处理器;

所述存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面或第二方面所述的自适应锐化决策方法。

在第六方面,本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面或第二方面所述的自适应锐化决策方法。

在第七方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中,设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序,使得设备执行如第一方面或第二方面所述的自适应锐化决策方法。

本申请实施例通过获取视频编码端提供的视频码流信息,根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

附图说明

图1是本申请实施例提供的一种自适应锐化决策方法的流程图;

图2是本申请实施例提供的另一种自适应锐化决策方法的流程图;

图3是本申请实施例提供的一种基于解码参数信息和编码参数信息的锐化决策流程示意图;

图4是本申请实施例提供的另一种基于解码参数信息和编码参数信息的锐化决策流程示意图;

图5是本申请实施例提供的一种自适应锐化决策方法的流程图;

图6是本申请实施例提供的一种自适应锐化决策装置的结构示意图;

图7是本申请实施例提供的另一种自适应锐化决策装置的结构示意图;

图8是本申请实施例提供的一种自适应锐化决策设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的自适应锐化决策方法可应用于即时通讯产品(RTC产品)的视频锐化决策,旨在根据视频码流信息对应的解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,减少不必要的视频锐化操作,降低在即时通讯产品的视频锐化耗时,提升用户体验。在现有的视频锐化处理方案中,一般是利用固定的视频锐化算法对解码后的视频进行锐化处理,目前的视频锐化处理方案为了提高视频锐化效果,通常使用更复杂、运算量更大的锐化算法进行锐化处理。但是这种视频锐化处理方案的数据处理难度较高,在即时通讯产品中使用这种固定的复杂锐化处理算法时,由于即时通讯产品对实时性的要求较高,并且即时通讯产品终端算量较低,这种通过复杂的视频锐化算法在即时通讯产品中容易出现视频锐化耗时长,用户体验较差的技术问题。基于此,提供本申请实施例的一种自适应锐化决策方法,以解决现有视频锐化处理方案基于固定的复杂锐化处理算法进行视频锐化处理导致视频锐化耗时长,用户体验较差的技术问题。

图1给出了本申请实施例提供的一种自适应锐化决策方法的流程图,本申请实施例提供的自适应锐化决策方法可应用于视频解码端,自适应锐化决策方法可以由自适应锐化决策装置来执行,该自适应锐化决策装置可以通过硬件和/或软件的方式实现,并集成在自适应锐化决策设备(例如视频解码端)中。

下述以自适应锐化决策装置执行自适应锐化决策方法为例进行描述。参考图1,该自适应锐化决策方法包括:

S110:获取视频编码端提供的视频码流信息。

示例性的,本方案提供的自适应锐化决策设备可作为即时通讯中的视频解码端,接收视频编码端提供的视频码流信息,其中,视频码流信息由视频编码端基于视频源信息进行视频编码得到。

可选的,本方案提供的自适应锐化决策设备可与视频编码端通信连接并接收视频编码端发送的视频码流信息,自适应锐化决策设备和视频编码端还可与服务器连接,视频编码端将视频码流信息发送至服务器,由服务器向自适应锐化决策设备发送视频码流信息。

S120:根据视频码流信息确定解码参数信息。

示例性的,自适应锐化决策设备在接收到视频码流信息后,对视频码流信息进行解码,并确定视频码流信息中各个视频帧对应的解码参数信息。其中,解码参数信息可理解为视频码流信息中视频码流相关的信息,例如视频码率、分辨率和帧率等。

S130:根据视频码流信息中的媒体补充增强信息确定编码参数信息,媒体补充增强信息由视频编码端写入视频码流信息中。

示例性的,在对视频码流信息进行解码的同时,获取视频码流信息中各个视频帧携带的媒体补充增强信息,并对媒体补充增强信息进行解码,确定媒体补充增强信息中的编码参数信息。其中,编码参数信息可理解为编码得到视频码流信息过程中相关的信息,例如峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度等。

本方案提供的媒体补充增强信息由视频编码端写入视频码流信息中。在一个实施例中,视频编码端在视频编码过程中收集各个视频帧视频编码对应的编码参数信息,在视频帧编码结束后以媒体补充增强信息(SEI信息,Supplemental EnhancementInformation)的方式向视频码流信息中写入该视频帧对应的编码参数信息。媒体补充增强信息作为一种编码模块语法,可以自定义写入编码模块提供给解码模块的信息,可作为插入到音视频流中以传达额外信息的文本数据,可以与相关音视频内容精准同步,并经过传输链路传输至视频解码端。

S140:根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

示例性的,根据视频码流信息中各个视频帧对应的解码参数信息和编码参数信息确定是否开启对各个视频帧的锐化处理。可选的,对视频帧进行锐化处理的锐化处理算法,可根据视频解码端的处理能力进行配置,保证锐化处理算法在即时通讯产品中的数据处理量和视频锐化耗时在设定范围内(用户可接受的范围内)。

在一个实施例中,可预先确定不同的解码参数信息和编码参数信息的组合下对视频帧进行锐化处理后的锐化效果,并根据锐化效果是否达到设定效果阈值设定开启对视频码流信息的锐化处理对应的解码参数信息和编码参数信息的开启参数范围。在确定解码参数信息和编码参数信息后,可根据解码参数信息和编码参数信息对应的数值范围确定是否开启对视频码流信息的锐化处理。在解码参数信息和编码参数信息对应的数值范围在开启参数范围内时,确定开启对视频码流信息的锐化处理,提高视频展示效果,而在解码参数信息和编码参数信息对应的数值范围在开启参数范围之外时,确定不开启对视频码流信息的锐化处理,减少对视频码流信息的锐化处理导致视频展示效果下降的情况(例如锐化处理导致视频马赛克效果增大的情况)。

上述,通过获取视频编码端提供的视频码流信息,根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

在上述实施例的基础上,图2给出了本申请实施例提供的另一种自适应锐化决策方法的流程图,该自适应锐化决策方法是对上述自适应锐化决策方法的具体化。参考图2,该自适应锐化决策方法包括:

S210:获取视频编码端提供的视频码流信息,并对视频码流信息进行解码,确定解码得到的视频解码帧的当前码率、当前分辨率和当前帧率中的一种或多种的组合。

示例性的,在获取视频编码端提供的视频码流信息后,对视频码流信息进行解码,确定解码得到的各个视频帧的当前码率、当前分辨率和当前帧率中的一种或多种的组合。本方案以确定解码得到的各个视频帧的当前码率、当前分辨率和当前帧率为例进行描述。本方案通过将当前码率、当前分辨率和当前帧率中的一种或多种的组合作为视频码流信息对应的解码参数信息,准确反映视频码流信息中视频码流相关的信息,提高自适应锐化决策的准确度。

S220:对视频码流信息中的媒体补充增强信息进行解码,确定媒体补充增强信息中记录的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合,媒体补充增强信息由视频编码端写入视频码流信息中。

示例性的,获取对视频码流信息进行解码得到的各个视频帧的媒体补充增强信息,并对媒体补充增强信息进行解码,得到各个视频帧的峰值信噪比(PSNR)、量化参数、当前帧复杂度、跳过宏块数量(skip宏块数量)、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合。本方案以确定媒体补充增强信息中记录的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度为例进行描述。本方案通过将峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合作为视频码流信息对应的编码参数信息,准确反映编码得到视频码流信息过程中相关的信息,提高自适应锐化决策的准确度。

S230:根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

如图3提供的一种基于解码参数信息和编码参数信息的锐化决策流程示意图所示,本方案提供的自适应锐化决策方法在根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理时,包括:

S231:确定解码参数信息和编码参数信息的信息完整度。

S232:在信息完整度达到设定完整度阈值的情况下,根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

示例性的,在得到解码参数信息和编码参数信息后,确定解码参数信息和编码参数信息的信息完整度,并根据解码参数信息和编码参数信息的信息完整度确定是否需要进一步根据解码参数信息和编码参数信息进行。

在一个实施例中,在信息完整度为解码参数信息和编码参数信息未达到设定完整度阈值时,可确定锐化决策为不开启对视频码流信息的锐化处理,不对当前视频帧进行锐化处理。在信息完整度为解码参数信息和编码参数信息达到设定完整度阈值时,可确定锐化决策为开启对视频码流信息的锐化处理,对当前视频帧进行锐化处理。

可选的,在解码参数信息和编码参数信息的信息均完整时,认为信息完整度达到设定完整度阈值。例如,在解码参数中的当前码率、当前分辨率和当前帧率均完整,并且编码参数信息中的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度均完整时,认为解码参数信息和编码参数信息的信息完整度达到设定完整度阈值,可确定锐化决策为开启对视频码流信息的锐化处理,对当前视频帧进行锐化处理。而在解码参数中的当前码率、当前分辨率和当前帧率中任意一个缺失或异常,或者编码参数信息中的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中任意一个缺失或异常时,认为解码参数信息和编码参数信息的信息完整度未达到设定完整度阈值,可确定锐化决策为不开启对视频码流信息的锐化处理,不对当前视频帧进行锐化处理。

本方案通过在解码参数信息和编码参数信息的信息完整度达到设定完整度阈值时,才根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,在信息完整度未达到设定完整度阈值时不进行锐化处理,减少不必要的锐化决策处理和视频锐化处理,提高锐化决策效率,减少在解码参数信息和编码参数信息不完整的情况下对视频码流信息进行锐化处理的锐化效果较差,视频锐化降低视频显示质量的情况。

如图4提供的另一种基于解码参数信息和编码参数信息的锐化决策流程示意图所示,本方案提供的自适应锐化决策方法在根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理时,包括:

S233:根据解码参数信息和编码参数信息确定锐化权重。

S234:根据锐化权重确定是否开启对视频码流信息的锐化处理。

示例性的,在确定解码参数信息和编码参数信息后,根据解码参数信息和编码参数信息确定锐化权重,并根据锐化权重确定是否开启对视频码流信息的锐化处理。例如将锐化权重与设定的权重阈值进行比较,并在锐化权重达到权重阈值时开启对视频码流信息的锐化处理。本方案通过根据解码参数信息和编码参数信息确定锐化权重,并根据锐化权重确定是否开启对视频码流信息的锐化处理,准确确定开启视频锐化处理的时机,在保证锐化效果的同时减少锐化处理降低视频质量的情况,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

在一个实施例中,在根据锐化权重确定开启对视频码流信息的锐化处理时,可根据锐化权重确定对视频码流信息的锐化处理的锐化强度。例如,可将锐化权重确定为对视频码流信息的锐化处理的锐化强度,或者是将锐化权重映射到[0,1]的锐化强度区间中得到锐化强度。

在一个可能的实施例中,本方案提供的自适应锐化决策方法在根据解码参数信息和编码参数信息确定锐化权重时,包括以下方式中的至少一种:

方式一:将解码参数信息和编码参数信息输入至训练好的权重计算模型中,通过权重计算模型确定解码参数信息和编码参数信息对应的锐化权重。

方式二:根据设定的参数权重对应关系确定解码参数信息和编码参数信息对应的多个子权重,根据多个子权重确定锐化权重。

示例性的,对于方式一,预先根据收集的解码参数信息和编码参数信息的不同组合以及对应的锐化权重标签对权重计算模型进行训练,并将训练好的权重计算模型配置到自适应锐化决策设备中。在确定解码参数信息和编码参数信息后,将解码参数信息和编码参数信息输入到权重计算模型中,通过权重计算模型对解码参数信息和编码参数信息进行分析处理,并输出解码参数信息和编码参数信息对应的锐化权重。本方案通过权重计算模型确定解码参数信息和编码参数信息对应的锐化权重,有效提高锐化权重的确定准确率,提高自适应锐化决策准确率。

对于方式二,可预先确定不同解码参数信息和编码参数信息对应的子权重,并对解码参数信息、编码参数信息和子权重之间的参数权重对应关系进行记录。其中子权重包括解码参数信息中的视频解码帧的当前码率、当前分辨率和当前帧率各自对应的子权重,以及编码参数信息中的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度各自对应的子权重。在确定据解码参数信息和编码参数信息后,可根据参数权重对应关系确定当前解码参数信息和编码参数信息对应的多个子权重,并根据多个子权重确定锐化权重。可选的,在根据多个子权重确定锐化权重时,可以是将多个子权重的求和值作为锐化权重。本方案通过根据参数权重对应关系确定解码参数信息和编码参数信息对应的锐化权重,有效提高锐化权重的确定效率,提高自适应锐化决策效率,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

在一个可能的实施例中,本方案提供的自适应锐化决策方法在根据锐化权重确定是否开启对视频码流信息的锐化处理,包括:在锐化权重达到设定的权重阈值的情况下,确定开启对视频码流信息的锐化处理;在锐化权重未达到设定的权重阈值的情况下,确定不开启对视频码流信息的锐化处理。

示例性的,将锐化权重与设定权重阈值进行比较,在锐化权重达到设定权重阈值时,认为当前解码参数信息和编码参数信息下对视频码流信息的锐化处理可实现较好的锐化效果,确定开启对视频码流信息的锐化处理。而在锐化权重未达到设定权重阈值时,认为当前解码参数信息和编码参数信息下对视频码流信息的锐化处理的锐化效果较差,存在视频锐化降低视频显示质量的情况,则确定不开启对视频码流信息的锐化处理,保证视频显示质量。本方案通过根据锐化权重和权重阈值的比较结果确定是否开启对视频码流信息的锐化处理,准确确定开启视频锐化处理的时机,在保证锐化效果的同时减少锐化处理降低视频质量的情况,有效降低即时通讯产品的视频锐化耗时,实现视频锐化效果和效率的平衡,提升用户体验。

上述,通过获取视频编码端提供的视频码流信息,根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。同时,通过根据解码参数信息和编码参数信息确定锐化权重,并根据锐化权重确定是否开启对视频码流信息的锐化处理,准确确定开启视频锐化处理的时机,在保证锐化效果的同时减少锐化处理降低视频质量的情况,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

图5给出了本申请实施例提供的一种自适应锐化决策方法的流程图,本申请实施例提供的自适应锐化决策方法可应用于视频编码端,自适应锐化决策方法可以由自适应锐化决策装置来执行,该自适应锐化决策装置可以通过硬件和/或软件的方式实现,并集成在自适应锐化决策设备(例如视频编码端)中。

下述以自适应锐化决策装置执行自适应锐化决策方法为例进行描述。参考图5,该自适应锐化决策方法包括:

S310:对采集到的视频源信息进行视频编码得到视频码流信息,并确定视频编码对应的编码参数信息。

示例性的,作为视频编码端的自适应锐化决策设备实时采集需要传输至视频解码终端的视频源信息,并对视频源信息进行视频编码处理得到视频码流信息。同时,在对视频源信息进行视频编码得到视频码流信息的过程中,对视频编码过程中对应的编码参数信息进行收集。其中,视频源信息可以是YUV或RGB格式的视频流。

本方案提供的编码参数信息包括峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合。例如,在对视频源信息进行视频编码过程中,在将视频源信息拆分为多个编码宏块,并遍历每个编码宏块进行编码模式的选择时,收集确定编码模式后对应的量化参数、跳过宏块数量、帧内宏块数量和帧间宏块数量(不同的编码模式对应不同的预设的量化参数、跳过宏块数量、帧内宏块数量和帧间宏块数量),在完成对一个图像帧的编码后,确定图像帧对应的当前帧复杂度和运动矢量复杂度。并且在图像帧重建滤波完成后,计算图像帧的峰值信噪比,得到图像帧对应的编码参数信息。

S320:根据编码参数信息生成媒体补充增强信息,并将媒体补充增强信息写入视频码流信息中。

示例性的,在确定一个图像帧对应的编码参数信息后,根据编码参数信息生成媒体补充增强信息(SEI信息),并将图像帧对应的媒体补充增强信息写入到视频码流信息中。在媒体补充增强信息中,记录有峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合。

S330:向视频解码端发送视频码流信息,以供视频解码端根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

示例性的,向视频解码端发送视频码流信息,视频解码端在接收到视频码流信息,可根据视频码流信息对应的解码参数信息以及媒体补充增强信息中的编码参数信息确定是否开启对视频码流信息的锐化处理。

其中,视频解码端根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,可参照上述实施例提供的应用于视频解码端的自适应锐化决策方法,视频解码端可执行相应的操作步骤并实现对应的技术效果,本实施例不再赘述。

上述,通过在视频编码过程中收集编码参数信息并通过媒体补充增强信息的形式写入到视频码流信息中,视频解码端在接收到视频码流信息后,可根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

图6是本申请实施例提供的一种自适应锐化决策装置的结构示意图,该自适应锐化决策装置可应用于视频解码端。参考图6,该自适应锐化决策装置包括码流获取模块61、第一参数模块62、第二参数模块63和锐化决策模块64。

其中,码流获取模块61,配置为获取视频编码端提供的视频码流信息;第一参数模块62,配置为根据视频码流信息确定解码参数信息;第二参数模块63,配置为根据视频码流信息中的媒体补充增强信息确定编码参数信息,媒体补充增强信息由视频编码端写入视频码流信息中;锐化决策模块64,配置为根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

上述,通过获取视频编码端提供的视频码流信息,根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

在一个可能的实施例中,第一参数模块62在根据视频码流信息确定解码参数信息时,配置为:

对视频码流信息进行解码,确定解码得到的视频解码帧的当前码率、当前分辨率和当前帧率中的一种或多种的组合。

在一个可能的实施例中,第二参数模块63在根据视频码流信息中的媒体补充增强信息确定编码参数信息时,配置为:

对视频码流信息中的媒体补充增强信息进行解码,确定媒体补充增强信息中记录的峰值信噪比、量化参数、当前帧复杂度、跳过宏块数量、帧内宏块数量、帧间宏块数量和运动矢量复杂度中的一种或多种的组合。

在一个可能的实施例中,锐化决策模块64在根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理时,配置为:

确定解码参数信息和编码参数信息的信息完整度;

在信息完整度达到设定完整度阈值的情况下,根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

在一个可能的实施例中,锐化决策模块64在根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理时,配置为:

根据解码参数信息和编码参数信息确定锐化权重;

根据锐化权重确定是否开启对视频码流信息的锐化处理。

在一个可能的实施例中,锐化决策模块64在根据解码参数信息和编码参数信息确定锐化权重时,配置为以下方式中的至少一种:

将解码参数信息和编码参数信息输入至训练好的权重计算模型中,通过权重计算模型确定解码参数信息和编码参数信息对应的锐化权重;

根据设定的参数权重对应关系确定解码参数信息和编码参数信息对应的多个子权重,根据多个子权重确定锐化权重。

在一个可能的实施例中,锐化决策模块64在根据锐化权重确定是否开启对视频码流信息的锐化处理时,配置为:

在锐化权重达到设定的权重阈值的情况下,确定开启对视频码流信息的锐化处理;

在锐化权重未达到设定的权重阈值的情况下,确定不开启对视频码流信息的锐化处理。

图7是本申请实施例提供的另一种自适应锐化决策装置的结构示意图,该自适应锐化决策装置可应用于视频编码端。参考图7,该自适应锐化决策装置包括参数确定模块71、信息写入模块72和视频发送模块73。

其中,参数确定模块71,配置为对采集到的视频源信息进行视频编码得到视频码流信息,并确定视频编码对应的编码参数信息;信息写入模块72,配置为根据编码参数信息生成媒体补充增强信息,并将媒体补充增强信息写入视频码流信息中;视频发送模块73,配置为向视频解码端发送视频码流信息,以供视频解码端根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理。

上述,通过在视频编码过程中收集编码参数信息并通过媒体补充增强信息的形式写入到视频码流信息中,视频解码端在接收到视频码流信息后,可根据视频码流信息确定解码参数信息,以及根据视频码流信息中的媒体补充增强信息确定编码参数信息,并根据解码参数信息和编码参数信息确定是否开启对视频码流信息的锐化处理,有效减少不必要的视频锐化操作,在保证锐化效果的同时减少锐化处理降低视频质量的情况,实现对视频的自适应锐化决策,有效降低即时通讯产品的视频锐化耗时,提升用户体验。

值得注意的是,上述自适应锐化决策装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请实施例的保护范围。

本申请实施例还提供了一种自适应锐化决策设备,该自适应锐化决策设备可集成本申请实施例提供的自适应锐化决策装置。图8是本申请实施例提供的一种自适应锐化决策设备的结构示意图。参考图8,该自适应锐化决策设备包括:输入装置83、输出装置84、存储器82以及一个或多个处理器81;存储器82,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器81执行,使得一个或多个处理器81实现如上述实施例提供的自适应锐化决策方法。上述提供的自适应锐化决策装置、设备和计算机可用于执行上述任意实施例提供的自适应锐化决策方法,具备相应的功能和有益效果。

本申请实施例还提供一种存储计算机可执行指令的非易失性存储介质,计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的自适应锐化决策方法。当然,本申请实施例所提供的一种存储计算机可执行指令的非易失性存储介质,其计算机可执行指令不限于如上提供的自适应锐化决策方法,还可以执行本申请任意实施例所提供的自适应锐化决策方法中的相关操作。上述实施例中提供的自适应锐化决策装置、设备及存储介质可执行本申请任意实施例所提供的自适应锐化决策方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的自适应锐化决策方法。

在上述实施例的基础上,本申请实施例还提供一种计算机程序产品,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机程序产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所提供的自适应锐化决策方法的全部或部分步骤。

相关技术
  • 语音呼叫处理方法、装置、计算机可读介质及电子设备
  • 语音交互方法、装置以及电子设备、计算机可读介质
  • 语音识别方法、装置、电子设备及计算机可读存储介质
  • 数据监控方法、装置、电子设备及计算机可读存储介质
  • 语音唤醒方法、电子设备及非暂态计算机可读存储介质
  • 语音监控方法、装置、电子设备及计算机可读介质
  • 监控方法、监控装置、电子设备及计算机可读介质
技术分类

06120116516236