一种视频图像的增强处理方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频图像的增强处理方法、装置及电子设备。

背景技术

为了提高视频的观看效果，需要对视频中的图像进行增强，从而增强视频图像中的有用信息，改善视频观看的视觉效果。

由于视频中的图像具有连续性，因此目前的图像增强实现方案中在对某一帧图像进行图像增强时，通常是利用该图像之前的图像进行增强处理。

但是视频中通常会出现图像突变的情况，例如，电影视频中镜头转换后图像与之前的图像之间发生突变，这就会出现使用突变之前的图像对突变之后的图像进行增强处理的情况，由此导致增强处理的效果较差。

发明内容

有鉴于此，本申请提供了一种视频图像的增强处理方法、装置及电子设备，用以解决现有的图像增强处理方案中会出现增强效果较差的技术问题。

本申请提供了一种视频图像的增强处理方法，所述方法包括：

获得目标视频数据，所述目标视频数据中包含多帧视频图像；

对所述目标视频数据中的视频图像进行划分，以得到多个图像组，每个所述图像组中包含至少一帧所述视频图像，被划分到同一图像组的视频图像连续且满足预设的突变划分条件；

在所述图像组所包含的视频图像中，分别为每帧所述视频图像选取至少一帧参考图像；

对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像。

上述方法，优选的，对所述目标视频数据中的视频图像进行划分，以得到多个图像组，包括：

监测所述目标视频数据中当前时序对应的第一视频图像是否与所述第一视频图像的前一帧视频图像满足突变划分条件；

如果所述第一视频图像与所述前一帧视频图像满足所述突变划分条件，将所述第一视频图像与所述前一帧视频图像划分到同一图像组中；

如果所述第一视频图像与所述前一帧视频图像不满足所述突变划分条件，将所述第一视频图像与所述前一帧视频图像划分到不同的图像组中。

上述方法，优选的，所述突变划分条件包括：所述第一视频图像与所述前一帧视频图像之间的相似度大于或等于相似阈值，和/或，所述前一帧视频图像所在的图像组中的图像数量大于或等于数量阈值。

上述方法，优选的：所述图像组中第一个时序上的视频图像对应的参考图像为：所述图像组中最后一个时序或最后多个时序上的图像；所述图像组中除所述第一个时序之外的其他时序上的视频图像对应的参考图像为：所述图像组中时序在所述视频图像之前的图像。

上述方法，优选的，对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像，包括：

对于每帧所述视频图像，分别利用预先训练的图像增强模型对所述视频图像以及对应的参考图像进行处理，以得到所述视频图像对应的增强图像；

其中，所述图像增强模型利用至少两个样本组进行训练得到，所述样本组中包含第一样本图像、第二样本图像和所述第一样本图像对应的至少一帧参考样本图像，所述第一样本图像和所述参考样本图像的图像质量参数值低于所述第二样本图像的图像质量参数值。

上述方法，优选的，所述图像增强模型通过以下方式训练得到：

依次以每个所述样本组中的第一样本图像以及对应的参考样本图像为所述图像增强模型的输入样本，获得所述图像增强模型针对所述第一样本图像输出的预测增强图像；

根据所述预测增强图像与所述第二样本图像，获得损失函数值；

在预设的训练结束条件没有被满足的情况下，根据所述损失函数值对所述图像增强模型的模型参数进行调整，直到所述训练结束条件被满足。

上述方法，优选的，所述样本组通过以下方式得到：

获得样本视频数据，所述样本视频数据中包含多帧样本图像；

对所述样本视频数据中的样本图像进行划分，以得到多个第一组，所述第一组中包含至少一帧第二样本图像，被划分到同一第一组的第二样本图像连续且满足所述突变划分条件；

分别对每个所述第一组中的每帧所述第二样本图像进行模糊处理，以得到多个包含至少一帧第一样本图像的第二组；

分别为每帧所述第一样本图像在其所在的第二组中选取对应的至少一帧参考样本图像；

其中，每帧所述第一样本图像及其对应的参考样本图像和所述第一样本图像在所述第一组中对应的第二样本图像组成样本组。

上述方法，优选的，还包括：

将所述增强图像按照其对应的时序组成增强视频数据；

输出所述增强视频数据。

本申请还提供了了一种视频图像的增强处理装置，所述装置包括：

视频获得单元，用于获得目标视频数据，所述目标视频数据中包含多帧视频图像；

图像划分单元，用于对所述目标视频数据中的视频图像进行划分，以得到多个图像组，每个所述图像组中包含至少一帧所述视频图像，被划分到同一图像组的视频图像连续且满足预设的突变划分条件；

参考选取单元，用于在所述图像组所包含的视频图像中，分别为每帧所述视频图像选取至少一帧参考图像；

图像处理单元，用于对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像。

本申请还提供了一种电子设备，包括：

存储器，用于存储应用程序以及所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现：

获得目标视频数据，所述目标视频数据中包含多帧视频图像；

对所述目标视频数据中的视频图像进行划分，以得到多个图像组，每个所述图像组中包含至少一帧所述视频图像，被划分到同一图像组的视频图像连续且满足预设的突变划分条件；

在所述图像组所包含的视频图像中，分别为每帧所述视频图像选取至少一帧参考图像；

对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像。

从上述技术方案可以看出，本申请公开的一种视频图像的增强处理方法、装置及电子设备中，在将视频数据中的视频图像按照突变划分条件进行分组之后，进而分别为每帧视频图像在其各自所在的图像组中选取参考图像，再利用每帧视频图像对应的参考图像进行增强处理，进而避免突变前的视频图像对突变后的视频图像进行增强处理所造成的增强效果较差的情况。可见，本申请中通过对视频中的图像进行突变分组，从而针对处于同一组中的视频图像在所在的图像组中选取参考图像，所选取的参考图像与其对应的视频图像不会存在突变的情况，由此提高对视频图像进行增强处理的增强效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种视频图像的增强处理方法的流程图；

图2为本申请实施例中由视频图像组成的目标视频数据的示例图；

图3为本申请实施例中被划分成图像组的目标视频数据的示例图；

图4为本申请实施例一提供的一种视频图像的增强处理方法的部分流程图；

图5-图7分别为本申请实施例中对视频图像进行图像组划分的示例图；

图8为本申请实施例中针对不同目标视频数据采用不同的模型的示例图；

图9为本申请实施例一提供的一种视频图像的增强处理方法的另一部分流程图；

图10为本申请实施例中样本组内的样本图像的示例图；

图11为本申请实施例一提供的一种视频图像的增强处理方法的又一部分流程图；

图12为本申请实施例中第一样本图像和第二样本图像之间的关系示例图；

图13为本申请实施例二提供的一种视频图像的增强处理装置的结构示意图；

图14为本申请实施例二提供的一种视频图像的增强处理装置的另一结构示意图；

图15为本申请实施例三提供的一种电子设备的结构示意图；

图16-图18分别为本申请实施例中对视频帧增强处理的示例流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种视频图像的增强处理方法的实现流程图，该方法可以适用于能够进行图像处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于提高对视频中图像的增强效果。

具体的，本实施例中的方法可以包括以下步骤：

步骤101：获得目标视频数据。

其中，目标视频数据可以理解为包含一个或多个视频片段的视频集，在视频集中的每个视频片段中均包含一帧或多帧视频图像，由此，在目标视频数据中包含有多帧视频图像，如图2中所示，每帧视频图像具有自己的时序，视频图像之间按照时序的顺序组成目标视频数据。目标视频数据即为需要对其中的视频图像进行图像增强以提高图像质量的视频数据，如电影视频、监控录像等。

具体的，本实施例中可以在接收到图像增强请求之后，对图像增强请求所对应的目标视频数据进行获取。

在一种实现方式中，本实施例中可以接收其他设备所发送来的目标视频数据，例如，本实施例中的服务器接收客户端发送来的需要进行图像增强的电影视频片段；

在另一种实现方式中，本实施例中可以在服务器的存储区域读取与视频播放应用所生成的图像增强请求对应的监控录像片段等。

步骤102：对目标视频数据中的视频图像进行划分，以得到多个图像组。

其中，每个图像组中包含至少一帧视频图像，而且，被划分到同一图像组的视频图像连续且满足预设的突变划分条件。这里的连续是指视频图像在目标视频数据中的时序是连续的，而突变划分条件是指：时序相邻的两帧视频图像发生突变所满足的条件，即视频图像的图像内容发生较大变化的条件，如镜头切换的条件等等。例如，电影视频中远景图像与近景图像满足突变划分条件，再如，监控视频中镜头1的图像与镜头2的图像满足突变划分条件，而监控视频中镜头1中的图像不存在镜头切换由此是不满足突变划分条件的。如图3中所示，目标视频数据被划分出三个图像组，第一个图像组中的视频图像均对应于镜头1，第二个图像组中的视频图像均对应于镜头2，第三个图像组中的视频图像均对应于镜头3。

具体的，本实施例中在对目标视频数据中的视频图像进行划分时，是对具有相邻时序的视频图像进行划分，所得到的图像组中的视频图像的时序是连续的，基于此，所得到的每个图像组之间也具有相应的时序前后的关系。

需要说明的是，目标视频数据所对应的多个图像组中，具有相邻时序的图像组的镜头不同，但是，时序不相邻的图像组的镜头可以相同也可以不同。例如，目标视频数据被划分出三个图像组，第一个图像组对应于镜头1，第二个图像组对应于镜头2，第三个图像组对应于镜头3，镜头1与镜头2不同，镜头2与镜头3不同，但是镜头1与镜头3可以相同也可以不同，如图3中所示。

步骤103：在图像组所包含的视频图像中，分别为每帧视频图像选取至少一帧参考图像。

其中，本实施例中分别对每个图像组中的每帧视频图像分别选择参考图像，以其中一个图像组中的其中一个视频图像为例，在该图像组中为该视频图像选取出一帧或多帧参考图像。

在一种实现方式中，本实施例中可以针对每帧视频图像，在其所在的图像组中任意选取区别于这个视频图像的其他视频图像作为参考图像。

具体的，本实施例中对图像组中的每帧视频图像，在图像组中利用随机算法随机选取一帧或多针视频图像作为参考图像。

例如，本实施例中对图像组中的第一个时序上的视频图像，在图像组中选取第二个时序上的视频图像或者选取第三个时序上的视频图像作为参考图像，对图像组中的第二个时序上的视频图像，在图像组中选取第四个时序上的视频图像或者选取第一个时序上的视频图像作为参考图像。

在另一种实现方式中，本实施例中可以按照预设的选取规则在图像组中为每帧视频图像选取参考图像。

具体的，本实施例中对图像组中的第一个时序上的视频图像，在图像组中选取最后一个时序上或者最后多个时序上的视频图像作为第一个时序上的视频图像的参考图像，而对于图像组中的除第一个时序之外的其他时序上的视频图像，在图像组中选取时序在前的视频图像作为这其他时序上的视频图像的参考图像。

例如，本实施例中对图像组中的第一个时序上的视频图像，在图像组中选取最后一个时序上的视频图像作为第一个时序上的视频图像的参考图像，而对于图像组中的第二个时序上的视频图像，在图像组中选取时序在前的视频图像即第一个时序上的视频图像作为第二个时序上的视频图像的参考图像；对于图像组中的第三个时序上的参考图像，在图像组中选取时序在前的视频图像如第一个时序和/或第二个时序上的视频图像作为第三个时序上的视频图像的参考图像，以此类推，直到为图像组中的最后一个时序上的视频图像选取时序在前的倒数第二个时序上的视频图像作为参考图像。

基于此，本实施例中为每帧视频图像所选取的参考图像均为具有相同或相似图像内容如同一镜头下的图像，由此，参考图像与其对应的视频图像之间不存在较大的突变。

步骤104：对于每帧视频图像，分别利用各自对应的参考图像进行增强处理，以得到视频图像对应的增强图像。

其中，本实施例中可以利用预设的增强算法以参考图像为基础，对相应的视频图像进行图像处理，如像素插入或者修改等，由此得到视频图像对应的增强图像；

或者，本实施例中可以通过预先训练的机器学习模型以视频图像及其对应的参考图像为输入，来输出视频图像对应的增强图像。

由上述方案可知，本申请实施例一提供的一种视频图像的增强处理方法中，在将视频数据中的视频图像按照突变划分条件进行分组之后，进而分别为每帧视频图像在其各自所在的图像组中选取参考图像，再利用每帧视频图像对应的参考图像进行增强处理，进而避免突变前的视频图像对突变后的视频图像进行增强处理所造成的增强效果较差的情况。可见，本实施例中通过对视频中的图像进行突变分组，从而针对处于同一组中的视频图像在所在的图像组中选取参考图像，所选取的参考图像与其对应的视频图像不会存在突变的情况，由此提高对视频图像进行增强处理的增强效果。

在一种实现方式中，步骤102中在对目标视频数据中的视频图像进行划分时，按照目标视频数据中视频图像的时序对相应的视频图像进行图像组划分，具体可以通过以下步骤实现，如图4中所示：

步骤401：监测目标视频数据中当前时序对应的第一视频图像是否与第一视频图像的前一帧视频图像满足突变划分条件。如果第一视频图像与前一帧视频图像满足突变划分条件，执行步骤402，如果第一视频图像与前一帧视频图像不满足突变划分条件，执行步骤403。

其中，这里的当前时序可以是目标视频数据中的任意一个时序，也就是说，本实施例中对目标视频数据中各个视频图像依次按照各自的时序的前后关系进行判断。

在一种实现方式中，突变划分条件可以包含：第一视频图像与前一帧视频图像之间的相似度大于或等于相似阈值，和/或，前一帧视频图像所在的图像组中的图像数量大于或等于数量阈值。

其中，这里的相似度可以通过视频图像中的图像特征进行获取，具体可以通过视频图像的直方图距离来表示视频图像之间的相似度。而相似阈值可以根据需求设置或者根据图像组所对应的图像参数来确定，如根据图像组中的视频图像的直方图距离均值来确定相似阈值。另外，数量阈值可以根据需求设置，如设置200或1000等。在突变划分条件被满足时，表征第一视频图像与其前一帧视频图像之间发生了突变，如镜头切换等情况，此时，可以执行步骤402，否则，执行步骤403。

具体实现中，本实施例中可以首先对第一视频图像进行特征提取并对第一视频图像的前一帧视频图像进行特征提取，这里的特征是指视频图像中的图像特征，如图像中所包含物体的特征、图像的直方图特征等，本实施例中可以通过图像特征提取算法对视频图像中的特征进行提取；之后，本实施例中对第一视频图像中的特征与前一帧视频图像中的特征进行特征比对，以得到能够表征第一视频图像中的特征与前一帧视频图像中的特征之间的差异性的值，如直方图之间的距离等；最后，本实施例中对表征差异性的值是否超出差异阈值进行判断，从而监测到第一视频图像是否与前一帧视频图像满足突变划分条件。

例如，本实施例中可以预先对目标视频数据中的所有视频图像统计直方图特征，再计算时序相邻的视频图像之间关于直方图特征的直方图距离，再根据这些直方图距离的平均值获得直方图距离阈值，即目标视频数据对应的直方图距离阈值；

基于此，本实施例中对第一视频图像进行直方图统计并对第一视频图像的前一帧视频图像进行直方图统计；之后，本实施例中获得时序相邻的第一视频图像与前一帧视频图像之间的直方图距离；最后，本实施例中对直方图距离是否大于直方图距离阈值进行判断，如果第一视频图像和前一帧视频图像之间的直方图距离大于或等于目标视频数据对应的直方图距离阈值，确定第一视频图像与前一帧视频图像满足突变划分条件。

在另一种实现方式中，场景切换条件可以包含：第一视频图像与前一帧视频图像之间的相似度大于或等于相似阈值，或者，前一帧视频图像所在的图像组中的图像数量大于或等于数量阈值。也就是说，即使第一视频图像中的特征与前一帧视频图像中的特征相同，相似度大于相似阈值，如果前一帧视频图像所在的图像组中的视频图像数量超过数量阈值如200，那么第一视频图像与前一帧视频图像也满足突变划分条件。

步骤402：将第一视频图像与前一帧视频图像划分到不同的图像组中。

其中，在第一视频图像与前一帧视频图像满足突变划分条件的情况下，表明第一视频图像与前一帧视频图像之间发生了较大的变化，如镜头切换等，此时，就可以将第一视频图像划分到一个新的图像组中且第一视频图像为新的图像组中的第一帧视频图像，而前一帧视频图像为前一个图像组中的最后一帧视频图像。

步骤403：将第一视频图像与前一帧视频图像划分到同一图像组中。

例如，本实施例中在监测到的当前时序下对应的第一视频图像X与前一帧视频图像Y满足突变划分条件时，可以确定第一视频图像X与前一帧视频图像Y为不属于同一镜头的图像，此时，将第一视频图像X划分到与前一帧视频图像Y不同的图像组中，如图5中所示，此时，第一视频图像X属于镜头2的图像组，前一帧视频图像Y属于镜头1的图像组；

而本实施例中在监测到第一视频图像X与前一帧视频图像Y不满足突变划分条件时，可以确定第一视频图像X与前一帧视频图像Y为属于同一镜头的图像，此时，将第一视频图像X划分到与前一帧视频图像Y相同的图像组中，如图6中所示，此时，第一视频图像X和前一帧视频图像Y均属于镜头1的图像组。

需要说明的是，本实施例中会依次对每个时序对应的第一视频图像均按照以上方案进行图像组的划分，即依次对每个时序对应的第一视频图像是否与其前一帧视频图像满足突变划分条件进行判断，进而依次对每个第一视频图像进行图像组划分。如图7中所示，本实施例中首先对目标视频数据中的第一个视频图像11进行图像组划分，因为第一个视频图像11没有前一帧的视频图像，因此，将第一个视频图像11划分到新的图像组1中；之后，本实施例中对目标视频数据中的第二个视频图像12进行图像组划分，因为第二个视频图像12与其之前的第一个视频图像1之间不满足突变划分条件，此时将第二个视频图像12划分到与第一个视频图像11相同的图像组1中；之后，以此类推，直到本实施例中对目标视频数据中的第十二个视频图像22进行图像组划分，因为第十二个视频图像22与其之前的第十一个视频图像21之间满足突变划分条件，此时将第十二个视频图像22划分到一个新的图像组2中，以此类推，直到目标视频数据中的所有视频图像均被划分图像组。

基于此，在各自对每个图像组中的每帧视频图像选取参考图像之后，对每帧视频图像利用其对应的参考图像进行增强处理，以得到相应的增强图像。

在一种实现方式中，步骤104中在获得增强图像时，具体可以通过以下方式实现：

对于每帧视频图像，分别利用预先训练的图像增强模型对视频图像以及对应的参考图像进行处理，以得到视频图像对应的增强图像。

其中，图像增强模型利用至少两个样本组进行训练得到，样本组中包含第一样本图像、第二样本图像和第一样本图像对应的至少一帧参考样本图像，这里的第一样本图像和参考样本图像的图像质量参数值低于第二样本图像的图像质量参数值。

其中，图像质量参数值可以包含有一项或多项能够表征图像质量的参数项的参数值，如图像分辨率等。也就是说，第一样本图像和参考样本图像的图像质量参数值低于第二样本图像的图像质量参数值可以为：第一样本图像和参考样本图像的图像分辨率低于第二样本图像的图像分辨率。基于此，通过多个包含第一样本图像、参考样本图像和第二样本图像的样本组所训练出的图像增强模型能够将较低图像分辨率的视频图像处理为较高图像分辨率的增强图像，从而提高图像质量。

进一步的，本实施例中对于不同视频来源的目标视频数据分别预先训练出图像增强模型，例如，本实施例中预先训练有针对电影视频的图像增强模型，还有针对监控录像的图像增强模型，还有针对无人机远景录像的图像增强模型，在需要对目标视频数据的视频图像进行增强处理时，可以根据目标视频数据的来源或场景等参数，调用相应的图像增强模型，从而有针对性的对视频图像进行增强处理，进一步提高图像增强的效果。

也就是说，本实施例中针对不同场景，预先训练出多个图像增强模型，图像增强模型分别对应于不同的场景标识，而本实施例中对具有不同场景标识的目标视频数据采用不同的图像增强模型进行图像增强。

如图8中所示，对于具有场景标识A的目标视频数据来说，利用场景标识A对应的图像增强模型a对目标视频数据中的视频图像进行增强处理，以得到相应的增强图像；对于具有场景标识B的目标视频数据来说，利用场景标识B对应的图像增强模型b对目标视频数据中的视频图像进行增强处理，以得到相应的增强图像；对于具有场景标识C的目标视频数据来说，利用场景标识C对应的图像增强模型c对目标视频数据中的视频图像进行增强处理，以得到相应的增强图像。

具体的，对应于不同场景标识的图像增强模型可以均基于机器学习算法构建，再各自利用多个具有相应场景标识且包含第一样本图像、参考样本图像和第二样本图像的样本组进行训练，而样本组中参与训练的第一样本图像的图像质量参数值低于第二样本图像的图像质量参数值。基于此，所训练出的图像增强模型能够针对性的将相应场景下的具有较低的图像质量参数值的视频图像处理为具有较高的图像质量参数值的增强图像。

在一种实现方式中，图像增强模型可以以样本组中的第一样本图像及其对应的参考样本图像为输入样本，以第二样本图像为输出样本进行训练，以使得所训练出的图像增强模型能够对视频图像利用其对应的参考图像进行增强处理，提高增强效果。

具体的，可以通过以下步骤实现对图像增强模型的训练，如图9中所示：

步骤901：以当前的样本组中的第一样本图像及其对应的参考样本图像为图像增强模型的输入样本，获得图像增强模型针对第一样本图像输出的预测增强图像。

其中，当前的样本组是指在所有样本组中选取出的对图像增强模型进行训练的样本组。例如，本实施例中可以在没有参与训练的样本组中随机选取当前的样本组，或者按照预设的方式在没有参与训练的样本组中选取出当前的样本组。

需要说明的是，图像增强模型具有初始的模型参数，如神经网络算法中的神经元个数、权重参数等模型参数，本实施例中在选取出当前的样本组之后，利用具有初始模型参数的图像增强模型对当前的样本组中的具有低图像质量参数值的第一样本图像及其参考样本图像进行图像增强处理，以得到图像增强模型输出的预测增强图像。

步骤902：根据预测增强图像与第二样本图像，获得损失函数值。

其中，第二样本图像为与预测增强图像对应的第一样本图像属于同一样本组的图像，即当前的样本组中的第二样本图像。本实施例中可以对预测增强图像和第二样本图像进行图像比对，例如将预测增强图像和第二样本图像各自的图像特征数据输入到损失函数中，以得到损失函数值，该损失函数值表征预测增强图像与第二样本图像之间的关于图像质量的差异性。

步骤903：判断训练结束条件是否被满足，如果没有被满足，执行步骤904，否则，结束训练。

其中，训练结束条件可以包括：损失函数值的变化量趋于0或者损失函数值小于或等于损失阈值，和/或，图像增强模型的训练次数大于或等于次数阈值。在训练结束条件被满足的情况下，表征图像增强模型训练完成，如果训练结束条件不满足，那么需要对图像增强模型进行调整并需要继续进行训练。

需要说明的是，这里损失阈值和次数阈值可以根据需求预先设置或根据需求实时进行修改。

步骤904：根据损失函数值，对图像增强模型的模型参数进行调整，并选取下一个样本组作为当前样本组，返回执行步骤901，直到训练结束条件被满足，如损失函数值小于或等于损失阈值或者图像增强模型的训练次数大于或等于次数阈值。

例如，本实施例中可以根据损失函数值的大小，对图像增强模型中的模型参数的参数值进行增加或降低，以追求让下一次训练时能够让训练结束条件被满足，如损失函数值被降低到损失阈值之下或趋于不变，或者训练次数超过次数阈值。

另外，在图像增强模型训练完成之后，本实施例中还可以通过包含第一测试图像以及参考测试图像和第二测试图像的测试组对图像增强模型进行测试，以确定图像增强模型是否符合图像增强的条件。其中，第一测试图像和参考测试图像的图像质量参数值低于第二测试图像的图像质量参数值。

例如，以测试组中的第一测试图像及其对应的参考测试图像为输入样本，获得图像增强模型针对第一测试图像输出的测试增强图像，再根据测试增强图像与第二测试图像，获得损失函数值，判断损失函数值是否小于或等于损失阈值，如果损失函数值小于损失阈值，那么表征图像增强模型为符合图像增强的条件，否则，继续根据损失函数值对图像增强模型进行模型参数的调整，直到损失函数值小于或等于损失阈值或者趋于不变。

在一种实现方式中，每个样本组中的第一样本图像与第二样本图像是具有对应关系的，具体来说：第一样本图像是通过对第二样本图像进行处理所得到的图像。例如，对第二样本图像进行图像模糊等处理，得到图像质量参数值较低的第一样本图像，如图10中所示，第一样本图像及其对应的也经过图像模糊处理的参考样本图像和第二样本图像组成一个样本组。

具体实现中，样本组可以通过以下方式得到，如图11中所示：

步骤1101：获得样本视频数据。

其中，样本视频数据是指包含一个或多个样本片段的视频集，每个样本片段中可以包含有一帧或多帧样本图像，由此，在视频集中包含多帧样本图像。

需要说明的是，样本视频数据可以为多个。本实施例中可以在网络上或数据库中读取多个样本视频数据。

步骤1102：对样本视频数据中的样本图像进行划分，以得到多个第一组。

其中，第一组中包含至少一帧第二样本图像，被划分到同一组中的第二样本图像连续且满足突变划分条件。

需要说明的是，对样本视频数据进行划分的方案具体可以参考前文中对目标视频数据进行图像组划分的方案，此处不再详述。

步骤1103：分别对每个第一组中的每帧第二样本图像进行模糊处理，以得到多个包含至少一帧第一样本图像的第二组。

如图12中所示，第一组中的第二样本图像和第二组的第一样本图像之间一一对应，且，第一样本图像的图像分辨率等图像质量参数值低于其对应的第二样本图像的图像质量参数值。

步骤1104：分别为每帧第一样本图像在其所在的第二组中选取对应的至少一帧参考样本图像。

具体的，本实施例中可以在第二组中为每帧第一样本图像随机选取或者按照一定的选取规则选取出一帧或多帧图像作为第一样本图像对应的参考样本图像。

需要说明的是，为第一样本图像选取参考样本图像的方案具体可以参考前文中为图像组中的视频图像选取参考图像的方案，此处不再详述。

基于此，每帧第一样本图像以及对应的参考样本图像和第一样本图像在第一组中对应的第二样本图像组成样本组，由此，每个样本组中包含有一帧第二样本图像，还包含还第二样本图像在第二组中对应的第一样本图像以及该第一样本图像在第二组中对应的参考样本图像。

在一种实现方式中，在步骤104之后，本实施例中可以将增强图像进行实时输出，或者，还可以将增强图像按照其对应的时序组成增强视频数据，例如，将属于同一视频片段的视频图像对应的增强图像组成增强的视频片段，这些增强的视频片段组成视频集，之后，再将这些增强视频数据进行输出。由此，用户可以观赏到图像质量参数值更高的视频内容。

参考图13，为本申请实施例二提供的一种视频图像的增强处理装置的结构示意图，该装置可以配置在能够进行图像处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于提高对视频中图像的增强效果。

具体的，本实施例中的装置可以包括以下单元：

视频获得单元1301，用于获得目标视频数据，所述目标视频数据中包含多帧视频图像；

图像划分单元1302，用于对所述目标视频数据中的视频图像进行划分，以得到多个图像组，每个所述图像组中包含至少一帧所述视频图像，被划分到同一图像组的视频图像连续且满足预设的突变划分条件；

参考选取单元1303，用于在所述图像组所包含的视频图像中，分别为每帧所述视频图像选取至少一帧参考图像；

图像处理单元1304，用于对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像。

由上述方案可知，本申请实施例二提供的一种视频图像的增强处理装置中，在将视频数据中的视频图像按照突变划分条件进行分组之后，进而分别为每帧视频图像在其各自所在的图像组中选取参考图像，再利用每帧视频图像对应的参考图像进行增强处理，进而避免突变前的视频图像对突变后的视频图像进行增强处理所造成的增强效果较差的情况。可见，本实施例中通过对视频中的图像进行突变分组，从而针对处于同一组中的视频图像在所在的图像组中选取参考图像，所选取的参考图像与其对应的视频图像不会存在突变的情况，由此提高对视频图像进行增强处理的增强效果。

在一种实现方式中，图像划分单元1202具体用于：监测所述目标视频数据中当前时序对应的第一视频图像是否与所述第一视频图像的前一帧视频图像满足突变划分条件；如果所述第一视频图像与所述前一帧视频图像满足所述突变划分条件，将所述第一视频图像与所述前一帧视频图像划分到同一图像组中；如果所述第一视频图像与所述前一帧视频图像不满足所述突变划分条件，将所述第一视频图像与所述前一帧视频图像划分到不同的图像组中。

可选的，所述突变划分条件包括：所述第一视频图像与所述前一帧视频图像之间的相似度大于或等于相似阈值，和/或，所述前一帧视频图像所在的图像组中的图像数量大于或等于数量阈值。

在一种实现方式中，所述图像组中第一个时序上的视频图像对应的参考图像为：所述图像组中最后一个时序或最后多个时序上的图像；

所述图像组中除所述第一个时序之外的其他时序上的视频图像对应的参考图像为：所述图像组中时序在所述视频图像之前的图像。

在一种实现方式中，图像处理单元1304具体用于：对于每帧所述视频图像，分别利用预先训练的图像增强模型对所述视频图像以及对应的参考图像进行处理，以得到所述视频图像对应的增强图像；

其中，所述图像增强模型利用至少两个样本组进行训练得到，所述样本组中包含第一样本图像、第二样本图像和所述第一样本图像对应的至少一帧参考样本图像，所述第一样本图像和所述参考样本图像的图像质量参数值低于所述第二样本图像的图像质量参数值。

可选的，图像处理单元1304具体用于训练图像增强模型，例如：

依次以每个所述样本组中的第一样本图像以及对应的参考样本图像为所述图像增强模型的输入样本，获得所述图像增强模型针对所述第一样本图像输出的预测增强图像；根据所述预测增强图像与所述第二样本图像，获得损失函数值；在预设的训练结束条件没有被满足的情况下，根据所述损失函数值对所述图像增强模型的模型参数进行调整，直到所述训练结束条件被满足。

在一种实现方式中，所述样本组通过以下方式得到：通过视频获得单元1201获得样本视频数据，所述样本视频数据中包含多帧样本图像；再通过图像划分单元1202对所述样本视频数据中的样本图像进行划分，以得到多个第一组，所述第一组中包含至少一帧第二样本图像，被划分到同一第一组的第二样本图像连续且满足所述突变划分条件；分别对每个所述第一组中的每帧所述第二样本图像进行模糊处理，以得到多个包含至少一帧第一样本图像的第二组；分别为每帧所述第一样本图像在其所在的第二组中选取对应的至少一帧参考样本图像；其中，每帧所述第一样本图像及其对应的参考样本图像和所述第一样本图像在所述第一组中对应的第二样本图像组成样本组。

可选的，所述图像质量参数值包含图像分辨率。

在一种实现方式中，本实施例中的装置还可以包括以下单元，如图14中所示：

输出单元1305，用于：将所述增强图像按照其对应的时序组成增强视频数据；输出所述增强视频数据。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

参考图15，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为计算机或服务器等。本实施例中的技术方案主要用于提高对视频中图像的增强效果。

具体的，本实施例中的电子设备可以包括以下结构：

存储器1501，用于存储应用程序以及所述应用程序运行所产生的数据；

处理器1502，用于执行所述应用程序，以实现：

获得目标视频数据，所述目标视频数据中包含多帧视频图像；

对所述目标视频数据中的视频图像进行划分，以得到多个图像组，每个所述图像组中包含至少一帧所述视频图像，被划分到同一图像组的视频图像连续且满足预设的突变划分条件；

在所述图像组所包含的视频图像中，分别为每帧所述视频图像选取至少一帧参考图像；

对于每帧所述视频图像，分别利用各自对应的参考图像进行增强处理，以得到所述视频图像对应的增强图像。

由上述方案可知，本申请实施例三提供的一种电子设备中，在将视频数据中的视频图像按照突变划分条件进行分组之后，进而分别为每帧视频图像在其各自所在的图像组中选取参考图像，再利用每帧视频图像对应的参考图像进行增强处理，进而避免突变前的视频图像对突变后的视频图像进行增强处理所造成的增强效果较差的情况。可见，本实施例中通过对视频中的图像进行突变分组，从而针对处于同一组中的视频图像在所在的图像组中选取参考图像，所选取的参考图像与其对应的视频图像不会存在突变的情况，由此提高对视频图像进行增强处理的增强效果。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

以下以图像增强模型为推理模型为例，对本申请所实现的视频进行编码压缩与视频增强的技术方案进行详细说明：

首先，现有技术在视频增强时候往往没有考虑场景切换。但是在视频增强处理过程中容易出现视频帧突变的情况，为了防止此问题，需要对视频流的场景突变进行探测。

为实现上述目的，本申请提供如下技术方案：

如图16所示，本申请中的方法可以包括：

S1，采集视频数据，高质量的视频根据一定的处理变成低质量的视频，得到训练集和测试集；

S2，对推理模型进行训练，通过训练获取推理模型；

S3，低质量的视频作为推理模型的输入；

S4，低质量的视频输入到推理模型，增强为高质量的视频。

进一步的，S1中采集视频数据，获取训练集和测试集包括：

S11、采集数据形成视频集。

S12、在场景切换条件下，视频切分为视频帧。

需要说明的是，一个视频由多组场景组成，一个场景由多个连续的视频帧组成，视频场景切换的目的寻找视频突变的位置。

如图17所示，为本实施例中的一种视频场景切换的探测方法。其中，方法包括：

步骤A1、从视频中提取视频帧，统计直方图，计算相邻视频帧图片的直方图距离。

步骤A2、求取所有直方图距离的平均值。

步骤A3、通过直方图距离求取直方图距离阀值。

步骤A4、从第2个视频帧开始，依次比较对应的直方图距离是否大于预定的直方图距离阀值，如果大于预定的阀值，并且本场景的视频帧数量超过预定帧数量阀值，则区分当前视频帧与前一个视频帧为不同场景。本场景探测方法的优点在于简单高效。

如图18所示，S2中对推理模型进行训练，具体步骤包括：

S21、视频的预处理。高质量的视频根据一定的算法得到对应的低质量的视频。

S22、初始化推理模型中的生成器(G_net)、判别器(D_net)网络。对生成器网络和判别器网络中各层权值进行随机初始化。

S23、打标签。将低质量连续的视频帧输入到生成器的网络中，输出连续帧；然后将生成的连续帧输入到判别器网络中，对其打标签“0”。将高质量的连续的视频帧输入判别器中，对其打标签为“1”。

S24、通过生成的视频帧和与之对应的高质量的视频帧，计算损失函数。

S25、判断：当损失函数的值小于设定的阀值时，推理模型停止训练；或者当迭代次数大于或等于固定次数时，停止训练。否则继续训练。

S26、得到训练好的生成器和判别器的相关参数。

进一步的，S4中，低质量的视频输入到推理模块，增强为高质量的视频，具体步骤包括：

S41、读取需要增强的视频。

S42、在场景切换条件下，视频切分为视频帧。

S43、连续的多帧图片输入到推理模型，根据图片是否发生场景切换来按照不同推理逻辑进行处理。

S44、增强后的视频帧实时播放或者转为视频。

可见，本申请的有益效果在于：运用深度学习的技术根据已有的图像不仅生成了细节丰富的一帧帧的图像，还保持了图像之间的连贯性。本申请通过在视频推理和视频训练阶段引入场景切换，有效地降低了视频帧突变对视频增强效果的影响。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。