视频场景变换检测方法、存储介质和电子设备

技术领域

本发明涉及视频图像分析技术领域，具体而言，涉及一种视频场景变换检测方法、存储介质和电子设备。

背景技术

场景变换是在连续视频流中，视频场景发生变化的现象，这种现象通常是因摄像头被人为或者受其他外部因素影响而发生转动所导致的，这样会造成监控区域偏离指定监控区域，因此，用于识别视频场景发生变化的视频场景变换检测技术便得到了积极的应用于推广。

现有的视频场景变换检测的手段包括：例如，

一、通过计算连续视频帧场景图像之间的场景变换特征参数，进而利用阈值判定视频场景是否发生变化，这种方法存在的缺点是阈值的范围界定受不同场景以及不同天气情况的影响大，易出现阈值范围界定不合理的状况，因此该方法存在使用局限性，且易出现判定结果不准确的状况；

二、计算不同场景的鲁棒特征转化为偏移量，进而获取场景图像的偏移程度而判定视频场景是否发生变化，这种方法同样因鲁棒特征的计算结果受天气情况的影响较大，存在鲁棒特征计算不准确的状况，进而影响对视频场景是否发生变化的判定结果的准确性；

三、通过对预设场景图像和待识别场景图像进行显著性目标检测，比对显著性目标区域图像特征并量化比对结果，进而判定视频场景是否发生变化，这种方法因显著性目标区域选取的不确定性而导致最终的判定结果出现错误几率增加，鲁棒性差；

四、通过计算场景图像的空间直方图的相似性，再根据阈值判断两帧场景图像是否属于同一场景，其存在因阈值受光照影响不易精确确定而存在使用灵敏性差的问题，同样会导致最终的判定结果的准确性差。

综上，现有的视频场景变换检测方法存在检测精度差，鲁棒性弱的问题，因此，如何提供一种对视频场景变换检测精度高、准确以及具备良好鲁棒性的视频场景变换检测方法便成了现有技术中亟待解决的问题。

发明内容

本发明的主要目的在于提供一种视频场景变换检测方法、存储介质和电子设备，以解决现有技术中的视频场景变换检测方法存在检测精度差，鲁棒性弱的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种视频场景变换检测方法，包括：步骤S1，获取动态视频的标准帧图像，对标准帧图像进行语义分割，以获得其语义分割结果，语义分割结果包括：显示有与标准帧图像中被分割出的至少一个静态对象相对应的至少一个像素分割区域的语义分割结果图，以及各像素分割区域对应的类别属性；步骤S2，选择至少一个像素分割区域作为标准比对区域，对标准比对区域中的每个像素点赋予权值；步骤S3，获取动态视频的当前帧图像，对当前帧图像进行语义分割，以获得其语义分割结果图；在当前帧图像的语义分割结果图中划定出与标准帧图像的语义分割结果图中的标准比对区域的位置对应的目标比对区域；步骤S4，遍历目标比对区域内的所有像素点，一一对应地与标准比对区域内同位置处的像素点进行类别属性信息比对；步骤S5，根据各像素点的类别属性信息比对结果以及标准比对区域中的每个像素点的权值，利用匹配相似度得分计算公式获得目标比对区域与标准比对区域的匹配相似度得分Mp；匹配相似度得分计算公式为：

进一步地，语义分割结果图包括多个像素分割区域，在步骤S2中，根据多个像素分割区域对应的静态对象的稳定性得分对其排序，并将多个像素分割区域中稳定性得分最高者作为标准比对区域。

进一步地，静态对象的稳定性得分与其对应的像素分割区域的面积大小成反比。

进一步地，在步骤S1中，对标准帧图像进行语义分割包括筛除标准帧图像中被分割出的全部动态对象。

进一步地，标准比对区域中的每个像素点被赋予的权值为相同的归一化权值，且归一化权值大于场景变换阈值Thr。

进一步地，各像素分割区域所对应的类别属性用数字标定。

进一步地，每间隔时间T或每间隔Q帧图像后，获取动态视频的一帧当前帧图像进行步骤S1至步骤S6的操作，并根据视频场景变换的判定结果更新标准帧图像的标准比对区域的像素点的权值和/或类别属性。

进一步地，当判定视频场景不变时，标准帧图像的标准比对区域内的与当前帧图像的目标比对区域内的类别属性信息比对结果相同的各像素点的权值增加r，即：R

进一步地，初始状态时，标准帧图像的标准比对区域内的所有像素点的权值R

根据本发明的另一方面，提供了一种存储介质，存储介质为计算机可读存储介质，存储介质上存储有计算机程序指令，其中，程序指令被处理器执行时用于实现上述的视频场景变换检测方法的步骤。

根据本发明的另一方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，处理器、存储器和通信元件通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如上述的视频场景变换检测方法的步骤。

应用本发明的技术方案，通过语义分割的方式获取动态视频的标准帧图像中的静态对象的像素分割区域和语义，其中，语义包含了像素分割区域对应的类别属性，之后参考静态对象的类别属性稳定性而在像素分割区域中择优选取出标准比对区域；再利用标准比对区域与动态视频的当前帧图像的目标比对区域之间像素级别的信息比对，能够获取两者之间的匹配相似度得分Mp，即能够获取两者之间的重叠面积，综合静态对象的类别属性稳定性与匹配相似度得分Mp而决定当前帧图像的目标比对区域与标准帧图像的标准比对区域所对应静态对象的相似性，进而根据匹配相似度得分Mp与场景变换阈值Thr的比较而准确判定出视频场景是否发生变化；可见，利用此方法对视频场景发生变换的感知非常灵敏，大大地提升了视频场景变换检测的准确性；且基于语义分割鲁棒性高的特点，对标准帧图像和当前帧图像的处理的模型训练成熟，其输出结果不会受到场景、天气情况或光照等因素的影响，从而大大地提升了视频场景变换检测的稳定性和可靠性，使其具备更高的鲁棒性。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明的一种可选实施例的视频场景变换检测方法的流程图；

图2示出了在实施本发明的一种可选实施例的视频场景变换检测方法中，获取到的动态视频的标准帧图像；

图3示出了在实施本发明的一种可选实施例的视频场景变换检测方法中，对图2的标准帧图像进行语义分割后获取到的语义分割结果图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”、“和”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决现有技术中的视频场景变换检测方法存在检测精度差，鲁棒性弱的问题，本发明提供了一种视频场景变换检测方法、存储介质和电子设备；其中，存储介质为计算机可读存储介质，存储介质上存储有计算机程序指令，其中，程序指令被处理器执行时用于实现上述和下述的视频场景变换检测方法的步骤；电子设备包括：处理器、存储器、通信元件和通信总线，处理器、存储器和通信元件通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述和下述的视频场景变换检测方法的步骤。

图1是一种可选实施例的视频场景变换检测方法的流程图。如图1所示，该方法包括：

步骤S1，获取动态视频的标准帧图像，对标准帧图像进行语义分割，以获得其语义分割结果，语义分割结果包括：显示有与标准帧图像中被分割出的至少一个静态对象相对应的至少一个像素分割区域的语义分割结果图，以及各像素分割区域对应的类别属性；

步骤S2，选择至少一个像素分割区域作为标准比对区域，对标准比对区域中的每个像素点赋予权值；

步骤S3，获取动态视频的当前帧图像，对当前帧图像进行语义分割，以获得其语义分割结果图；在当前帧图像的语义分割结果图中划定出与标准帧图像的语义分割结果图中的标准比对区域的位置对应的目标比对区域；

步骤S4，遍历目标比对区域内的所有像素点，一一对应地与标准比对区域内同位置处的像素点进行类别属性信息比对；

步骤S5，根据各像素点的类别属性信息比对结果以及标准比对区域中的每个像素点的权值，利用匹配相似度得分计算公式获得目标比对区域与标准比对区域的匹配相似度得分Mp；匹配相似度得分计算公式为：

步骤S6，当匹配相似度得分Mp小于场景变换阈值Thr时，判定动态视频对应的视频场景发生变换，当匹配相似度得分Mp大于或等于场景变换阈值Thr时，判定视频场景不变。

通过语义分割的方式获取动态视频的标准帧图像中的静态对象的像素分割区域和语义，其中，语义包含了像素分割区域对应的类别属性，之后参考静态对象的类别属性稳定性而在像素分割区域中择优选取出标准比对区域；再利用标准比对区域与动态视频的当前帧图像的目标比对区域之间像素级别的信息比对，能够获取两者之间的匹配相似度得分Mp，即能够获取两者之间的重叠面积，综合静态对象的类别属性稳定性与匹配相似度得分Mp而决定当前帧图像的目标比对区域与标准帧图像的标准比对区域所对应静态对象的相似性，进而根据匹配相似度得分Mp与场景变换阈值Thr的比较而准确判定出视频场景是否发生变化；可见，利用此方法对视频场景发生变换的感知非常灵敏，大大地提升了视频场景变换检测的准确性；且基于语义分割鲁棒性高的特点，对标准帧图像和当前帧图像的处理的模型训练成熟，其输出结果不会受到场景、天气情况或光照等因素的影响，从而大大地提升了视频场景变换检测的稳定性和可靠性，使其具备更高的鲁棒性。

需要说明的是，经过训练好的语义分割模型处理过的标准帧图像后获取到一个像素分割区域即为同一类别属性的像素连通区域，例如在图2的标准帧图像中，识别有道路、车道标识线、隔离带、标识杆、标识牌、车辆等，这些分别对应于不同对象的类别属性，而图3中的多个像素分割区域通过灰度值的不同区分，且与图2中的不同类别属性的对象一一对应；同一像素分割区域内的所有像素点的像素相同。还需要补充的是，在本实施例的图2中涵盖的动态对象-车辆，相应地，图3中便有了与类别属性车辆相对应的像素分割区域，而经过训练好的语义分割模型也可以直接过滤掉图2中的动态对象，相应地，图3中的与车辆的类别属性相对应的像素分割区域也会被过滤掉。本发明中所指的动态对象，在图像中为自然条件下常态运动或者常态有运动趋势的对象，例如：动物、人、车辆、船舶、飞行器或者临时性的杂物等；相应地静态对象，在图像中为自然条件下常态静止或者没有运动趋势的对象，例如图2中的道路、车道标识线、隔离带、标识杆、标识牌等，在此不做穷举。

此外，在本发明的可选实施例中，为了清晰地、简便地区分不用类别属性对应的像素分割区域，像素分割区域所对应的类别属性用数字标定。即对像素分割区域所对应的像素点进行数字标识，例如，道路用数字0标定、车道标识线用数字15标定、隔离带用数字5标定、标识杆用数字11标定、标识牌用数字13标定。

在本发明的实施例中，可以按时间轴在动态视频中选取任一帧图像作为标准帧图像，之后，每间隔时间T或每间隔Q帧图像后，选取一帧图像作为当前帧图像，将每次选取的当前帧图像均与标准帧图像进行比对。为了确保对视频场景变换检测的及时性，避免因摄像头受外力转动而导致的视频场景变换而未及时发现，可选的，选取第一帧当前帧图像与标准帧图像之间或相邻两帧当前帧图像之间的间隔时间为3秒至10秒，优选为7秒；同样可选的，选取第一帧当前帧图像与标准帧图像之间或相邻两帧当前帧图像之间的具有10帧至80帧图像，优选为50帧。

在本发明的实施例中，没有给出当前帧图像以及对当前帧图像进行语义分割后获取到的语义分割结果图的图示；仅以文字加以说明，在每次执行完步骤S6之后，若判定动态视频对应的视频场景不变，则相应的与标准帧图像进行比对的当前帧图像中的静态对象的位置和形状看似相同，即未给出图示的当前帧图像与图2的标准帧图像中除了车辆这一静态对象外，其余静态对象视觉效果相同，无明显差别；相应地，未给出图示的当前帧图像的语义分割结果图与图3的语义分割结果图除了车辆对应的像素分割区域外，其余像素分割区域对应的视觉效果相同，无明显差别；反之，若判定动态视频对应的视频场景发生变换，则未给出图示的当前帧图像与图2的标准帧图像中除了车辆这一静态对象外，其余静态对象视觉有明显差异；且未给出图示的当前帧图像的语义分割结果图与图3的语义分割结果图除了车辆对应的像素分割区域外，其余像素分割区域对应的视觉效果有明显差异。

在本发明的图示实施例中，如图2和图3所示，语义分割结果图包括多个像素分割区域，在步骤S2中，根据多个像素分割区域对应的静态对象的稳定性得分对其排序，并将多个像素分割区域中稳定性得分最高者作为标准比对区域。也就是说，在标准帧图像中所呈现的多种静态对象中，需要选取在同等的外界因素影响下运动幅度最小的一个作为基准比对对象，在相应的语义分割结果图中基准比对对象所对应的像素分割区域便作为标准比对区域，这样确保了后期在进行当前帧图像和标准帧图像像素级别的比对结果更加准确，最大限度地避免了因外界因素影响而所导致的当前帧图像和标准帧图像对应的静态对象发生变化却误判成视频场景变换的情况发生；大大地提高了视频场景变换检测的精度。

在本发明的图示实施例中，如图3所示，图3中的语义分割结果图的多个像素分割区域通过灰度值的不同区分，当然，为了使得视觉效果直观区分，不同的像素分割区域也可以使用不同色彩加以区分。

需要补充说明的是，静态对象的稳定性得分首先取决于其受外界因素影响运动幅度的大小，例如在同等风力下，因为树叶会产生晃动，而标识牌则不会受到影响，因此树的稳定性得分要低于标识牌；而标识牌受外力发生位置或形状变化的可能性要大于道路上印刷的车道标识线，因此标识牌的稳定性得分要低于车道标识线。

可选地，由于车辆在本发明中被界定为动态对象，在对图2进行语义分割后，图3中的与车辆的类别属性相对应的像素分割区域也会被过滤掉(本发明中为了详细说明未去除)，也就是说，在所述步骤S1中，对标准帧图像进行语义分割包括筛除标准帧图像中被分割出的全部动态对象。

进一步可选地，静态对象的稳定性得分与其对应的像素分割区域的面积大小成反比。这是因为体积相对小的静态对象在受到外界因素影响时运动的可能性更小，进而确保视频场景变换检测的准确性更高。

在步骤S2中，标准比对区域中的每个像素点被赋予的权值为相同的归一化权值，且归一化权值大于场景变换阈值Thr。在本实施例中，标准比对区域中的每个像素点被赋予的归一化权值为0.5。这样有利于对权值优化更新的平衡性。

可选地，场景变换阈值Thr大于等于0.2且小于等于0.5；优选为0.5。

在本发明的另一可选实施例中，为了大幅提升视频场景变换检测的鲁棒性，每间隔时间T或每间隔Q帧图像后，获取动态视频的一帧当前帧图像进行步骤S1至步骤S6的操作，并根据视频场景变换的判定结果更新标准帧图像的标准比对区域的像素点的权值和/或类别属性。

具体地，当判定视频场景不变时，标准帧图像的标准比对区域内的与当前帧图像的目标比对区域内的类别属性信息比对结果相同的各像素点的权值增加r，即：R

当判定视频场景发生变换时，标准帧图像的标准比对区域内的所有像素点的权值减少r，即：R

可选地，初始状态时，标准帧图像的标准比对区域内的所有像素点的权值R

本发明关于视频场景变换检测的技术方案优选应用于交通场景中，即利用交通电子警察对交通道路的监控，如图2和图3。道路、车道标识线、交通标志(标识杆或标识牌等)等信息固定且静止不变，通过语义分割的方法将图像中的对应区域分割出，统计当前图像各元素区域与背景图像各静态对象区域像素重合度，根据现场取像设备的抖动幅度和经验即可设定重合度阈值，即场景变换阈值Thr，低于重合度阈值的情况即为场景偏移。

摄像机发生小角度移动时车道标识线、交通标志在图像中的位置都将发生位移，因为其本身在图像中占比较小，所以取像设备小角度移动变对其像素重合度影响非常明显，重合度阈值的界定就变的简单。现如今语义分割方法已经可以足够准确的进行特定场景的语义分割，所以此方法判定足够灵敏。

本发明相应地还提供了一种视频场景变换检测系统，用于执行上述的视频场景变换检测方法，包括：

视频输入装置，用于获取动态视频的标准帧图像和当前帧图像；

图像处理装置，包括语义分割模型，用于对标准帧图像进行语义分割，以获得其语义分割结果，语义分割结果包括：显示有与标准帧图像中被分割出的至少一个静态对象相对应的至少一个像素分割区域的语义分割结果图，以及各像素分割区域对应的类别属性；以及用于对当前帧图像进行语义分割，以获得其语义分割结果图；在当前帧图像的语义分割结果图中划定出与标准帧图像的语义分割结果图中的标准比对区域的位置对应的目标比对区域；

图像筛选及赋值装置，用于选择至少一个像素分割区域作为标准比对区域，对标准比对区域中的每个像素点赋予权值；

图像信息比对装置，用于遍历目标比对区域内的所有像素点，一一对应地与标准比对区域内同位置处的像素点进行类别属性信息比对；

匹配度得分计算装置，用于根据各像素点的类别属性信息比对结果以及标准比对区域中的每个像素点的权值，利用匹配相似度得分计算公式获得目标比对区域与标准比对区域的匹配相似度得分Mp；匹配相似度得分计算公式为：

结果输出装置，当匹配相似度得分Mp小于场景变换阈值Thr时，判定动态视频对应的视频场景发生变换，当匹配相似度得分Mp大于或等于场景变换阈值Thr时，判定视频场景不变。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。