视频检测方法、装置、电子设备及存储介质
文献发布时间:2024-01-17 01:27:33
技术领域
本申请涉及视频检测技术领域,尤其涉及一种视频检测方法、装置、电子设备及存储介质。
背景技术
视频异常检测是计算机视觉领域的一个重要的有挑战的应用。而现在常规的方式为基于预测帧的方法直接使用卷积神经网络未来的光流或者下一帧,然后通过判断确定是否异常。但是光流估计本身就是一个复杂的问题,若还存在如遮挡、大运动或者光照不均匀等情况,会使得在未来光流以及未来帧的预测具有较大的误差。
发明内容
本申请实施例的目的是提供一种视频检测方法、装置、电子设备及存储介质,提高未来帧预测的准确性,以及提高视频帧异常判断的准确性。
在第一方面,为实现上述目的,本申请实施例提供了一种视频检测方法,包括:
根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
在第二方面,为了解决相同的技术问题,本申请实施例提供了一种视频检测装置,包括:
光流估计模块,用于根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
运动补偿模块,用于根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
预测输出模块,用于根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
异常检测模块,用于根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
在第三方面,为了解决相同的技术问题,本申请实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现上述任一项所述的视频检测方法中的步骤。
在第四方面,为了解决相同的技术问题,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的视频检测方法中的步骤。
本申请实施例提供了一种视频检测方法、装置、电子设备及存储介质,在进行视频检测和判断时,利用当前视频帧以及前一帧视频帧实现对下一帧光流以及下一帧的预测,具体地,根据当前视频帧以及前一帧视频帧利用光流器和下一帧光流预测网络,得到下一帧预测光流,然后利用下一帧预测光流和当前视频帧,进行运动补偿来实现对下一帧的粗预测,并且利用当前视频帧以及前一帧视频帧得到下一帧视频帧的残差,最后将所下一帧的粗预测和残差进行叠加,即得到的所预测的下一帧视频帧,进而根据所得到的下一帧视频帧实现视频帧异常的判断。实现在视频检测和判断过程中,通过预测视频帧的残差,降低非线性运动带来的预测不准确的问题,同时通过将运动特征补偿在视频帧中,提高视频帧预测的准确性,进而在进行异常判断时具有更好的准确性。
附图说明
图1为本申请实施例提供的视频检测方法的一种流程示意图;
图2为本申请实施例提供的得到下一帧预测光流的步骤的一流程示意图;
图3为本申请实施例提供的视频帧预测网络的一结构示意图;
图4为本申请实施例提供的得到预测视频帧的步骤的一流程示意图;
图5为本申请实施例提供的得到下一帧视频帧的步骤的一流程示意图;
图6为本申请实施例提供的视频检测装置的一种结构示意图;
图7为本申请实施例提供的电子设备的一种结构示意图;
图8为本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解的是,本申请公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
请参见图1,图1为本申请实施例提供的视频检测方法的一种流程示意图,如图1所示,本申请实施例提供的视频检测方法包括步骤S101至步骤S104。
步骤S101、根据待检测视频帧以及所述当前视频帧的前一帧视频帧,得到下一帧预测光流。
在对视频帧进行异常检测时,通过对视频帧进行预测,然后与真实的视频帧进行比较,来确定进行判断的视频帧是否为正常视频帧。具体地,在进行检测和判断时,确定当前需要进行检测和判断的待检测视频帧,同时获取与当前视频帧相邻的前一帧视频帧,进而根据当前视频帧和前一帧视频帧得到下一帧预测光流。
其中,待检测视频帧为当前视频帧,实际地,在进行光流计算时,可以利用相关的光流估计器计算各视频帧所对应的光流,其中,光流估计器可以是基于RAFT网络所构建的优化得到的。因此在进行光流预测时,光流估计器根据当前视频帧和前一帧视频帧实现对当前光流的估计。进而,在根据当前视频帧以及前一帧视频得到下一帧预测光流时,需要首先预测得到下一帧视频帧,进而实现对下一帧光流的预测。
在实际应用中,可以直接对此处的损失值进行阈值设定,还可以对整个的异常检测系统或者设备中各部分的网络进行损失值的总体设定,具体参照后续描述。
参照图2,图2为本申请实施例提供的得到下一帧预测光流的步骤的一流程示意图。其中,该步骤包括步骤S201至步骤S202。
步骤S201、根据当前视频帧以及所述当前视频帧的前一帧视频帧进行光流估计,得到当前光流;
步骤S202、根据所述当前视频帧、所述前一帧视频帧以及所述当前光流,得到下一帧预测光流。
在预测下一帧光流时,首先根据当前视频帧和前一帧视频帧进行光流估计,得到当前视频帧所对应的当前光流,然后在根据所得到的当前光流,以及预先所得到的当前视频帧以及前一帧视频帧,进行处理得到下一帧预测光流。
在实际应用时,进行光流估计时使用前述描述的光流估计器进行光流的估计,饿到待处理视频所对应的当前光流,而在得到当前光流时,将当前视频帧以及前一帧视频帧输入至光流估计器中进行光流的计算,而在得到当前光流之后,再进行下一帧光流的预测,得到下一帧预测光流。
而在根据当前视频帧、前一帧视频帧以及当前光流得到下一帧预测光流时,包括:将所述当前视频帧以及所述前一帧视频帧输入至光流预测网络中,得到下一帧光流残差;将所述下一帧光流残差与所述当前光流进行叠加,得到下一帧预测光流。
具体地,在进行处理时,将当前视频帧以及前一帧视频帧输入至光流预测网络中,得到下一帧光流残差,然后将所得到的下一帧光流残差与所得到的当前光流进行叠加,以得到下一帧预测光流。
在实际应用中,在光流估计器优化完成时,可以对所输入的任一帧视频帧的光流进行估计,而在对下一帧视频帧进行预测时,是基于当前视频帧所得到的,而光流代表着图像的运动信息,因此在对下一帧视频帧进行预测时,需要得到下一帧预测光流。而在得到下一帧预测光流时,首先利用光流估计器对当前视频帧的光流进行估计和计算,得到当前光流,同时利用光流预测网络对下一帧光流残差的预测,确定下一帧预测光流的相应补偿,具体地,在得到下一帧光流残差之后,将下一帧光流残差与所得到的当前光流进行叠加,即得到下一帧预测光流。
步骤S102、根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧。
在得到下一帧预测光流时,在对下一帧视频帧进行预测时,根据当前光流以及下一帧预测光流进行相应的处理,得到在该阶段所对应的下一帧视频帧。具体地,根据当前光流以及下一帧光流,对当前视频帧进行运动补偿,以得到预测视频帧,其中,预测视频帧为在该阶段所得到的下一帧视频帧。
实际上,在对下一帧视频帧进行预测时,根据当前视频帧以及下一帧预测光流进行运动补偿,以得到在该阶段所对应的下一帧视频帧。而在进行对下一帧视频帧进行预测时,是基于所构建的视频帧预测网络所得到的,对于所构建的视频帧预测网络可以如图3所示。
具体地,图3为本申请实施例提供的视频帧预测网络的一结构示意图。具体地,该视频帧预测网络包括光流估计网络、下一帧光流预测网络、下一帧预测网络以及运动补偿网络,其中光流估计网络如前述描述的光流估计器,用于对所输入的视频帧的光流进行计算估计,下一帧光流预测网络用于根据当前视频帧预测得到下一帧视频帧的光流,下一帧预测网络用于根据当前视频帧预测得到下一帧视频帧残差,运动补偿网络用于所得到的下一帧视频帧进行运动补偿,以使得所得到的下一帧光流可以更加准确。
在一实施例中,在得到当前视频帧以及前一帧视频帧时,通过该视频帧预测网络可以得到相邻下一帧视频帧,进而通过将预测得到的下一帧视频帧与真是播放的下一帧视频帧进行对比,确定视频帧是否存在异常。
而在得到最终的下一帧视频帧时,根据当前视频帧以及前一帧视频帧利用光流估计网络得到当前光流,利用下一帧光流预测网络得到当前所对应的光流残差,同时利用下一帧预测网络得到当前所预测得到的下一帧视频帧,接着根据当前光流以及光流残差利用运动补偿得到对应下一帧视频帧,并且根据下一帧预测网络所得到的下一帧残差,对运动补偿后的下一帧视频帧进行处理,如叠加,得到最终输出的下一帧视频帧。
在得到预测视频帧时,将所得到的下一帧预测光流以及当前视频帧输入至运动补偿网络中进行处理,具体地,参照图4,图4为本申请实施例提供的得到预测视频帧的步骤的一流程示意图。其中,该步骤包括步骤S401至步骤S403。
步骤S401、根据所述下一帧预测光流对所述当前视频帧进行特征还原,得到还原下一帧视频帧;
步骤S402、将所述下一帧预测光流与所述当前视频帧进行拼接,得到拼接后的所述当前视频帧;
步骤S403、将所述还原下一帧视频帧以及拼接后的所述当前视频帧输入至预测网络中,得到预测视频帧。
在得到下一帧预测光流之后,根据下一帧预测光流对当前视频帧进行特征还原,得到还原下一帧视频帧,同时将下一帧预测光流域当前视频帧进行拼接,得到拼接后的当前视频帧,最后将所得到的还原下一帧视频帧与拼接后的当前视频帧输入至相应的预测网络中,得到预测视频帧。
实际上,该过程是将下一帧预测光流与当前视频帧输入至运动补偿网络中进行处理的实现过程。具体地,在进行处理时,根据下一帧预测光流对当前视频帧进行warping操作,也就是还原操作,可以理解为根据下一帧预测光流对下一帧视频帧进行预测,此时会得到一个还原后的当前视频帧,而在将下一帧预测光流与当前视频帧进行拼接时,也会得到一个对下一帧视频帧的预测结果,最后通过将两次得到的预测结果输入到相应的预测网络中,可以得到运动补偿之后的下一帧视频帧。
需要说明的是,此处所使用的预测网络可以是Unet结构的CNN网络。在得到两次不同的预测视频帧之后,将两个视频帧输入到该CNN网络中,利用该网络的结构特性实现对运动补偿后的下一帧视频帧的预测和输出。
步骤S103、根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧。
在经过运动补偿得到预测视频帧之后,将会根据当前视频帧、前一帧视频帧以及预测视频帧得到最终输出的下一帧预测视频帧。具体地,在得到下一帧预测视频帧时,首先根据当前视频帧以及前一帧视频帧得到下一帧视频帧的残差,然后在通过残差补足,得到下一帧预测视频帧。
参照图5,图5为本申请实施例提供的得到下一帧预测视频帧的步骤的一流程示意图。其中,该步骤包括步骤S501至步骤S502。
步骤S501、根据所述当前视频帧以及所述前一帧视频帧进行残差预测,得到下一帧视频帧残差;
步骤S502、将所述下一帧视频帧残差与所述预测视频帧进行叠加,得到下一帧预测视频帧。
在得到预测视频帧时,利用前述描述的视频帧预测网络中的下一帧预测网络,将当前视频帧以及前一视频帧进行输入,得到下一帧视频帧残差,然后将所得到的下一帧视频帧残差与预测视频帧进行叠加,得到最终所输出的视频帧。其中,下一帧预测网络为预先优化好的用来预测相邻两视频帧之间的视频帧残差的网络。
对于下一帧预测网络而言,可以通过预先进行训练的方式进行优化,通过构建相应的训练样本集对待优化的下一帧预测网络进行学习和优化,进而在学习和优化完成之后用于对下一帧视频帧残差进行预测。
同样的,对于前述描述的视频帧预测网络而言,各网络结构也是可以预先进行学习和优化的,可以独立学习和优化,还可以联合进行学习和优化。再次不做限制。而残差表示这预测值与真实值之间差异,因此通过残差的补足可以使得预测值与真实值之间的差异性更小,也就是具有更高的准确性。
以整体学习为例,由于视频帧中所包含的信息多样,因此在构建损失函数时可以按照如下方式进行构建,包括光流损失、亮度损失以及梯度损失,其中,光流损失,使用RAFT计算下一帧的光流,并与预测的下一帧光流做loss,
亮度损失,使用预测的下一帧与真实的下一帧做loss,
梯度损失,使用预测的下一帧的梯度与真实的下一帧的梯度做loss,
因此,总损失为:L=λ
步骤S104、根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
在一实施例中,在得到下一帧预测视频帧之后,在确定视频帧是否异常时,通过将此时所得到的下一帧预测视频帧与真实播放的当前视频帧的下一帧视频帧进行比较和处理,来确定当前视频帧的下一帧视频帧的检测结果,其中检测结果包括但不限于为确定是否播放正常。
而在确定所真实播放的下一帧视频帧检测结果时,包括:在视频流中获取所述当前视频帧的的下一帧视频帧,并计算所述下一帧预测视频帧与所述下一帧视频帧中各像素点的的峰值信噪比;将所述各像素点的峰值信噪比进行归一化处理,得到归一化值;将所述归一化值与预设阈值进行比较,确定所述当前视频帧的下一帧视频帧的检测结果。
具体地,在进行处理时,通过计算所得到的下一帧预测视频帧与当前视频帧的下一帧视频帧中各像素点的峰值信噪比,并进行归一化处理得到归一化值,然后将归一化值与预设阈值进行比较,进而根据所得到的比较结果来确定下一帧视频帧的检测结果。其中,在所得到的归一化值小于所设定的预设阈值时,说明此时所播放的下一帧视频帧异常,反之则确定正常。
在实际应用中,峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法,其中,峰值信噪比定义为:
而为了更好地选取阈值,将PSNR也归一化到[0,1],其中归一化处理公式可以如下:
最后,通过给定一个阈值即可,例如,将阈值设定为0.6,那么低于0.6的全部判断为异常,反之为正常。
综上所述,本申请实施例提供的视频检测方法,在进行视频检测和判断时,利用当前视频帧(当前视频帧)以及前一帧视频帧实现对下一帧光流以及下一帧的预测,具体地,根据当前视频帧以及前一帧视频帧利用光流器和下一帧光流预测网络,得到下一帧预测光流,然后利用下一帧预测光流和当前视频帧,进行运动补偿来实现对下一帧的粗预测,并且利用当前视频帧以及前一帧视频帧得到下一帧视频帧的残差,最后将所下一帧的粗预测和残差进行叠加,即得到的所预测的下一帧预测视频帧,进而根据所得到的下一帧预测视频帧实现视频帧异常的判断。实现在视频检测和判断过程中,通过预测视频帧的残差,降低非线性运动带来的预测不准确的问题,同时通过将运动特征补偿在视频帧中,提高视频帧预测的准确性,进而在进行异常检测和判断时具有更好的准确性。
根据上述实施例所描述的方法,本实施例将从视频检测装置的角度进一步进行描述,该视频检测装置具体可以作为独立的实体来实现,也可以集成在电子设备,比如终端中来实现,该终端可以包括手机、平板电脑等。
请参见图6,图6为本申请实施例提供的视频检测装置的一种结构示意图,如图6所示,本申请实施例提供的视频检测装置600,包括:
光流估计模块601,用于根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
运动补偿模块602,用于根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
预测输出模块603,用于根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
异常检测模块604,用于根据所述下一帧预测视频帧以及所述当前视频帧的下一帧真实视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
具体实施时,以上各个模块和/或单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块和/或单元的具体实施可参见前面的方法实施例,具体可以达到的有益效果也请参看前面的方法实施例中的有益效果,在此不再赘述。
另外,请参见图7,图7为本申请实施例提供的电子设备的一种结构示意图,该电子设备可以是移动终端如智能手机、平板电脑等设备。如图7所示,电子设备700包括处理器701、存储器702。其中,处理器701与存储器702电性连接。
处理器701是电子设备700的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器702内的应用程序,以及调用存储在存储器702内的数据,执行电子设备700的各种功能和处理数据,从而对电子设备700进行整体监控。
在本实施例中,电子设备700中的处理器701会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能:
根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
该电子设备700可以实现本申请实施例所提供的视频检测方法任一实施例中的步骤,因此,可以实现本申请实施例所提供的任一视频检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
请参见图8,图8为本申请实施例提供的电子设备的另一种结构示意图,如图8所示,图8示出了本申请实施例提供的电子设备的具体结构框图,该电子设备可以用于实施上述实施例中提供的视频检测方法。该电子设备800可以为移动终端如智能手机或笔记本电脑等设备。
RF电路810用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。RF电路810可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路810可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced DataGSM Environment,EDGE),宽带码分多址技术(Wideband Code Division MultipleAccess,WCDMA),码分多址技术(Code Division Access,CDMA)、时分多址技术(TimeDivision Multiple Access,TDMA),无线保真技术(Wireless Fidelity,Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a,IEEE 802.11b,IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access,Wi-Max)、其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
存储器820可用于存储软件程序以及模块,如上述实施例中视频检测方法对应的程序指令/模块,处理器880通过运行存储在存储器820内的软件程序以及模块,从而执行各种功能应用以及视频检测,即实现如下功能:
根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
存储器820可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器820可进一步包括相对于处理器880远程设置的存储器,这些远程存储器可以通过网络连接至电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元830可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器880,并能接收处理器880发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831,输入单元830还可以包括其他输入设备832。具体地,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及电子设备800的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板841。进一步的,触敏表面831可覆盖显示面板841,当触敏表面831检测到在其上或附近的触摸操作后,传送给处理器880以确定触摸事件的类型,随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图中,触敏表面831与显示面板841是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面831与显示面板841集成而实现输入和输出功能。
电子设备800还可包括至少一种传感器850,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板841的亮度,接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路860、扬声器861,传声器862可提供用户与电子设备800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号,传输到扬声器861,由扬声器861转换为声音信号输出;另一方面,传声器862将收集的声音信号转换为电信号,由音频电路860接收后转换为音频数据,再将音频数据输出处理器880处理后,经RF电路810以发送给比如另一终端,或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔,以提供外设耳机与电子设备800的通信。
电子设备800通过传输模块870(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等,它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块870,但是可以理解的是,其并不属于电子设备800的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是电子设备800的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器820内的软件程序和/或模块,以及调用存储在存储器820内的数据,执行电子设备800的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器880可包括一个或多个处理核心;在一些实施例中,处理器880可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解地,上述调制解调处理器也可以不集成到处理器880中。
电子设备800还包括给各个部件供电的电源890(比如电池),在一些实施例中,电源可以通过电源管理系统与处理器880逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备800还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备的显示单元是触摸屏显示器,移动终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令:
根据当前视频帧以及所述当前视频帧的前一帧视频帧,得到当前光流以及下一帧预测光流;
根据所述当前光流以及所述下一帧预测光流,对所述当前视频帧进行运动补偿,得到预测视频帧;
根据当前视频帧、所述前一帧视频帧以及所述预测视频帧,得到下一帧预测视频帧;
根据所述下一帧预测视频帧以及所述当前视频帧的下一帧视频帧,确定所述当前视频帧的下一帧视频帧的检测结果。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的视频检测方法中任一实施例的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的视频检测方法任一实施例中的步骤,因此,可以实现本申请实施例所提供的任一视频检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种视频检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。并且,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本申请的保护范围。
- 视频生成、视频播放方法、装置、电子设备及存储介质
- 通过图片检索视频的方法、装置、电子设备及存储介质
- 一种虚拟形象视频播放方法、装置、电子设备及存储介质
- 视频播放方法、装置及系统、电子设备以及存储介质
- 视频摘要生成方法、装置、存储介质和电子设备
- 视频检测方法、视频检测装置、存储介质与电子设备
- 视频抖动检测方法、检测装置、电子设备和可读存储介质