一种视频数据分析方法及系统

技术领域

本发明涉及数据分析技术领域，尤其是涉及一种视频数据分析方法及系统。

背景技术

随着现代社会的发展，人们对安全的需求也越迫切，安防系统的选择往往与其警情发现和处理的效率高低有关。在现有的系统中，大部分视频仍然采用被动式的监控方案。例如，在服务中心由专门人员监视显示器图像来进行行为的判断，或者事后调取存储的视频片段进行人工分析视频的方式。毫无疑问，上述监控方式的工作量较大，易疲劳，容易导致视频行为的漏报或误报。近年来，系统正在由数字化、网络化逐步走向智能化。智能化解决方案是未来安全的重要组成部分和迫切要求。

安防系统是指采用图像处理、模式识别和计算机视觉技术，通过在系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用或干扰信息，自动识别不同物体，分析抽取视频源中的关键有用信息，快速准确定位事故现场，判断监控画面中的异常情况，并以最快速度和最佳方式发出警报或触发其它动作，从而有效进行事前预警、事中处理、事后及时取证的全自动实时智能监控系统。简单地说，智能化就是由计算机替代部分人脑的工作，对监控的图像自动进行分析并作出判断，出现异常时及时发出预警。简言之，智能化是指采用计算机视觉、人工智能等专业知识对视频图像进行技术处理，分析目标的属性、特征、运动方向等信息来判断目标是否符合设定的规则，是否发送报警信号等，从而对事件进行及时处理，提高应急事件的反应速度。

目前的视频数据海量且冗杂，其中无效的数据高达70％以上，占用大量存储，在监控硬件建设资金上占比较高，同时有效数据对比分析运算速度较慢，不能适用于一些长期监控区域的监控使用，不能实现提高数据对比分析速度，降低硬件成本，无法达到在提高数据分析能力的同时，来节省大量时间的目的，不能实现对监控图像数据进行任务化和资源化对比处理，来更加精准的进行数据比对，还无法保证监控具有较高时效性，从而对正常工作十分不利。

一般来说，当前的智能视频分析技术在系统中的实现，主要分为两种方式：一种是基于后端服务纯软件处理分析，另一种是在前端设备即时分析。前一种方案的不足之处在于，当视频流通路数量大时，服务器端需要分析的视频数据量也极大，纯软件的分析效率会明显下降，无法满足实时分析的需求。后一种方案在面对高清视频、多目标、多规则的视频分析时，效率和灵活度受限。

有鉴于此，如何设计一种智能视频数据分析的方法和系统，提高视频流信号的数据处理能力，是相关技术人员亟待解决的一项课题。

发明内容

为克服相关技术中存在的问题，本发明提供一种视频数据分析方法及系统，用以解决相关技术中的缺陷。

根据本发明的第一方面，提供一种视频数据分析方法，所述方法包括：

在视频采集设备上将采集到的原始图像b

所述后台服务器在接收到对应所述编码信号x

在所述后台服务器上将所述目标信号的估计值

优选地，所述视频采集设备通过预设的双向LSTM全连接神经网络对所述原始图像b

其中，所述双向LSTM全连接神经网络包括一个输入层、若干个LSTM层、一个全连接层以及一个输出层；

其中，所述LSTM层用于进行以下计算：

i

其中，W

优选地，所述在所述因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得所述目标信号的估计值

在所述因子图中，将观测矩阵H、观测信号y

在所述消息传递算法中进行迭代计算，包括：通过置信传播规则将消息投影到高斯分布上，以推断出所述目标信号的近似后验分布；以及通过所述卷积神经网络计算获得所述目标信号的估计值

当达到预设的迭代结束条件时，输出最后一次迭代计算获得的所述目标信号的估计值

优选地，所述通过置信传播规则将消息投影到高斯分布上，以推断出所述目标信号的近似后验分布，具体为：

通过KL散度d[p(x)||q(x)]表示分布p(x)和q(x)之间的距离；

通过一个高斯分布q(x)去近似p(x)，其表示为：

其中，

Φ为高斯分布族。

优选地，所述消息传递算法为迭代算法，其输入为

在每次迭代过程中，进行以下运算：

t＝t+1

其中，

优选地，所述卷积神经网络依次包括输入层、DNN层、Lambda层、全连接层、LSTM层以及输出层；

所述通过所述卷积神经网络计算获得所述目标信号的估计值

通过所述卷积神经网络计算获得所述目标信号的估计值均值

根据指数族分布特性，计算所述目标信号的估计值方差

优选地，在获得所述原始图像b

将一段连续的原始图像的估计值

根据本发明的第二方面，提供一种视频数据分析系统，所述系统包括包括设置在视频采集设备上的本地集成单元，以及设置在后台服务器的中心集成单元；

其中，所述本地集成单元用于采集实时图像，以及将采集到的原始图像b

所述中心集成单元用于在接收到对应所述编码信号x

优选地，所述本地集成单元包括：

图像采集模块，用于采集实时图像；

数据编码模块，用于将采集到的原始图像b

数据发送模块，用于将所述编码信号x

优选地，所述中心集成单元包括：

数据接收模块，用于接收来自所述本地集成单元的观测信号y

数据检测模块，用于采用因子图表示观测信号模型，并在所述因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得所述目标信号的估计值

数据解码模块，用于将所述目标信号的估计值

数据处理模块，用于将一段连续的原始图像的估计值

本发明公开了一种视频数据分析方法及系统，由于通过无线链路传输后后台服务器所接收到的观测信号y

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

图1是本发明根据一实施例示出的一种视频数据分析方法的流程图。

图2是本发明根据一实施例示出的一种双向LSTM全连接神经网络的结构示意图。

图3是本发明根据一实施例示出的一种表示观测信号y

图4是本发明根据一实施例示出的一种卷积神经网络的结构示意图。

图5是本发明根据一实施例示出的一种判决神经网络的结构示意图。

图6是本发明根据一实施例示出的一种视频数据分析系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图和具体实施方式对本发明做详细描述。

如图1所示，图1是本发明根据一实施例示出的一种视频数据分析方法的流程图，包括如下步骤：

步骤S101，在视频采集设备上将采集到的原始图像进行编码，获得编码信号，并将编码信号通过无线链路发送到后台服务器；

步骤S102，后台服务器在接收到对应该编码信号的观测信号后，采用因子图表示观测信号模型，并在因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得目标信号的估计值；

步骤S103，在后台服务器上将目标信号的估计值进行解码，获得原始图像的估计值。

在步骤S101中，首先通过视频采集设备进行实时图像采集。在本发明中，视频采集设备可以是摄像机，也可以是监控摄像头，或者是其他可以采集图像或录制视频的设备，本发明对此不作限制。具体地，当该视频采集设备为监控摄像头时，可以将该视频采集设备面向相应监控区域安装，并对所监控区域进行实时图像采集，接着将采集的原始图像b

具体地，在一些实施例中，视频采集设备可以通过预设双的向LSTM(Long Short-Term Memory，长短期记忆)全连接神经网络对采集得到的原始图像b

i

其中，W

接着，视频采集设备在对原始图像b

具体地，在本发明中，后台服务器是指用于对视频数据进行处理和分析的计算机设备，区别于前端的视频采集设备，本发明对后台服务器的具体形式不作限制。

在步骤S102中，后台服务器首先从无线链路中接收到来自视频采集设备的观测信号y

y

其中，x

具体地，在步骤S102中，接着可以通过因子图来表示上述观测信号y

具体地，在一些实施例中，在步骤S102中，在因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得目标信号的估计值

在本发明中，在更新上述消息的过程中采用了置信传播规则(BeliefPropagation，BP)。根据该置信传播规则，可以将消息投影到高斯分布上。具体地，在一些实施例中，消息传递算法通过置信传播规则将消息投影到高斯分布上，以推断出目标信号的近似后验分布，具体可以为：首先通过KL散度(Kullback-Leibler Divergence，KLD)d[p(x)||q(x)]表示分布p(x)和q(x)之间的距离；再通过一个高斯分布q(x)去近似p(x)，其可以表示为：

其中，

Φ为高斯分布族。在本发明中，消息传递算法可以依照期望传播规则去更新消息的参数，即消息传递算法中的所有参数。

在本发明中，在因子图上所使用的消息传递算法应用了上述置信传播规则。

具体地，在一些实施例中，本发明所预设的消息传递算法可以为迭代算法，其输入为

在每次迭代过程中，进行以下运算：

t＝t+1

其中，

在本发明中，预设的最大迭代次数T可以根据应用需求进行设置，例如，在一些实施例中，可以将T设置为30，在其他的实施例中也可以设置为其他的数字，本发明对此不作限制。

在本发明中，由于编码信号x

在一些实施例中，本发明所使用的卷积神经网络还可以是其他的结构，只要其可以计算后验分布参数，获得

在步骤S102中，通过在因子图上使用消息传递算法不断迭代计算，以提高目标信号的估计结果准确性。当达到预设的迭代结束条件时，可以将最后一次迭代的计算结果

在步骤S103中，后台服务器在对观测信号y

在现有的技术方案中，通过无线链路传输后后台服务器所接收到的观测信号y

进一步地，在一些实施例中，后台服务器在解码获得原始图像b

与前文所述的视频数据分析方法实施例相对应，本发明还提供一种视频数据分析系统。

如图6所示，图6是本发明根据一实施例示出的一种视频数据分析系统的结构示意图，包括设置在视频采集设备上的本地集成单元610，以及设置在后台服务器的中心集成单元620；

其中，本地集成单元610用于采集实时图像，以及将采集到的原始图像b

中心集成单元用于620在接收到对应该编码信号x

优选地，本地集成单元610具体可以包括：

图像采集模块6101，用于采集实时图像；

数据编码模块6102，用于将采集到的原始图像b

数据发送模块6103，用于将编码信号x

优选地，中心集成单元620具体可以包括：

数据接收模块6201，用于接收来自本地集成单元610的观测信号y

数据检测模块6202，用于采用因子图表示观测信号模型，并在因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得目标信号的估计值

数据解码模块6203，用于将目标信号的估计值

数据处理模块6204，用于将一段连续的原始图像的估计值

优选地，在数据编码模块6102中，可以通过预设的双向LSTM全连接神经网络对原始图像b

其中，双向LSTM全连接神经网络可以包括一个输入层、若干个LSTM层、一个全连接层以及一个输出层；

其中，LSTM层可以用于进行以下计算：

i

其中，W

优选地，在数据检测模块6202中，在因子图上通过预设的消息传递算法推断出目标信号的近似后验分布，并通过预设的卷积神经网络计算获得目标信号的估计值

在因子图中，将观测矩阵H、观测信号y

在消息传递算法中进行迭代计算，包括：通过置信传播规则将消息投影到高斯分布上，以推断出目标信号的近似后验分布；以及通过卷积神经网络计算获得目标信号的估计值

当达到预设的迭代结束条件时，输出最后一次迭代计算获得的目标信号的估计值

优选地，通过置信传播规则将消息投影到高斯分布上，以推断出目标信号的近似后验分布，具体可以为：

通过KL散度d[p(x)||q(x)]表示分布p(x)和q(x)之间的距离；

通过一个高斯分布q(x)去近似p(x)，其表示为：

其中，

Φ为高斯分布族。

优选地，在数据检测模块6202中所使用的消息传递算法可以为迭代算法，其输入为

在每次迭代过程中，可以进行以下运算：

/>

t＝t+1

其中，

优选地，在数据检测模块6202中所使用的卷积神经网络可以依次包括输入层、DNN层、Lambda层、全连接层、LSTM层以及输出层；

通过卷积神经网络计算获得目标信号的估计值

通过卷积神经网络计算获得目标信号的估计值均值

根据指数族分布特性，计算目标信号的估计值方差

优选地，在数据解码模块6203获得所述原始图像b

上述系统中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本发明方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。