视频处理方法、设备、系统及计算机可读存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种视频处理方法、设备、系统及计算机可读存储介质。

背景技术

随着计算机视觉技术的发展，现有技术中出现了群体检测技术。该群体检测技术能够对群体的行为进行分析，获取群体的异常行为等，对智能驾驶、智慧交通、智慧安防等领域有很重要的应用价值。

在现有技术中，群体检测技术通常采用单个成员分析的方法或者整体分析法；其中，单个成员分析的方法是对场景中的个体行为进行分析，然后再进行群体聚合，得到群体行为分析结果；然而，将个体作为基本分析单位，效率低、速度慢，因此，单个成员分析并不适合群体分析。整体分析法是对整幅场景图像进行整体特征提取，根据提取的整体特征进行行为分析，得到群体行为分析结果。然而，整体分析法对单幅场景图像进行分析，缺少全局状态感知的能力，难以在各个场景中进行实际应用。

发明内容

本申请实施例提供一种视频处理方法、设备、系统及计算机可读存储介质，对群体行为分析具备全局状态感知的能力，能够在各个场景中进行应用。

第一方面，本申请实施例提供一种视频处理方法，包括：

获取目标区域位置信息，所述目标区域位置信息用于指示所述目标区域对应的地理位置；

根据所述目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和所述第一图像块的第一群体行为指标，所述第一位置信息用于指示所述第一图像块对应的第一地理位置；

该第一区域视频信息可以包括多个图像块的位置信息和图像块各自对应的群体行为指标，该多个图像块是对监控图像进行分割得到的图像块；即获取第一区域视频信息中属于目标区域的第一图像块的第一位置信息和第一图像块的第一群体行为指标，该第一图像块的覆盖范围属于该目标区域；

根据所述目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和所述第二图像块的第二群体行为指标，所述第二位置信息用于指示所述第二图像块对应的第二地理位置；

其中，该第二区域视频信息可以包括多个图像块的位置信息和图像块各自对应的群体行为指标，该多个图像块是对监控图像进行分割得到的图像块；获取第二区域视频信息中属于目标区域的第二图像块的第二位置信息和第二图像块的第二群体行为指标，即该第二图像块的覆盖范围属于该目标区域；该第一区域与第二区域可以相同，也可以不同，或者是部分相同；同样所述第一图像块和第二图像块，可以是相同，也可以不同，或者是部分相同；第一位置信息和第二位置信息为基于同一划分标准下获得的位置信息；

通过从不同的区域视频信息中提取所相关的位置区域的群体行为指标，基于所述第一位置信息、所述第二位置信息、所述第一群体行为指标和所述第二群体行为指标，获得所述目标区域对应的第三群体行为指标，群体行为分析结果具备全局状态感知的能力，能够在各个场景中进行应用，该第三群体行为指标可以为目标区域整体性的群体行为指标，例如可以为根据各个图像块得到整个目标区域的整体性的群体行为指标，或者也可以为根据部分图像块得到的目标区域内的部分区域的群体行为指标，则第三群体行为指标则包括多个部分区域的群体行为指标，或者也可以为每个目标位置各自对应的群体行为指标，则第三群体行为指标则包括每个目标位置对应的群体行为指标。

在一种可能的设计中，所述基于所述第一位置信息、所述第二位置信息、所述第一群体行为指标和所述第二群体行为指标，获得所述目标区域对应的第三群体行为指标，包括：

基于指示不同地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标确定第一目标位置对应的群体行为指标，根据所述第二群体行为指标确定第二目标位置对应的群体行为指标。

该过程相当于拼接处理过程，基于上述操作，可以从不同的或者相同的视频信息来源中选择目标区域所对应的图像块的群体行为指标，拼接出目标区域对应的图像块对应的群体行为指标，从而实现全局的状态感知。

基于指示同一地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标；该过程相当于融合的过程，避免单一监控图像由于拍摄角度、拍摄清晰度等原因，而导致监控识别结果不准确的问题；

根据所述第一目标位置对应的群体行为指标、所述第二目标位置对应的群体行为指标以及所述第三目标位置对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

该过程相当于融合处理的过程，可以从不同的或者相同的视频信息来源中选择目标区域中同一位置所对应的至少两个图像块的群体行为指标，对至少两个图像块的群体行为指标进行融合，通过多个图像块来确定群体行为指标，避免个别图像块因为视场或清晰度等原因导致的群体行为指标不准确的问题。

在一种可能的设计中，所述基于指示同一地理位置的第一位置信息和第二位置信息，基于所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标，包括：

根据所述第一图像块所覆盖的实际地理范围和预设地理范围，确定所述第一群体行为指标的权重系数，所述预设地理范围为所述目标区域中与所述第一图像块对应的地理范围；其中，所述目标区域包括多个预设地理范围，所述第一图像块是根据所述目标区域包括的多个预设地理范围和第一图像对应的地理范围、对第一图像分割处理得到的图像块，第一图像块所覆盖的实际地理范围为该预设地理范围的部分或全部；

根据所述第二图像块所覆盖的实际地理范围和所述预设地理范围，确定所述第二群体行为指标的权重系数，所述第一图像块和所述第二图像块对应同一预设地理范围；所述第二图像块是根据所述目标区域包括的多个预设地理范围和第二图像对应的地理范围、对第二图像分割处理得到的图像块，第二图像块所覆盖的实际地理范围为预设地理范围的部分或全部；

根据所述第一群体行为指标的权重系数、所述第二群体行为指标的权重系数，对所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标。

加权系数例如可以为每个图像块所覆盖的实际地理范围与预设地理范围所覆盖的面积的比值。监控图像被分割之后，存在不完整的图像块，该些不完整的图像块所占权重较低，而完整的图像块所占权重较高，从而保证了融合的准确性。

在一种可能的设计中，所述第一图像块是根据全球离散格网对第一图像进行处理得到的图像块，所述第一位置信息为所述第一图像块对应的所述全球离散格网中的第一格网的第一编码信息，所述第一编码信息用于指示所述第一格网对应的所述第一地理位置；

所述第二图像块是根据所述全球离散格网对第二图像进行处理得到的图像块，所述第二位置信息为所述第二图像块对应的所述全球离散格网中的第二格网的第二编码信息，所述第二编码信息用于指示所述第二格网对应的所述第二地理位置。

基于该监控区域和全球离散格网中的格网所指示的地理位置，对监控图像进行分割，从而使得每个图像块都对应一个格网，每个图像块所指示的地理位置与该格网所指示的地理位置一致，不同监控设备拍摄的监控图像基于全球离散格网进行统一时空基准的格网化分割，并且分割得到的图像块通过全球离散格网中的格网实现了原生的时空关联性，基于该全球离散格网中的格网对应的群体行为指标，从而可以通过格网进行快速的拼接融合，得到目标区域的群体行为指标，从而能够统一组织、管理和应用，以支撑大范围多视角的群体特征融合与多尺度聚合分析需求，能够在各个场景中进行应用。

在一种可能的设计中，所述根据所述第一目标位置对应的群体行为指标、所述第二目标位置对应的群体行为指标以及所述第三目标位置对应的群体行为指标，获得所述目标区域对应的第三群体行为指标，包括：

根据所述第一编码信息和所述第二编码信息，获取所述目标区域所覆盖的所述全球离散格网中的第一尺度级别的格网，所述第一编码信息还用于指示所述第一格网的尺度级别，所述第二编码信息还用于指示所述第二格网的尺度级别；

根据所述第一尺度级别的格网所对应的群体行为指标，得到第二尺度级别的格网所对应的群体行为指标；其中，所述第二尺度级别所对应的格网所对应的面积等于所述第一尺度级别所对应的预设数量的格网的面积之和；

根据所述第二尺度级别的格网对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

该过程相当于聚合的过程，聚合是指将同一尺度级别的格网进行合并，得到更大尺度的格网，通过聚合过程，实现了多尺度的识别，即在识别过程中，可以根据实际需求，获取任意尺度级别的群体行为分析结果，从而可以兼容应用到各个场景中，不需要对设备或软件作出改变。

在一种可能的设计中，所述根据所述第一尺度级别的格网所对应的目标位置的群体行为指标，得到第二尺度级别的格网所对应的群体行为指标，包括：

对所述第一尺度级别的格网所对应的目标位置的群体行为指标求平均值，得到第二尺度级别的格网所对应的群体行为指标。通过求平均值的方式，可以快速准确的得到第二尺度级别的格网所对应的群体行为指标。

在一种可能的设计中，所述方法还包括：

从第一监控设备获取所述第一区域视频信息，该第一区域视频信息中还包括视频图像；

从第二监控设备获取所述第二区域视频信息，该第二区域视频信息中还包括视频图像。

当该区域视频信息由监控设备生成时，可以对监控设备的软件进行改进，使得监控设备能够生成区域视频信息，从而提高了视频处理的时效性。当该群体性为分析结果指示异常结果时，还可以通过播放监控图像，来获取具体的异常事件，从而通过直观的展示快速定位异常问题。该区域视频信息包括多个图像块的位置信息和图像块各自对应的群体行为指标，该多个图像块是对监控设备拍摄获取的监控图像进行分割得到的图像块。例如，该位置信息可以为全球离散格网中的格网的编码信息。

在一种可能的设计中，所述方法还包括：

从第一监控设备获取第一视频流以及用于指示所述第一监控设备的位置和视场信息的第一指示信息，并根据所述第一视频流、所述第一指示信息获取所述第一区域视频信息；

从第二监控设备获取第二视频流以及用于指示所述第二监控设备的地理位置和视场信息的第二指示信息，并根据所述第二视频流、所述第二指示信息获取所述第二区域视频信息。

当该区域视频信息由视频处理设备来生成时，则不需要对监控设备的软件作出改进，降低了对监控设备的软件要求。视频处理设备可以根据该第一监控设备的位置和视场信息来确定监控设备的监控区域的位置。或者，监控设备根据自身位置和视场信息确定监控区域的位置，并将该监控区域的位置发送给视频处理设备。

在一种可能的设计中，所述第一群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能；

所述第二群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能。

根据上述的群体密度估计、群体动能、群体运动方向熵或群体距离势能，能够进行群体有序运动识别、群体无序运动识别以及群体突变识别等，能够从多角度获取群体行为分析结果，从而为各种场景提供所需的分析结果。

在一种可能的设计中，若所述第三群体行为指标指示群体行为异常，所述方法还包括：

向终端设备发送提示信息，所述提示信息用于指示所述群体行为异常。

该终端设备可以进行可视化大屏展示，在群体行为异常时，还可以通过声音或灯光等进行警示，使得相关工作人员可以第一时间发现和处置事件，达到精准防控、主动防控的目标。

第二方面，本申请实施例提供一种视频处理设备，包括：

获取模块，用于获取目标区域位置信息，所述目标区域位置信息用于指示所述目标区域对应的地理位置；

处理模块，用于根据所述目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和所述第一图像块的第一群体行为指标，所述第一位置信息用于指示所述第一图像块对应的第一地理位置；

所述处理模块，还用于根据所述目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和所述第二图像块的第二群体行为指标，所述第二位置信息用于指示所述第二图像块对应的第二地理位置；

所述处理模块，还用于基于所述第一位置信息、所述第二位置信息、所述第一群体行为指标和所述第二群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的设计中，所述处理模块具体用于：

基于指示不同地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标确定第一目标位置对应的群体行为指标，根据所述第二群体行为指标确定第二目标位置对应的群体行为指标；

基于指示同一地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标；

根据所述第一目标位置对应的群体行为指标、所述第二目标位置对应的群体行为指标以及所述第三目标位置对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的设计中，所述处理模块具体用于：根据所述第一图像块所覆盖的实际地理范围和预设地理范围，确定所述第一群体行为指标的权重系数，所述预设地理范围为所述目标区域中与所述第一图像块对应的地理范围；

根据所述第二图像块所覆盖的实际地理范围和所述预设地理范围，确定所述第二群体行为指标的权重系数，所述第一图像块和所述第二图像块对应同一预设地理范围；

根据所述第一群体行为指标的权重系数、所述第二群体行为指标的权重系数，对所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标。

在一种可能的设计中，所述第一图像块是根据全球离散格网对第一图像进行处理得到的图像块，所述第一位置信息为所述第一图像块对应的所述全球离散格网中的第一格网的第一编码信息，所述第一编码信息用于指示所述第一格网对应的所述第一地理位置；

所述第二图像块是根据所述全球离散格网对第二图像进行处理得到的图像块，所述第二位置信息为所述第二图像块对应的所述全球离散格网中的第二格网的第二编码信息，所述第二编码信息用于指示所述第二格网对应的所述第二地理位置。

在一种可能的设计中，所述处理模块具体用于：根据所述第一编码信息和所述第二编码信息，获取所述目标区域所覆盖的所述全球离散格网中的第一尺度级别的格网，所述第一编码信息还用于指示所述第一格网的尺度级别，所述第二编码信息还用于指示所述第二格网的尺度级别；

根据所述第一尺度级别的格网所对应的群体行为指标，得到第二尺度级别的格网所对应的群体行为指标；其中，所述第二尺度级别所对应的格网所对应的面积等于所述第一尺度级别所对应的预设数量的格网的面积之和；

根据所述第二尺度级别的格网对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的设计中，所述处理模块具体用于：对所述第一尺度级别的格网所对应的目标位置的群体行为指标求平均值，得到第二尺度级别的格网所对应的群体行为指标。

在一种可能的设计中，所述获取模块还用于：

从第一监控设备获取所述第一区域视频信息；

从第二监控设备获取所述第二区域视频信息。

在一种可能的设计中，所述获取模块还用于：从第一监控设备获取第一视频流以及用于指示所述第一监控设备的位置和视场信息的第一指示信息；

从第二监控设备获取第二视频流以及用于指示所述第二监控设备的地理位置和视场信息的第二指示信息；

所述处理模块还用于：根据所述第一视频流、所述第一指示信息获取所述第一区域视频信息；

根据所述第二视频流、所述第二指示信息获取所述第二区域视频信息。

在一种可能的设计中，所述第一群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能；

所述第二群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能。

在一种可能的设计中，还包括：

发送模块，用于若所述第三群体行为指标指示群体行为异常，向终端设备发送提示信息，所述提示信息用于指示所述群体行为异常。

第三方面，本申请实施例提供一种视频处理设备，包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得所述处理器运行所述计算机程序执行如上第一方面或第一方面各种可能的设计所述的视频处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时能够实现上第一方面或第一方面各种可能的设计所述的视频处理方法。

第五方面，本申请实施例提供一种芯片，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得安装有所述芯片的通信设备执行如上第一方面或第一方面各种可能的设计所述的视频处理方法。

第六方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如上第一方面或第一方面各种可能的设计所述的视频处理方法。

第七方面，本申请实施例还提供一种视频处理系统，所述系统包括：视频处理设备、第一监控设备和第二监控设备；其中

所述第一监控设备用于获取第一区域视频信息；

所述第二监控设备用于获取第二区域视频信息；

所述视频处理设备用于执行如上第一方面或第一方面各种可能的设计所述的视频处理方法。

第八方面，本申请实施例还提供一种视频处理系统，所述系统包括：视频处理设备、第一监控设备和第二监控设备；其中

所述第一监控设备用于向所述视频处理设备发送第一视频流和第一指示信息，所述第一指示信息用于指示所述第一监控设备的位置和视场信息，所述第一区域视频信息是根据所述第一视频流和所述第一指示信息确定的信息；

所述第二监控设备用于向所述视频处理设备发送第二视频流和第二指示信息，所述第二指示信息用于指示所述第二监控设备的位置和视场信息，所述第二区域视频信息是根据所述第二视频流和所述第二指示信息确定的信息；

所述视频处理设备用于执行如上第一方面或第一方面各种可能的设计所述的视频处理方法。

在上述的第七方面或第八方面中，该第一监控设备和第二监控设备为具有拍摄功能的设备，该第一监控设备和第二监控设备可以为监控摄像头、监控终端等。在一种可能的实现方式中，该第一监控设备和第二监控设备还可以为同一监控设备。

该视频处理设备可以为云端服务器，或者可以为端侧主机，例如局域网网中的主机，再或者可以为具有处理功能的终端设备，再或者还可以为具有处理功能的监控设备，该监控设备与其它监控设备有线或无线连接；

该第一区域视频信息包括多个第一图像块的位置信息和第一图像块各自对应的群体行为指标；该第二区域视频信息包括多个第二图像块的位置信息和第二图像块各自对应的群体行为指标。

本实施例提供的视频处理方法，通过获取目标区域位置信息，目标区域位置信息用于指示目标区域对应的地理位置；根据目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和第一图像块的第一群体行为指标，第一位置信息用于指示第一图像块对应的第一地理位置；根据目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和第二图像块的第二群体行为指标，第二位置信息用于指示第二图像块对应的第二地理位置；基于第一位置信息、第二位置信息、第一群体行为指标和第二群体行为指标，获得目标区域对应的第三群体行为指标，通过位置信息来获取目标区域的群体行为指标，实现了原生的时空关联性，可以支持快速的拼接融合等方式，从而具备了全局状态感知的能力，能够获取各个场景中的群体行为指标，从而为不同业务场景的可视化、预警、决策分析、信息反馈的准确依据。

附图说明

图1为本申请实施例提供的视频处理系统的示意图；

图2为本申请一实施例提供的视频处理方法的流程图；

图3为本申请实施例提供的全球离散格网的示意图；

图4为本申请实施例提供的智能驾驶场景系统的示意图；

图5为本申请一实施例提供的视频处理方法的流程图；

图6为本申请实施例提供的监控场景示意图；

图7A为本申请实施例提供的监控设备A的监控图像的分割示意图；

图7B为本申请实施例提供的监控设备A的监控图像的图像块映射到格网的示意图；

图8A为本申请实施例提供的监控设备B的监控图像的分割示意图；

图8B为本申请实施例提供的监控设备B的监控图像的图像块映射到格网的示意图；

图9为本申请一实施例提供的拼接融合的过程示意图；

图10为本申请一实施例提供的聚合的过程示意图；

图11为本申请一实施例提供的视频处理设备的示意图；

图12为本申请一实施例提供的视频处理设备的示意图。

具体实施方式

本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

图1为本申请实施例提供的视频处理系统的示意图。如图1所示，本实施例提供的视频处理系统包括：视频处理设备、监控设备以及终端设备。该视频处理设备能够获取视频中的群体行为，并针对业务场景需求，根据群体行为进行分析、预警及可视化等应用。

其中，该监控设备的数量可以为一个或一个以上。当监控设备的数量为两个或两个以上时，在一些场景中，每个监控设备所拍摄的区域不同，或者存在部分监控设备拍摄的区域存在重叠。该监控设备例如可以为用于安防体系的设备，可以对公共场所的人群进行监测，该监控设备例如还可以为用于智能交通体系的设备，用于对车流和人群进行监测。本实施例提供的监控设备还可以为其它场景中用于监控群体运动的设备，本实施例此处不做特别限制。

上述的监控设备在对监控区域拍摄获取到监控图像后，可以根据该监控图像和该监控图像所拍摄的区域的位置获取区域视频信息，将该区域视频信息发送给视频处理设备，或者，该监控设备将监控作业信息发送给视频处理设备，该监控作业信息包括监控图像和指示监控设备的位置和视场信息的指示信息。该视频处理设备根据监控图像和该指示信息获取区域视频信息。

在本实施例中，该视频处理设备可以为云端服务器，或者可以为端侧主机，例如局域网网中的主机，再或者可以为具有处理功能的终端设备，再或者还可以为具有处理功能的监控设备，该监控设备与其它监控设备有线或无线连接。本实施例对该视频处理设备的实现方式不做特别限制，只要具备处理功能，能够实现本申请实施例的视频处理方法的设备均为本申请实施例的保护范畴。

同时，监控设备可以向云端服务器发送区域视频信息或监控作业信息，也可以同时向云端服务器和端侧主机发送区域视频信息或监控作业信息，即向多种视频处理设备发送信息。本申请实施例对监控设备发送区域视频信息或监控作业信息不做特别限制。

在一种可能的实现方式中，可以将监控图像划分为多个图像块，获取每个图像块对应的地理位置以及该图像块所表征的群体行为指标。视频区域信息即可以包括每个图像块对应的地理位置以及群体行为指标。

由于该多个监控设备的监控图像的图像块能够映射到一地理位置，从而使得监控图像能够映射到同一时空下。视频处理设备可以根据具有空间关联性的视频区域信息，来准确获取某一位置的群体行为指标，以增加全局感知的能力。

为了实现对监控区域的全局状态的感知，以将群体行为指标应用到各个场景中，可以基于每个图像块所对应的地理位置，针对同一地理位置，多个图像块的群体行为指标进行融合处理，针对不同地理位置，多个图像块的群体行为指标进行拼接处理，从而准确的得到一个区域的群体行为指标，即获取全局的群体行为指标，为不同业务场景的可视化、预警、决策分析、信息反馈的准确依据。

其中，该群体行为指标包括但不限于如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能。为了便于理解，下面先对各个行为指标进行详细说明。其中，下述的群体密度估计、群体动能、群体运动方向熵或群体距离势能等的获取方式，仅为一种示意性的获取群体行为的方式，在具体实现方式中，还可以通过其他方式获取群体行为，本实施例此处不做特别限制。

群体密度估计：通过计算前景掩膜范围内的角点密度来估计群体密度。对每个图像块中前景掩膜范围内的角点进行检测，统计角点数，群体密度即为角点数与前景像素数的比值，该角点可以为加速段试验特征(features from accelerated segment test，FAST)角点，以FAST角点为例，该群体密度估计可以通过如下公式(1)表示：

其中，ρ为群体密度估计，N

群体动能：群体运动速度的快慢及剧烈程度，采用基于光流场的运动矢量表征，通过计算前景掩膜范围内的FAST角点的光流能量来表示群体运动能量之和，每个图像块中群体动能，也即群体运动平均动能可由公式(2)表示：

其中，E代表群体动能，N表示运动矢量总数，即FAST角点的个数，m

群体运动方向熵：群体运动方向的分散程度以及混乱程度。群体运动方向熵的提取基础是光流矢量，具体计算步骤分为方向直方图计算、方向概率分布计算及方向熵计算三步：

方向直方图计算，将前景掩膜范围内的FAST角点作为特征点，特征点i的运动矢量Vi＝(v

其中，A

方向概率分布计算，从方向直方图中计算得到各方向的分布概率，可由公式(4)表示：

其中，P

方向熵计算，基于方向概率分布计算得到群体运动方向熵，可由公式(5)表示：

其中，O代表群体运动方向熵，Pi代表分布概率。

群体距离势能：群体个体间的聚集程度，利用角点与角点之间距离的平均值来表征个体之间的相对距离，通过计算角点间的欧式距离来实现群体距离势能的提取。图像块中的群体距离势能可由公式(6)表示：

其中，Cij表示两角点之间的欧式距离，N为图像块中的角点总数。

视频处理设备可以根据全局的群体行为指标获取群体行为分析结果，并将群体行为分析结果发送至终端设备。或者在群体行为分析结果指示群体行为异常时，将该分析结果发送至终端设备。该终端设备例如可以为手机、车载终端、电脑以及广告屏等具有声音和/或图像显示功能的设备，本实施例对该终端设备不做特别限制。该终端设备能够显示该群体行为分析结果，并在群体行为异常时，给出警报信息。

下面以图2所示实施例为例，并结合图1所示实施例，对本申请实施例提供的视频处理方法进行详细说明。图2为本申请一实施例提供的视频处理方法的流程图。本实施例提供的视频处理方法的执行主体例如可以为上述图1实施例所示的视频处理设备为云端服务器为例，进行说明，当该视频处理设备为端侧主机或终端设备时，其实现方式类似，本实施例此处不做赘述。如图2所示，该方法包括：

S201、获取目标区域位置信息，所述目标区域位置信息用于指示所述目标区域对应的地理位置。

在一些应用场景下，需要对一些目标区域进行监控，以获取该目标区域内的群体行为。该场景例如可以为交通场景，或者为安防场景等等，本实施例对该应用场景的实现方式不做特别限制。

以本实施例应用于安防场景为例，该目标区域例如为机场、车站、码头、地铁站、安全检查站、展会、园区、治安卡口等易引发群体性事件的重点敏感场区域。

当需要对目标区域进行监控时，获取目标区域位置信息，该目标区域位置信息可以为任意的用于指示目标区域对应的地理位置的信息。其中，该目标区域对应的地理位置，可以表示该目标区域所覆盖的地理范围的位置。例如，该目标区域位置信息可以为经纬度信息，可以给出该目标区域的边界点的经纬度，也可以给出该目标区域的中心点的经纬度，然后针对该中心点给出范围值；该目标区域位置信息以也可以为全球离散格网中的格网所指示的位置信息。

S202、根据所述目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和所述第一图像块的第一群体行为指标，所述第一位置信息用于指示所述第一图像块对应的第一地理位置。

S203、根据所述目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和所述第二图像块的第二群体行为指标，所述第二位置信息用于指示所述第二图像块对应的第二地理位置。

在确定了目标区域位置信息之后，从监控设备对应的区域视频信息中确定覆盖范围属于所述目标区域的图像块，从而针对图像块所对应的群体行为指标进行拼接和融合处理。

该多个区域视频信息可以对应一个，或者，两个或两个以上的监控设备。也即一个监控设备可以对应一个区域视频信息，或者对应两个或两个以上的区域视频信息。

该区域视频信息可以由监控设备来生成，然后服务器从监控设备接收该区域视频信息。该区域视频信息还可以由云端服务器来生成，该云端服务器从监控设备获取视频流，然后根据该视频流获取区域视频信息。

当该区域视频信息由监控设备生成时，可以对监控设备的软件进行改进，使得监控设备能够生成区域视频信息，从而提高了视频处理的时效性。当该区域视频信息由云端服务器来生成时，则不需要对监控设备的软件作出改进，降低了对监控设备的软件要求。该区域视频信息具体是由监控设备生成还是由云端服务器生成，本实施例此处不做特别限制，根据具体应用场景选择即可。

其中，监控设备和云端服务器生成该区域视频信息的过程类似，均是从视频流中提取监控图像，然后根据监控设备的视场、位置来确定该监控图像拍摄的实际地理位置，然后根据该实际地理位置，生成该区域视频信息。对于云端服务器生成区域视频信息而言，监控设备可以向云端服务器发送视频流和用于指示监控设备的地理位置和视场信息的指示信息，该视场信息包括视轴指向和视场大小。

在生成区域视频信息的过程中，可以根据监控设备的坐标标定方法，确定监控设备的摄像头的位置，本领域技术人员可以理解，该位置为三维空间中的三维位置，然后根据摄像头的位置、视轴指向及视场大小，确定监控设备所拍摄的视频图像对应的实际地理范围。

根据该视频图像对应的实际地理范围，对该视频图像进行分割，得到至少一个图像块。具体地，可以将该实际地理范围划分为多个小的区域，每个区域对应一个图像块，然后确定该图像块对应的地理位置，即该小的区域对应的地理位置，该地理位置可以为小的区域的中心的位置，也可以为该小的区域的范围对应的位置。

在划分得到图像块之后，获取该图像块所表征的群体行为指标。该群体行为指标例如包括上述的群体密度估计、群体动能、群体运动方向熵或群体距离势能中的一个或多个。本实施例对群体行为指标的实现方式不做特别限制。

在获取到目标区域位置信息之后，根据该目标区域位置信息，获取属于目标区域的图像块，即覆盖范围为目标区域的覆盖范围的子集的图像块，从而对每个图像块所指示的群体行为指标进行处理，得到目标区域对应的群体行为指标。

在本实施例中，为了便于说明，以多个区域视频信息中的两个区域视频信息为例进行说明。具体地，根据目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和第一图像块的第一群体行为指标，第一位置信息用于指示第一图像块对应的第一地理位置。

相应地，根据目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和第二图像块的第二群体行为指标，第二位置信息用于指示第二图像块对应的第二地理位置

以第一图像块为例进行说明，第一视频区域信息可以包括多个图像块对应的位置信息和每个图像块的群体行为指标。根据目标区域位置信息和该第一区域视频信息，可以获取覆盖范围属于该目标区域覆盖范围的第一图像块的第一位置信息和该第一图像块的第一群体行为指标。

针对上述的第二图像块的实现方式，与第一图像块的实现方式类似，本实施例此处不再赘述。

S204、基于所述第一位置信息、所述第二位置信息、所述第一群体行为指标和所述第二群体行为指标，获得所述目标区域对应的第三群体行为指标。

根据每个位置信息对应的群体行为指标，可以得到每个地理位置的群体行为指标。

继续以第一位置信息和第二位置信息为例进行说明。当第一位置信息和第二位置信息指示不同的地理位置时，根据第一群体行为指标确定第一目标位置对应的群体行为指标，根据第二群体行为指标确定第二目标位置对应的群体行为指标，其中，该第一目标位置为目标区中存在的与第一地理位置相同的位置，该第二目标位置为目标区域中存在的与第二地理位置相同的位置。

当第一位置信息和第二位置信息指示同一地理位置时，基于第一群体行为指标和第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标。

在一种可能的实现方式中，加权系数可以根据图像块在监控图像中的位置确定，例如，位于监控图像的非边缘位置的图像块对应的加权系数大于位于监控图像的边缘位置的图像块对应的加权系数。

在另一种可能的实现方式中，不同的监控设备对应不同的加权系数，例如，第一监控设备对应的第一群体行为指标的加权系数为A，第二监控设备对应的第二群体行为指标的加权系数为B。

在又一种可能的实现方式中，根据第一图像块所覆盖的实际地理范围和第一预设地理范围，确定第一群体行为指标的权重系数，第一地理位置为用于指示第一该预设地理范围的位置；根据第二图像块所覆盖的实际地理范围和第二预设地理范围，确定第二群体行为指标的权重系数，第二地理位置为用于指示第二预设地理范围的位置，该第一预设地理范围和第二预设地理范围为同一预设地理范围；根据第一群体行为指标的权重系数、第二群体行为指标的权重系数，对第一群体行为指标和第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标。

具体地，可以将目标区域划分为多个预设地理范围，每个预设地理范围的面积可以相同，也可以不同，以该预设地理范围为基准，对视频图像进行划分，得到多个图像块。每个视频图像所包括的图像块对应一个预设地理范围，每个图像块所覆盖的实际地理范围为该预设地理范围的部分或全部。例如，位于视频图像的中部的图像块所覆盖的实际地理范围为该预设地理范围的全部，位于该视频图像的边缘的图像块所覆盖的实际地理范围为该预设地理范围的部分。每个图像块的地理位置可以理解为该预先划分好的预设地理范围的地理位置。

由此，第一图像块对应第一预设地理范围，根据该第一图像块所覆盖的实际地理范围和该第一预设地理范围的比值，确定第一群体行为指标的权重系数；第二图像块对应第二预设地理范围，根据该第二图像块所覆盖的实际地理范围和该第二预设地理范围的比值，确定第二群体行为指标的权重系数。其中，该第一预设地理范围和该第二预设地理范围为同一预设地理范围。

在获取到每个目标位置对应的群体行为指标后，根据第一目标位置对应的群体行为指标、第二目标位置对应的群体行为指标以及第三目标位置对应的群体行为指标，获得目标区域对应的第三群体行为指标。

例如，可以对每个目标位置对应的群体行为指标进行加权处理或平均处理，得出该目标区域内的第三群体行为指标。该群体可以为车流，也可以为人群，还可以为其它可以移动的群体，本实施例此处不做特别限制。

以本实施例应用于安防领域为例，例如对机场、车站、码头、地铁站、安全检查站、展会、园区、治安卡口等易引发群体性事件的重点敏感场所等进行智能实时监控，实现对群体性突发事件的视频分析和预警。根据该监控识别结果，进行群体行为分析处理，可以实现人群有序运动识别、人群无序运动识别以及人群突变识别等。

人群有序运动识别：通过人群密度、运动动能大小即运动方向一致性等因素识别出人群的有序运动，如集会、示威游行及冲击各种机构等群体性事件。例如，当该目标区域内的人群密度大于阈值0.5，人群平均动能大于阈值0.5，且人群运动方向熵小于阈值0.3时，判定该区域人群发生有序运动，可能存在集会、游行等群体性事件。

人群无序运动识别：通过人群密度、运动动能大小即运动方向一致性等因素识别出人群的无序运动，如人群暴力冲突、人群踩踏事故，人群奔跑、人群四散以及人员徘徊，并发出相应预警。例如，当该目标区域内的人群密度大于阈值0.5，且群体平均动能大于阈值0.5，且人群运动方向熵大于阈值0.5时，判定该区域人群发生无序运动，可能存在暴利冲突、人群踩踏、人群四散奔跑等异常事件。

本领域技术人员可以理解，可以根据单帧监控图像来获取群体行为分析结果，也可以根据时间上连续的多帧监控图像来获取群体行为分析结果。当根据时间上连续的多帧监控图像来获取群体行为分析结果时，还可以进行人群突变识别，如通过人群运动动能，人群运动方向一致性以及人群距离势能等因素识别人群运动特征发生突变的情况，如同方向突散、急走急跑等突变行为。

若该第三群体行为指标指示群体行为异常，可以向终端设备发送提示信息，该提示信息用于指示群体行为异常。该终端设备可以进行可视化大屏展示，在群体行为异常时，还可以通过声音或灯光等进行警示，使得相关工作人员可以第一时间发现和处置事件，达到精准防控、主动防控的目标。

本实施例提供的视频处理方法，通过获取目标区域位置信息，目标区域位置信息用于指示目标区域对应的地理位置；根据目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和第一图像块的第一群体行为指标，第一位置信息用于指示第一图像块对应的第一地理位置；根据目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和第二图像块的第二群体行为指标，第二位置信息用于指示第二图像块对应的第二地理位置；基于第一位置信息、第二位置信息、第一群体行为指标和第二群体行为指标，获得目标区域对应的第三群体行为指标，通过位置信息来获取目标区域的群体行为指标，实现了原生的时空关联性，可以支持快速的拼接融合等方式，从而具备了全局状态感知的能力，能够获取各个场景中的群体行为指标，从而为不同业务场景的可视化、预警、决策分析、信息反馈的准确依据。

在一种可能的实现方式中，该监控图像可以通过全球离散格网进行划分，获取多个图像块。具体地，基于全球离散格网，将不同监控设备的监控图像映射到统一时空基准的全球离散格网的格网中，从而获取区域视频信息，该区域视频信息为融合了时空属性的信息，该区域视频信息例如可以包括每个图像块的位置信息以及每个图像块所表征的群体行为指标。

由于该多个监控设备的监控图像能够映射到同一全球离散格网，从而使得监控图像能够映射到同一时空下，该些监控设备可以称为具有时空关联性的监控设备。云端服务器可以根据具有空间关联性的监控设备，来准确获取某一位置的群体行为，以增加全局感知的能力。

其中，全球离散格网是通过某种剖分模型，将地球空间剖分成面积和形状相似、可无限细分、无缝无叠的多层次离散面片体系，形成空间的层次递归划分以及剖分面片在地球空间中的多尺度嵌套关系。本实施例对划分的粒度以及格网的大小不做特别限制。其中，格网是指被分割出的一个格子。这些多尺度格网或格网体，每个均可赋予唯一的编码，该编码可作为地球空间区域位置标识，地球上的所有信息和数据均可落在某一个或多个格网中，均可赋予相应的格网编码，从而实现对地球大数据的统一组织、计算和服务。

图3为本申请实施例提供的全球离散格网的示意图。如图3所示，在地球空间平面进行不断细分，离散格网不断变小。在图3所示实施例中，以等经纬度四叉树剖分格网体系为例，首先以本初子午线与赤道交点为中心将地球空间平面平分为四份，此为0级格网。在每个格网中，以四叉树剖分法继续剖分得到次级格网，以此类推，直到达到需求粒度的剖分层级为止。在剖分过程中，基于空间填充曲线，每个格网与实际地理空间形成映射关系并赋予唯一的格网编码。本领域技术人员可以理解，位于同一格网的实际地理空间，由于该实际地理空间映射到同一格网，所以该实际地理空间对应同一格网编码。

在本实施例中，将不同监控设备拍摄的监控图像基于该全球离散格网进行分割，得到图像块，每个图像块对应全球离散格网中的一个格网，从而多个图像块均对应到全球离散格网，即位于同一时空基准，获取每个图像块所表征的群体行为指标，对多个群体行为指标进行融合拼接以及聚合等处理，得到群体行为分析结果。

由此，以上述的第一图像块和第二图像块为例，第一图像块是根据全球离散格网对第一图像进行处理得到的图像块，第一位置信息为第一图像块对应的全球离散格网中的第一格网的第一编码信息，第一编码信息用于指示第一格网对应的第一地理位置；第二图像块是根据全球离散格网对第二图像进行处理得到的图像块，第二位置信息为第二图像块对应的全球离散格网中的第二格网的第二编码信息，第二编码信息用于指示第二格网对应的第二地理位置。

本申请实施例提供的视频处理系统可以应用到智能驾驶、智慧交通、智慧安防等领域。本实施例此处以该视频处理系统应用到智能驾驶为例，在公共场所人群、车辆监控智能化的基础上，全面感知交通运行状态、人群流动特征，实时采集分析交通运行大数据，实现对交通流的预测预警、交通事故的监测预警以及智能调度。

图4为本申请实施例提供的智能驾驶场景系统的示意图。如图4所示，该智能驾驶场景系统为上述视频处理系统的一个可能的示例。该智能场景系统包括智能汽车、交通监控摄像头以及云端服务器。

其中，该智能汽车包括车载计算机，与该车载计算机能够进行交互的显示设备以及其他感知设备，能够实现车对外界的信息交换的(V2X设备)，以及车载摄像头。该车载摄像头能够将监控图像和/或根据监控图像和全球离散格网得到的区域视频信息通过V2X传输给云端服务器。

交通监控摄像头为安装在道路上或各个路口上的用于监控交通状况的摄像头。该交通监控摄像头能够将监控图像和/或根据监控图像和全球离散格网得到的区域视频信息通过传输给云端服务器。

云端服务器根据车载摄像头和交通监控摄像头发来的数据，并结合路网信息进行交通环境态势分析，将分析结果通过V2X回传给智能汽车以进行自动驾驶控制，该智能汽车的显示设备还可以显示该分析结果。

对于该视频系统应用到其它领域或场景中的示例，都可以以图1所示的系统架构为基础，根据不同领域或场景的需要，来增加一些设备或减少一些设备，本实施例此处不做特别限制。

下面以上述图4实施例所示的智能驾驶场景系统中车辆的群体行为、以及通过全球离散格网来划分图像块为例，结合图5来详细说明本申请实施例提供的视频处理方法。对于应用于其它场景的实施例，其实现方式类似，本实施例此处不做赘述。

图5为本申请一实施例提供的视频处理方法的流程图。如图5所示，该方法包括：

S501、获取目标区域位置信息，所述目标区域位置信息用于指示所述目标区域对应的地理位置；

S502、根据所述目标区域位置信息从第一区域视频信息中获取第一图像块对应的全球离散格网中的第一格网的第一编码信息和所述第一图像块的第一群体行为指标，所述第一编码信息用于指示所述第一格网对应的所述第一地理位置；

S503、根据所述目标区域位置信息从第二区域视频信息中获取第二图像块对应的全球离散格网中的第二格网的第二编码信息和所述第二图像块的第二群体行为指标，所述第二编码信息用于指示所述第二格网对应的所述第二地理位置；

获取目标区域位置信息的方式可参见图2实施例中的S201，本实施例此处不做赘述。

在本实施例中，为了便于说明，以监控设备为两个为例进行说明，当监控设备为两个以上时，其实现方式类似，本实施例此处不再赘述。图6为本申请实施例提供的监控场景示意图。如图6所示，两个监控设备的位置和视场不同，但两个监控设备所拍摄的位置范围内存在重叠区域，即存在一些区域同时被两个监控设备覆盖。

针对监控设备A而言，根据该监控设备A拍摄的视频图像的实际地理范围和全球离散格网中的格网，对该视频图像进行分割，得到至少一个图像块。在本实施例中为了便于说明，以全球离散格网中的格网的形状为方形为例进行说明。

在具体实现过程中，在对监控设备A拍摄的视频图像进行分割时，以全球离散格网中的格网所覆盖的区域为基准，并考虑拍摄的物品存在近大远小的规律，所以分割得到的图像块的大小与目标距离的大小呈负相关的关系。该目标距离为图像块所拍摄的位置与监控设备之间的距离。即所拍摄的位置距离监控设备越近，则分割所得到的图像块越大，所拍摄的位置距离监控设备越远，则分割所得到的图像块越小。而且分割后的图像块的覆盖区域是所对应的全球离散格网中的格网的覆盖区域的子集。

在一种可能的实现方式中，全球离散格网中的格网的大小即剖分层级的粒度由具体应用需求精度及摄像头的监控范围确定。例如：对监控范围较广的高摄交通监控摄像头，采用粒度较粗的格网划分，对监控范围较窄的车载摄像头，采用粒度较精细的格网划分，最终形成多尺度格网体系。

当依据全球离散格网将监控图像分割为多个图像块时，针对每个图像块，获取该图像块所表征的第一群体行为指标。在一种可能的实现方式中，首先利用实例分割深度学习算法计算图像块中包含的属于周边车辆及行人的前景感兴趣区域，在各图像块中的前景区域中，可通过上述的群体密度估计、群体动能、群体运动方向熵或群体距离势能等方式获取车辆密度、车辆平均动能、行人密度、行人平均动能、行人距离势能等。

图7A为本申请实施例提供的监控设备A的监控图像的分割示意图。针对每个图像块对应的格网的编码信息，以及每个图像块所表征的群体行为指标，得到的第一区域视频信息可以如如下的表一所示。

表一

图7B为本申请实施例提供的监控设备A的监控图像的图像块映射到格网的示意图。由图7A所示，将监控图像分割为11个图像块，第1行为4个图像块，第2行为4个图像块，第3行为3个图像块。在本实施例中，通过简单的示意性的方式示出了每个图像块对应的格网以及格网对应的编码信息，例如，第1行第1个图像块对应到图7B中的C1(Code1)的格网，依次类推，本实施例此处再赘述。本领域技术人员可以理解，此处的示例仅是为了便于理解的示意性的表达，在分割的过程中并没有考虑精度问题，在具体实现过程中，将考虑精度等问题进行精确的分割。

图8A为本申请实施例提供的监控设备B的监控图像的分割示意图。针对每个图像块对应的格网的编码信息，以及每个图像块所表征的群体行为指标，得到的第二区域视频信息可以如如下的表二所示。

表二

图8B为本申请实施例提供的监控设备B的监控图像的图像块映射到格网的示意图。由图8A所示，将监控图像分割为11个图像块，第1行为4个图像块，第2行为4个图像块，第3行为3个图像块。在本实施例中，通过简单的示意性的方式示出了每个图像块对应的格网以及格网对应的编码信息，例如，第1行第1个图像块对应到图8B中的C7(Code7)的格网，依次类推，本实施例此处再赘述。本领域技术人员可以理解，此处的示例仅是为了便于理解的示意性的表达，在分割的过程中并没有考虑精度问题，在具体实现过程中，将考虑精度等问题进行精确的分割。

上述的区域视频信息若是监控设备生成的，则监控设备通过物联网等传输方式将该区域视频信息发送至云端服务器。监控设备可以实时的将该区域视频信息传输给云端服务器。

上述的区域视频信息若是云端服务器生成的，则监控设备实时向云端服务器发送视频流以及用于指示监控设备的位置和视场信息的指示信息，云端服务器从该视频流中提取监控图像，然后根据指示信息和全球离散格网生成该区域视频信息。

由此，根据目标区域位置信息所对应的覆盖范围，从第一区域视频信息中获取第一图像块对应的全球离散格网中的第一格网的第一编码信息和第一图像块的第一群体行为指标，从第二区域视频信息中获取第二图像块对应的全球离散格网中的第二格网的第二编码信息和第二图像块的第二群体行为指标。其中，第一格网和第二格网所指示的地理位置被所述目标区域所覆盖。

例如，可以获取目标区域所覆盖的格网的编码信息列表，然后判断该第一区域视频信息中的格网的编码信息是否属于该编码信息列表，若属于则获取第一编码信息和第一群体行为指标，判断该第二区域视频信息中的格网的编码信息是否属于该编码信息列表，若属于则获取第二编码信息和第二群体行为指标。

在本实施例中，为了便于说明，假定上述第一监控设备拍摄的监控图像所划分的图像块均为满足要求的第一图像块，第二监控设备拍摄的监控图像所划分的图像块均为满足要求的第二图像块。该要求是指该图像块所覆盖的区域属于目标区域。

S504、基于指示不同格网的第一编码信息和第二编码信息，根据所述第一群体行为指标确定第一格网对应的群体行为指标，根据所述第二群体行为指标确定第二格网对应的群体行为指标；

S505、基于指示同一格网的第一编码信息和第二编码信息，根据所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三格网对应的群体行为指标；

由于不同的监控设备所覆盖的区域存在差异，所以需要基于统一的全球离散格网进行拼接融合，对重复采集的格网进行融合，对于非重复采集的格网进行拼接。

因此，根据各图像块映射到全球离散格网中的格网的编码信息，图像块是否对应同一格网。例如，请继续参考图7B和图8B，对于编码信息Code1(C1)，则对应了一个图像块，为监控设备A所拍摄的监控图像的图像块。对于编码信息Code7(C7)，则两个图像块对应该编码信息，为监控设备A所拍摄的监控图像的第一图像块和监控设备B所拍摄的监控图像的第二图像块。具体地，在图7B和图8B中均出现了C7、C8、C10和C11，即这四个格网中的每个均对应两个图像块。

在具体实现过程中，云端服务器基于表一和表二所示的区域视频信息，就能确定图像块是否对应同一格网。例如，表一中存在编码信息Code7，表二中也存在编码信息Code7，则两个图像块均对应该编码信息Code7。再例如，表一中存在编码信息Code1，表二中不存在该编码信息Code1，该编码信息Code1对应一个图像块。对于编码信息Code1和编码信息Code7对应的图像块所表征的群体行为指标可如表三所示。对于其它编码信息而言，实现方式类似，本实施例此处不做赘述。

表三

在具体实现过程中，将输入的监控设备A及监控设备B各自对应的区域视频信息，基于统一的全球离散格网进行拼接融合。针对车辆和行人的每一类群体运动指标分别进行融合，融合过程中对不同监控设备重复采集的格网区域取加权平均值，非重复采集的格网区域数据直接迁移至全球离散格网中，实现完整时空域的三维动态环境拼接。

图9为本申请一实施例提供的拼接融合的过程示意图。如图9所示，拼接的过程可以理解为全球离散格网中的格网对应一个图像块所表征的群体行为指标。即将第一群体行为指标作为第一格网对应的群体行为指标，将第二群体行为指标作为第二格网对应的群体行为指标。

例如，对于编码信息C1、C2、C12、C13等对应的格网，仅对应一个图像块所表征的群体行为指标，则直接将群体行为指标作为全球离散格网中的格网所对应的群体行为指标。

融合的过程可以理解为全球离散格网中的格网对应至少两个图像块所表征的群体行为指标，则对至少两个图像块所表征的群体行为指标进行加权处理，得到全球离散格网中的格网所对应的群体行为指标。即基于指示同一格网的第一编码信息和第二编码信息，根据第一群体行为指标和第二群体行为指标进行加权处理，得到第三格网对应的群体行为指标。

本实施例的加权处理可以为对同一类型的第一群体行为指标和第二群体行为指标进行加权处理，例如，对同一格网对应的两个车辆密度值进行加权处理，对同一格网对应的两个车辆平均动能值进行加权处理。在本实施例的加权处理过程中，加权系数例如可以为每个图像块所覆盖的区域面积与该图像块对应的格网所覆盖的面积的比值。根据图7A和图8A可知，监控图像被分割之后，存在不完整的图像块，该些不完整的图像块所占权重较低，而完整的图像块所占权重较高，从而保证了融合的准确性。

如图9所示，编码信息C7、C8、C10、C11对应的格网，各自对应两个图像块，所以对第一群体行为指标和第二群体行为指标进行加权处理，得到每个格网对应的群体行为指标。

根据所述第一格网对应的群体行为指标、所述第二格网对应的群体行为指标以及所述第三格网对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。例如，可以对目标区域所覆盖的格网对应的群体行为指标求平均值，以获取第三群体行为指标，也可以不进行处理，直接将多个格网各自对应的群体行为指标作为该第三群体行为指标。

在一种可选的实现方式中，还可以进行聚合处理，即执行下述S506至S508。

S506、根据所述第一编码信息和所述第二编码信息，获取所述目标区域所覆盖的所述全球离散格网中的第一尺度级别的格网，所述第一编码信息还用于指示所述第一格网的尺度级别，所述第二编码信息还用于指示所述第二格网的尺度级别；

S507、根据所述第一尺度级别的格网所对应的群体行为指标，得到第二尺度级别的格网所对应的群体行为指标；其中，所述第二尺度级别所对应的格网所对应的面积等于所述第一尺度级别所对应的预设数量的格网的面积之和；

S508、根据所述第二尺度级别的格网对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

具体地，该编码信息还用于指示格网的尺度级别，该尺度级别可以理解为格网所覆盖的区域的面积。例如，可以在该编码信息的前缀中设置该尺度级别。

图10为本申请一实施例提供的聚合的过程示意图。结合图9和图10所示，在执行拼接融合的过程中，格网属于同一尺度级别，即本申请实施例是对属于同一尺度级别的格网进行拼接融合。如图10所示，聚合是指将同一尺度级别的格网进行合并，得到更大尺度的格网。

在图9所示的示例中，格网处于第一尺度级别，该些第一尺度级别每相邻的4个格网进行聚合，得到第二尺度级别的格网。其中，第二尺度级别所对应的格网所对应的面积等于所述第一尺度级别所对应预设数量的格网的面积之和。

在图10所示的示例中，相同填充图案的格网进行聚合，得到聚合后的格网。在聚合过程中，第一尺度级别的至少两个格网所对应的群体行为指标取平均值，得到第二尺度级别的格网所对应的群体行为指标。该平均值也可以为加权平均值，加权系数本实施例不做特别限制。

该目标区域对应的第三群体行为指标，可以包括多个第二尺度级别的格网各自对应的群体行为指标，也可以对多个第二尺度级别的格网各自对应的群体行为指标进行加权平均，得到第三群体行为指标。

本领域技术人员可以理解，若没有执行S505至S507，可以根据所述第一尺度级别的格网所对应的群体行为指标，进行群体行为分析处理。若执行了S505至S507，可以根据第二尺度级别的格网所对应的群体行为指标，进行群体行为分析处理。

在具体实现过程中，可以对最终得到的第一尺度级别的格网对应的群体行为指标或第二尺度级别的格网对应的群体行为指标进行归一化处理，基于归一化之后的数据通过阈值判定法对格网区域的环境态势进行判断。

例如，当连续格网区域内的预设数量个格网各自对应的车辆密度大于阈值0.5时，且车辆平均动能小于阈值0.3时，判定该路段发生拥堵；当连续的格网区域内的预设数量个格网各自对应的车辆密度大于阈值0.5，且群体平均动能大于阈值0.3且小于0.5时，判定该路段行驶缓慢。进一步，当群体运动方向熵大于阈值0.5时，判定该路段行驶缓慢，车辆出现大量绕行现象，可能发生交通事故，标定为异常格网区域。当连续的格网区域内的预设数量个格网各自对应的车辆密度小于阈值0.5，群体平均动能大于阈值0.5，且群体运动方向熵大于阈值0.5时，判定该路段车辆出现绕行，逆行等行驶异常现象，可能出现车辆逆行，路口交通秩序混乱等交通异常事件，标记为异常格网区域。当连续的格网区域内的预设数量个格网各自对应的车辆密度小于阈值0.5，群体平均动能大于阈值大于0.5，且群体运动方向熵小于阈值0.5时，判定交通状况畅通。当路口行人密度大于阈值0.5，行人平均动能大于阈值0.5，行人运动方向熵小于阈值0.3，行人距离势能小于阈值0.5时，判定该路口有行人道通过马路。当路口行人密度小于阈值0.5且大于阈值0.3，行人运动方向熵大于阈值0.5时，判定该路口可能存在交通秩序混乱等交通异常事件。

通过构建基于全球离散格网，来获取每个格网对应的群体行为指标，当发生群体异常事件时可以第一时间定位事件发生具体位置并预测事件类型，快速在大屏幕或监控终端设备上弹出对应的监控视频，发出异常事件警报信息，使相关工作人员可以第一时间发现和处置事件，达到精准防控、主动防控的目标。

当应用于智能驾驶领域时，可以实现全局环境群体态势格网化感知，交通事件实时发现，为车辆第一时间提供预警，辅助车辆智能规划路径，使车辆路径规划更加智能主动，由于每个格网对应的编码信息本身就包含了准确的地理位置信息，因此可对异常群体运动指标格网进行精确定位；由于采用了全球离散格网，所以可以实现一张图监控，可在车载终端直观展示实时路网交通运行状况，展现交通事故、安全隐患等交通态势。

图11为本申请一实施例提供的视频处理设备的示意图。本实施例提供的视频处理设备110包括：获取模块1101和处理模块1102。可选地，该视频处理设备110还包括发送模块1103。

获取模块1101，用于获取目标区域位置信息，所述目标区域位置信息用于指示所述目标区域对应的地理位置；

处理模块1102，用于根据所述目标区域位置信息从第一区域视频信息中获取第一图像块对应的第一位置信息和所述第一图像块的第一群体行为指标，所述第一位置信息用于指示所述第一图像块对应的第一地理位置；

所述处理模块1102，还用于根据所述目标区域位置信息从第二区域视频信息中获取第二图像块对应的第二位置信息和所述第二图像块的第二群体行为指标，所述第二位置信息用于指示所述第二图像块对应的第二地理位置；

所述处理模块1102，还用于基于所述第一位置信息、所述第二位置信息、所述第一群体行为指标和所述第二群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的实现方式中，所述处理模块1102具体用于：

基于指示不同地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标确定第一目标位置对应的群体行为指标，根据所述第二群体行为指标确定第二目标位置对应的群体行为指标；

基于指示同一地理位置的第一位置信息和第二位置信息，根据所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标；

根据所述第一目标位置对应的群体行为指标、所述第二目标位置对应的群体行为指标以及所述第三目标位置对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的实现方式中，所述处理模块1102具体用于：

根据所述第一图像块所覆盖的实际地理范围和预设地理范围，确定所述第一群体行为指标的权重系数，所述预设地理范围为所述目标区域中与所述第一图像块对应的地理范围；

根据所述第二图像块所覆盖的实际地理范围和所述预设地理范围，确定所述第二群体行为指标的权重系数，所述第一图像块和所述第二图像块对应同一预设地理范围；

根据所述第一群体行为指标的权重系数、所述第二群体行为指标的权重系数，对所述第一群体行为指标和所述第二群体行为指标进行加权处理，得到第三目标位置对应的群体行为指标。

在一种可能的实现方式中，所述第一图像块是根据全球离散格网对第一图像进行处理得到的图像块，所述第一位置信息为所述第一图像块对应的所述全球离散格网中的第一格网的第一编码信息，所述第一编码信息用于指示所述第一格网对应的所述第一地理位置；

所述第二图像块是根据所述全球离散格网对第二图像进行处理得到的图像块，所述第二位置信息为所述第二图像块对应的所述全球离散格网中的第二格网的第二编码信息，所述第二编码信息用于指示所述第二格网对应的所述第二地理位置。

在一种可能的实现方式中，所述处理模块1102具体用于：

根据所述第一编码信息和所述第二编码信息，获取所述目标区域所覆盖的所述全球离散格网中的第一尺度级别的格网，所述第一编码信息还用于指示所述第一格网的尺度级别，所述第二编码信息还用于指示所述第二格网的尺度级别；

根据所述第一尺度级别的格网所对应的群体行为指标，得到第二尺度级别的格网所对应的群体行为指标；其中，所述第二尺度级别所对应的格网所对应的面积等于所述第一尺度级别所对应的预设数量的格网的面积之和；

根据所述第二尺度级别的格网对应的群体行为指标，获得所述目标区域对应的第三群体行为指标。

在一种可能的实现方式中，所述处理模块1102具体用于：对所述第一尺度级别的格网所对应的目标位置的群体行为指标求平均值，得到第二尺度级别的格网所对应的群体行为指标。

在一种可能的实现方式中，所述获取模块1101还用于：

从第一监控设备获取所述第一区域视频信息；

从第二监控设备获取所述第二区域视频信息。

在一种可能的实现方式中，所述获取模块1101还用于：从第一监控设备获取第一视频流以及用于指示所述第一监控设备的位置和视场信息的第一指示信息；

从第二监控设备获取第二视频流以及用于指示所述第二监控设备的地理位置和视场信息的第二指示信息；

所述处理模块1102还用于：根据所述第一视频流、所述第一指示信息获取所述第一区域视频信息；

根据所述第二视频流、所述第二指示信息获取所述第二区域视频信息。

在一种可能的实现方式中，所述第一群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能；

所述第二群体行为指标包括如下中的至少一个：群体密度估计、群体动能、群体运动方向熵或群体距离势能。

在一种可能的实现方式中，还包括：

发送模块1103，用于若所述第三群体行为指标指示群体行为异常，向终端设备发送提示信息，所述提示信息用于指示所述群体行为异常。

本实施例提供的视频处理设备，可用于执行上述的方法，其实现原理和技术效果类似，本实施例此处不做赘述。

图12为本申请一实施例提供的视频处理设备的示意图。如图12所示，该视频处理设备120包括：处理器1201以及存储器1202；其中

存储器1202，用于存储计算机程序；

处理器1201，用于执行存储器存储的计算机程序，以实现上述实施例中的视频处理设备所执行的视频处理方法。具体可以参见前述图3和图4所示方法实施例中的相关描述。

可选地，存储器1202既可以是独立的，也可以跟处理器1201集成在一起。

当所述存储器1202是独立于处理器1201之外的器件时，所述视频处理设备120还可以包括：总线1203，用于连接所述存储器1202和处理器1201。

该视频处理设备120还可以包括接收接口1204和发送接口1205，该接收接口1204用于接收监控设备发送的区域视频信息和/或视频流等信息，该发送接口1205用于向终端设备发送提示信息等。

在一种可能的实现方式中，在由视频处理设备生成区域视频信息时，图11所示的获取模块1101和处理模块1102可以被集成在处理器1201中实现，在由监控设备生成该区域视频信息时，该获取模块1101可以被集成在接收接口1204中，发送模块1103可以被集成在发送接口1205中实现。

本申请实施例提供的视频处理设备，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序用于实现如上视频处理设备所执行的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得安装有所述芯片的通信设备执行如上视频处理设备所实现的方法。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如上实施例中视频处理设备所实现的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：central processing unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：DSP)、专用集成电路(英文：application specific integrated circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extendedindustry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。