基于智慧交通的截取图像合成方法及系统

技术领域

本公开涉及物联网及人工智能技术领域，具体而言，涉及一种基于智慧交通的截取图像合成方法及系统。

背景技术

在城市智慧交通系统的交通监控过程中，通常会涉及到大量的联动控制操作，例如当某个卡口相机监测到目标对象的交通异常行为之后，通常会立刻上报服务器该异常事件的位置从而使得服务器根据该交通异常行为的位置控制相关交通区域的其它卡口相机联动进行监测监控，并通过结合整个联动过程的交通信息进行综合判断来确定一些复杂事件的路况。如此，如何便于用户无需反复切换画面即可统一查看联动的交通异常行为的追溯过程情况，从而提高监控排查效率，是本领域亟待解决的技术问题。

发明内容

为了至少克服现有技术中的上述不足，本公开的目的在于提供一种基于智慧交通的截取图像合成方法及系统，能够便于用户无需反复切换画面即可统一查看联动的交通异常行为的追溯过程情况，从而提高监控排查效率。

第一方面，本公开提供一种基于智慧交通的截取图像合成方法，应用于大数据云服务器，所述大数据云服务器与多个智慧交通管理区域的智慧交通终端通信连接，所述方法包括：

获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合，其中，所述第一交通行为序列与所述第二交通行为序列分别为存在交通联动监控关系的第一交通图像数据流和第二交通图像数据流所对应的交通行为序列，所述交通联动监控关系用于表示针对目标对象的交通异常行为产生的联动监控动作；

根据所述第一交通行为序列和所述第二交通行为序列中与所述目标对象的交通异常行为相关的关联交通行为，将所述关联交通行为与所述目标对象建立关联关系，并根据所述关联交通行为与所述目标对象之间的关联关系，对所述第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像；

从每个目标合成图像中确定产生交通联动行为的交通联动行为节点，并根据所述每个目标合成图像，获取所述交通联动行为节点之间的联动轨迹信息后，根据所述交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列，其中，所述交通联动行为节点联动序列中相邻的交通联动行为节点被至少一个交通联动行为先后遍历；

获取所述交通联动行为节点的特征表示向量，并根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量，根据交通联动行为节点的追溯过程表示向量，生成所述每个目标合成图像的追溯动画特效，其中，所述追溯过程表示向量用于表示对应的交通联动行为节点与其它交通联动行为节点在交通联动过程上的关联。

在第一方面的一种可能的实现方式中，所述根据所述关联交通行为与所述目标对象之间的关联关系，对所述第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像的步骤，包括：

将所述第一截取图像集合和所述第二截取图像集合各自所对应的交通行为预测区域添加到图像合成场景下；

在所述图像合成场景下根据所述交通行为预测区域对应于所请求合成节点的交通行为信息，模拟所述第一截取图像集合和所述第二截取图像集合中与所述交通行为预测区域对应的相关交通行为，以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息，并从每一个相关交通行为对应的合成策略信息中，分别提取出相应的相关交通行为在各个图像合成业务下的合成控制结果；

根据所述关联交通行为与所述目标对象之间针对每个图像合成业务的关联关系，对所述相应的相关交通行为在对应的图像合成业务下的合成控制结果进行合成控制，以使得完成合成控制后的图像合成业务下的合成控制结果可在所述第一截取图像集合与所述第二截取图像集合之间的图像合成操作中完成合成控制，获得合成控制后的每张目标合成图像。

在第一方面的一种可能的实现方式中，所述在所述图像合成场景下根据所述交通行为预测区域对应于所请求合成节点的交通行为信息，模拟所述第一截取图像集合和所述第二截取图像集合中与所述交通行为预测区域对应的相关交通行为，以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息的步骤，包括：

根据所述截取图像集合针对所述交通行为预测区域的合成控制项目的项目编辑信息，建立所述交通行为预测区域的行为关联信息，所述行为关联信息用于反映所述交通行为预测区域中进行合成控制时的行为关联信息；

根据所请求合成节点所对应的行为爬取模型对所述交通行为预测区域的合成控制项目的行为关联信息进行行为爬取，获得所述交通行为预测区域对应于所述所请求合成节点的交通行为信息；

根据所述交通行为预测区域的交通行为信息确定所述交通行为预测区域的合成编辑过程曲线，并根据所述合成编辑过程曲线模拟每一个相关交通行为以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

在第一方面的一种可能的实现方式中，所述根据所述截取图像集合针对所述交通行为预测区域的合成控制项目的项目编辑信息，建立所述交通行为预测区域的行为关联信息的步骤，包括：

获取所述项目编辑信息中每个项目编辑节点的第一项目编辑操作向量，其中，所述第一项目编辑操作向量用于表征该项目编辑节点的图像合成特征向量区间；

对所述第一项目编辑操作向量进行特征识别，获得第一行为关联信息和与第一行为关联信息对应的合成控制特征信息；

获取该项目编辑节点的第一项目队列模拟信息和项目编辑信息，提取所述第一项目队列模拟信息的项目队列调用接口，所述第一项目队列模拟信息的项目队列调用接口包括指定项目队列调用代码；

获取预设历史项目编辑节点的指定项目队列调用代码，并根据该指定项目队列调用代码调整所述第一项目队列模拟信息的指定项目队列调用代码，使所述第一项目队列模拟信息中各个指定项目队列调用代码之间的调用脚本与所述预设历史项目编辑节点中各个指定项目队列调用代码之间的调用脚本匹配；

根据所述第一项目队列模拟信息中调整后的各个指定项目队列调用代码得到第二项目队列模拟信息的项目队列调用接口，并根据所述第二项目队列模拟信息的项目队列调用接口生成第二项目队列模拟信息；

根据所述项目编辑信息和所述第二项目队列模拟信息的项目队列调用接口，查找得到与所述项目编辑信息相匹配的合成控制特征信息以及与所述合成控制特征信息对应的第一行为关联信息，根据所述第二项目队列模拟信息的项目队列调用接口对与所述合成控制特征信息对应的第一行为关联信息进行调整，获得第二行为关联信息；

将所述第二行为关联信息与所述第二项目队列模拟信息进行映射关联处理，以建立所述交通行为预测区域的行为关联信息。

在第一方面的一种可能的实现方式中，所述根据所述合成编辑过程曲线运行每一个相关交通行为以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息的步骤，包括：

根据所述合成编辑过程曲线，调用所述合成编辑界面以访问对应的图像合成编辑线程，并通过所述图像合成编辑线程模拟每一个相关交通行为；

根据针对每一个相关交通行为调取的不同合成控制类型的合成控制属性对象，确定每一个相关交通行为的合成控制属性对象对应的合成控制决策节点，其中，所述不同合成控制类型的合成控制属性对象分别对应不同的合成控制决策节点；

确定所述每一个相关交通行为的不同合成控制属性对象的对象数据，并根据所述对象数据，获取对应的多个合成控制图像匹配对象中包括的至少两个相同合成控制图像匹配对象的第一图像匹配对象集合，以及剩余的合成控制图像匹配对象中调用次数大于预设次数的至少一个第二图像匹配对象集合；

根据从所述第一图像匹配对象集合选取的调用次数大于设定次数的图像匹配对象集合作为目标图像匹配对象集合以及所述至少一个第二图像匹配对象集合，生成用于确定所述合成编辑界面的合成策略信息的合成控制线程，其中，所述合成控制线程中包括所述目标图像匹配对象集合以及所述至少一个第二图像匹配对象集合；

根据所述合成控制线程分别确定每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

在第一方面的一种可能的实现方式中，所述根据所述合成控制线程分别确定每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息的步骤，包括：

根据所述合成控制线程确定目标图像匹配对象集合以及所述至少一个第二图像匹配对象集合中每一个目标合成控制图像匹配对象所对应的合成控制属性对象；

根据所述每一个目标合成控制图像匹配对象所对应的合成控制属性对象确定每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

在第一方面的一种可能的实现方式中，所述获取所述交通联动行为节点的特征表示向量的步骤，包括：

从每个目标合成图像中，获取所述交通联动行为节点的实时交通状态数据，并对所述交通联动行为节点的实时交通状态数据进行语义分析，得到用于描述实时交通状态数据语义的特征表示向量，其中，各特征表示向量的长度相同；

对同一交通联动行为节点的所有特征表示向量取平均，得到平均向量作为对应的交通联动行为节点的特征表示向量。

在第一方面的一种可能的实现方式中，所述对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量的步骤，包括：

通过联动过程分析模型，根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量；

所述通过联动过程分析模型，根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量的步骤之前，还包括：

获取交通联动行为节点的编码表示，以交通联动行为节点联动序列中交通联动行为节点的排列顺序对交通联动行为节点的编码表示进行排列，得到交通联动行为节点对应的编码表示序列；

通过编码表示序列对所述联动过程分析模型进行输入，以使得联动过程分析模型追溯交通联动行为节点联动序列中交通联动行为节点的联动过程。

在第一方面的一种可能的实现方式中，所述根据所述每个目标合成图像，获取所述交通联动行为节点之间的联动轨迹信息的步骤，包括：

根据所述每个目标合成图像，确定在每两个交通联动行为节点间的行为向量指向和所述行为向量指向对应的趋势强度大小；

根据交通联动行为节点生成决策树的决策节点，根据交通联动行为节点之间的行为向量指向生成决策节点间的决策向量；

计算所述决策树中，计算从同一交通联动行为节点指向其它交通联动行为节点的第一决策向量对应的权重，其中，决策树中的决策节点表示交通联动行为节点，决策树中的决策向量表示两交通联动行为节点之间的行为向量指向，决策向量的权重根据行为向量指向对应的趋势强度大小得到；

所述根据所述交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列，包括：

从所述决策树中选择一部分决策节点作为交通联动行为节点联动序列的起始节点；

根据所述决策树中各决策向量的权重，在所述决策树中从各所述起始节点开始游走，根据游走路径中经历的节点生成交通联动行为节点联动序列，其中，交通联动行为节点联动序列的长度为预设长度，在游走路径中，同一节点的相邻节点不同。

第二方面，本公开实施例还提供一种基于智慧交通的截取图像合成装置，应用于大数据云服务器，所述大数据云服务器与多个智慧交通管理区域的智慧交通终端通信连接，所述装置包括：

获取模块，用于获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合，其中，所述第一交通行为序列与所述第二交通行为序列分别为存在交通联动监控关系的第一交通图像数据流和第二交通图像数据流所对应的交通行为序列，所述交通联动监控关系用于表示针对目标对象的交通异常行为产生的联动监控动作；

合成控制模块，用于根据所述第一交通行为序列和所述第二交通行为序列中与所述目标对象的交通异常行为相关的关联交通行为，将所述关联交通行为与所述目标对象建立关联关系，并根据所述关联交通行为与所述目标对象之间的关联关系，对所述第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像；

第一生成模块，用于从每个目标合成图像中确定产生交通联动行为的交通联动行为节点，并根据所述每个目标合成图像，获取所述交通联动行为节点之间的联动轨迹信息后，根据所述交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列，其中，所述交通联动行为节点联动序列中相邻的交通联动行为节点被至少一个交通联动行为先后遍历；

第二生成模块，用于获取所述交通联动行为节点的特征表示向量，并根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量，根据交通联动行为节点的追溯过程表示向量，生成所述每个目标合成图像的追溯动画特效，其中，所述追溯过程表示向量用于表示对应的交通联动行为节点与其它交通联动行为节点在交通联动过程上的关联。

第三方面，本公开实施例还提供一种基于智慧交通的截取图像合成系统，所述基于智慧交通的截取图像合成系统包括大数据云服务器以及与所述大数据云服务器通信连接的多个智慧交通管理区域的智慧交通终端；

所述大数据云服务器，用于获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合，其中，所述第一交通行为序列与所述第二交通行为序列分别为存在交通联动监控关系的第一交通图像数据流和第二交通图像数据流所对应的交通行为序列，所述交通联动监控关系用于表示针对目标对象的交通异常行为产生的联动监控动作；

所述大数据云服务器，用于根据所述第一交通行为序列和所述第二交通行为序列中与所述目标对象的交通异常行为相关的关联交通行为，将所述关联交通行为与所述目标对象建立关联关系，并根据所述关联交通行为与所述目标对象之间的关联关系，对所述第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像；

所述大数据云服务器，用于从每个目标合成图像中确定产生交通联动行为的交通联动行为节点，并根据所述每个目标合成图像，获取所述交通联动行为节点之间的联动轨迹信息后，根据所述交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列，其中，所述交通联动行为节点联动序列中相邻的交通联动行为节点被至少一个交通联动行为先后遍历；

所述大数据云服务器，用于获取所述交通联动行为节点的特征表示向量，并根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量，根据交通联动行为节点的追溯过程表示向量，生成所述每个目标合成图像的追溯动画特效，其中，所述追溯过程表示向量用于表示对应的交通联动行为节点与其它交通联动行为节点在交通联动过程上的关联。

第四方面，本公开实施例还提供一种大数据云服务器，所述大数据云服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个智慧交通终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的基于智慧交通的截取图像合成方法。

第五方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于智慧交通的截取图像合成方法。

根据上述任意一个方面，本公开通过基于存在交通联动监控关系的第一交通行为序列和第二交通行为序列中与目标对象的交通异常行为相关的关联交通行为，从相应的截取图像集合通过图像合成后的每张目标合成图像中确定产生交通联动行为的交通联动行为节点，并对其联动过程进行追溯，根据其追溯过程表示向量，生成每个目标合成图像的追溯动画特效。如此，能够便于用户无需反复切换画面即可统一查看联动的交通异常行为的追溯过程情况，从而提高监控排查效率。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本公开实施例提供的基于智慧交通的截取图像合成系统的应用场景示意图；

图2为本公开实施例提供的基于智慧交通的截取图像合成方法的流程示意图；

图3为本公开实施例提供的基于智慧交通的截取图像合成装置的功能模块示意图；

图4为本公开实施例提供的用于实现上述的基于智慧交通的截取图像合成方法的大数据云服务器的结构示意框图。

具体实施方式

下面结合说明书附图对本公开进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

图1是本公开一种实施例提供的基于智慧交通的截取图像合成系统10的交互示意图。基于智慧交通的截取图像合成系统10可以包括大数据云服务器100以及与所述大数据云服务器100通信连接的智慧交通终端200。图1所示的基于智慧交通的截取图像合成系统10仅为一种可行的示例，在其它可行的实施例中，该基于智慧交通的截取图像合成系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本实施例中，智慧交通终端200可以包括一系列交通监控设备，例如交通卡口相机等，在此不作具体限定。

本实施例中，基于智慧交通的截取图像合成系统10中的大数据云服务器100和智慧交通终端200可以通过配合执行以下方法实施例所描述的基于智慧交通的截取图像合成方法，具体大数据云服务器100和智慧交通终端200的执行步骤部分可以参照以下方法实施例的详细描述。

为了解决前述背景技术中的技术问题，图2为本公开实施例提供的基于智慧交通的截取图像合成方法的流程示意图，本实施例提供的基于智慧交通的截取图像合成方法可以由图1中所示的大数据云服务器100执行，下面对该基于智慧交通的截取图像合成方法进行详细介绍。

步骤S110，获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合。

步骤S120，根据第一交通行为序列和第二交通行为序列中与目标对象的交通异常行为相关的关联交通行为，将关联交通行为与目标对象建立关联关系，并根据关联交通行为与目标对象之间的关联关系，对第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像。

步骤S130，从每个目标合成图像中确定产生交通联动行为的交通联动行为节点，并根据每个目标合成图像，获取交通联动行为节点之间的联动轨迹信息后，根据交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列。

步骤S140，获取交通联动行为节点的特征表示向量，并根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量，根据交通联动行为节点的追溯过程表示向量，生成每个目标合成图像的追溯动画特效。

本实施例中，第一交通行为序列与第二交通行为序列分别为存在交通联动监控关系的第一交通图像数据流和第二交通图像数据流所对应的交通行为序列。

本实施例中，交通联动行为节点联动序列中相邻的交通联动行为节点被至少一个交通联动行为先后遍历。

本实施例中，追溯过程表示向量可以用于表示对应的交通联动行为节点与其它交通联动行为节点在交通联动过程上的关联，交通联动监控关系可以用于表示针对目标对象的交通异常行为产生的联动监控动作。

本实施例中，每个目标合成图像的追溯动画特效可以用于表示该目标合成图像中由该交通异常行为相关的关联交通行为在该目标合成图像的交通监测区域中的交通追溯过程，从而能够便于用户无需反复切换画面即可统一查看联动的交通异常行为的追溯过程情况。

由此，基于上述步骤，本实施例通过基于存在交通联动监控关系的第一交通行为序列和第二交通行为序列中与目标对象的交通异常行为相关的关联交通行为，从相应的截取图像集合通过图像合成后的每张目标合成图像中确定产生交通联动行为的交通联动行为节点，并对其联动过程进行追溯，根据其追溯过程表示向量，生成每个目标合成图像的追溯动画特效。如此，能够便于用户无需反复切换画面即可统一查看联动的交通异常行为的追溯过程情况，从而提高监控排查效率。

在一种可能的实现方式中，针对步骤S110，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S111，获取智慧交通终端200所对应的第一图像采集位置在第一交通展示方位所对应的关联智慧交通区域序列。

子步骤S112，从关联智慧交通区域序列的至少一个第二图像采集位置中获取每个第二图像采集位置，并监测在设定持续时间段内与第一图像采集位置在第一交通展示方位相关联的第一交通图像数据流以及与第二图像采集位置在对应的第二交通展示方位相关联的第二交通图像数据流。

子步骤S113，基于预先配置的人工智能模型分别对第一交通图像数据流中的交通行为和第二交通图像数据流中的交通行为进行预测，分别获得第一交通图像数据流中的第一交通行为序列和第二交通图像数据流中的第二交通行为序列。

子步骤S114，获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合。

本实施例中，第一交通展示方位可以为智慧交通终端200在第一图像采集位置处抓拍存在交通异常行为的目标对象时的交通展示方位，关联智慧交通区域序列中可以包含至少一个第二图像采集位置，每个第二图像采集位置均在对应的第二交通展示方位与第一图像采集位置之间存在交通联动监控关系，第二交通展示方位为第一交通展示方位的联动交通展示方位。

详细地，对于每个智慧交通终端200而言，其在监控过程中可能会存在多个交通展示方位，例如正前方、正后方、斜上前方、斜下前方、斜上后方、斜下后方等等。图像采集位置可以理解为智慧交通终端200具体采集图像时所处的位置。在具体实施时，当某个智慧交通终端200监测到存在交通异常行为的目标对象之后，该大数据云服务器100可以该交通异常行为的位置控制相关交通区域的其它智慧交通终端200联动进行监测监控，从而可以持续在设定持续时间段内与第一图像采集位置在第一交通展示方位相关联的第一交通图像数据流以及与第二图像采集位置在对应的第二交通展示方位相关联的第二交通图像数据流。

在一种可能的实现方式中，针对步骤S113，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S1131，基于预先配置的人工智能模型分别对第一交通图像数据流中的交通行为和第二交通图像数据流中的交通行为进行预测，得到第一交通图像数据流中的交通行为预测结果和第二交通图像数据流的交通行为预测结果。

本实施例中，交通行为预测结果可以包括在不同图像单元区域中各个候选交通行为的置信度。

子步骤S1132，根据第一交通图像数据流中的交通行为预测结果和第二交通图像数据流的交通行为预测结果，选择置信度大于设定置信度的对应的候选交通行为构成的序列分别作为第一交通图像数据流中的第一交通行为序列和第二交通图像数据流中的第二交通行为序列。

其中，作为一种可能的示例，该人工智能模型可以通过如下方式训练得到：

（1）获取训练样本集，训练样本集包括多个训练样本图像以及每个训练样本图像所对应的每个图像单元区域中的交通行为标签。例如，交通行为标签可以用于表示该图像单元区域中所对应的交通行为类别。

（2）基于预设卷积神经网络模型提取训练样本集中每个训练样本图像中每个图像单元区域中的图像单元特征图谱，并将图像单元特征图谱输入到分类层得到图像单元特征图谱所对应的预测分类标签信息。

其中，值得说明的是，为了实现特征一对一的关联关系，该预设卷积神经网络模型可以包括多个与每个图像单元区域一一对应的卷积提取单元。

（3）根据训练样本集中每个训练样本图像中每个图像单元区域的图像单元特征图谱所对应的预测分类标签信息和交通行为标签之间的损失函数值，调整预设卷积神经网络模型的模型参数后迭代进行训练，并在预设卷积神经网络模型达到训练结束条件时，输出训练得到的人工智能模型。

例如，可以在损失函数值低于设定函数值时，输出训练得到的人工智能模型，或者可以在损失函数值不再继续下降时，输出训练得到的人工智能模型，又或者还可以在迭代训练的次数达到设定次数时，输出训练得到的人工智能模型。

由此，通过采用以上训练得到的人工智能模型对第一交通图像数据流中的交通行为和第二交通图像数据流中的交通行为进行预测，从而可以快速准确地分析存在交通联动监控关系的交通行为序列，提高监控排查效率。

在此基础上，在一种可能的实现方式中，针对步骤S120，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S121，获取第一交通行为序列与第二交通行为序列中与目标对象的交通异常行为存在时间维度和/或空间维度关联的交通行为预测区域，并根据交通行为预测区域构建第一交通行为序列对应的第一关联模型以及构建第二交通行为序列对应的第二关联模型。

例如，第一关联模型和第二关联模型可以分别包括多个不同关联区域标记的关联区域绑定节点。其中值得说明的是，关联区域标记可以用于表示相关联的交通行为预测区域所对应的频繁交通行为标签（例如交通行为重复率超过设定重复率的交通行为），关联区域绑定节点可以用于表示频繁交通行为标签相关的交通行为预测区域中的一个或者多个单位预测区域，对于本领域技术人员而言，单位预测区域可以根据实际需求确定对应的区域大小，本实施例对此不作详细限定。

子步骤S122，提取第一交通行为序列在第一关联模型的每个关联区域绑定节点的异常行为单元，同时将第二关联模型中与交通行为预测区域所对应的相关关联区域标记的关联区域绑定节点确定为目标关联区域绑定节点，并根据预设映射模型和第二交通行为序列的行为特征向量集合将异常行为单元映射到目标关联区域绑定节点，在目标关联区域绑定节点中得到目标异常关联节点，并根据异常行为单元与目标异常关联节点之间的匹配特征，生成第一交通行为序列和第二交通行为序列之间的异常交通轨迹点数据。

子步骤S123，以目标异常关联节点为目标在目标关联区域绑定节点中获取第一异常绑定区域，根据异常交通轨迹点数据对应的反向异常交通轨迹点数据，将第一异常绑定区域映射到异常行为单元所在关联区域绑定节点，在异常行为单元所在关联区域绑定节点中得到第一异常绑定区域对应的第二异常绑定区域，并将第一异常绑定区域和第二异常绑定区域汇总为目标异常绑定区域。

子步骤S124，获取异常行为单元映射到目标关联区域绑定节点中的异常行为区域，并根据目标异常绑定区域与异常行为区域上的多个待匹配单位区域对应的定位区域之间的覆盖度，在第二关联模型中依次获取目标异常绑定区域对应的目标关联区域，直至获取到的目标关联区域所在关联区域绑定节点的区域坐标与目标异常绑定区域在第一关联模型中的区域坐标一致时，停止获取下一关联区域绑定节点中的目标关联区域，并确定目标异常绑定区域与每次获取到的目标关联区域之间的共同交通行为，作为与目标对象的交通异常行为相关的关联交通行为，并将关联交通行为与目标对象建立关联关系。

如此，本实施例通过监测在设定持续时间段（例如3分钟内）内与第一图像采集位置在第一交通展示方位相关联的第一交通图像数据流以及与第二图像采集位置在对应的第二交通展示方位相关联的第二交通图像数据流，然后基于预先配置的人工智能模型分别对第一交通图像数据流中的交通行为和第二交通图像数据流中的交通行为进行预测，从而通过人工智能分析存在交通联动监控关系的交通行为序列，确定与目标对象的交通异常行为相关的关联交通行为，并将关联交通行为与目标对象建立关联关系，由此不仅极大交通排查效率极低，而且可以改善出现人工误判的情况，提高最终的分析结果的准确性。

在一种可能的实现方式中，仍旧针对步骤S120，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S125，将第一截取图像集合和第二截取图像集合各自所对应的交通行为预测区域添加到图像合成场景下。

子步骤S126，在图像合成场景下根据交通行为预测区域对应于所请求合成节点的交通行为信息，模拟第一截取图像集合和第二截取图像集合中与交通行为预测区域对应的相关交通行为，以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息，并从每一个相关交通行为对应的合成策略信息中，分别提取出相应的相关交通行为在各个图像合成业务下的合成控制结果。

子步骤S127，根据关联交通行为与目标对象之间针对每个图像合成业务的关联关系，对相应的相关交通行为在对应的图像合成业务下的合成控制结果进行合成控制，以使得完成合成控制后的图像合成业务下的合成控制结果可在第一截取图像集合与第二截取图像集合之间的图像合成操作中完成合成控制，获得合成控制后的每张目标合成图像。

在一种可能的实现方式中，针对步骤S126，以下将给出一种可能的实施例对其具体的实施方案进行非限制性阐述。

子步骤S1261，根据截取图像集合针对交通行为预测区域的合成控制项目的项目编辑信息，建立交通行为预测区域的行为关联信息。

例如，行为关联信息可以用于反映交通行为预测区域中进行合成控制时的行为关联信息。作为示例，本子步骤S1261可以通过以下方式来实现：

（1）获取项目编辑信息中每个项目编辑节点的第一项目编辑操作向量，其中，第一项目编辑操作向量用于表征该项目编辑节点的图像合成特征向量区间。

（2）对第一项目编辑操作向量进行特征识别，获得第一行为关联信息和与第一行为关联信息对应的合成控制特征信息。

（3）获取该项目编辑节点的第一项目队列模拟信息和项目编辑信息，提取第一项目队列模拟信息的项目队列调用接口，第一项目队列模拟信息的项目队列调用接口包括指定项目队列调用代码。

（4）获取预设历史项目编辑节点的指定项目队列调用代码，并根据该指定项目队列调用代码调整第一项目队列模拟信息的指定项目队列调用代码，使第一项目队列模拟信息中各个指定项目队列调用代码之间的调用脚本与预设历史项目编辑节点中各个指定项目队列调用代码之间的调用脚本匹配。

（5）根据第一项目队列模拟信息中调整后的各个指定项目队列调用代码得到第二项目队列模拟信息的项目队列调用接口，并根据第二项目队列模拟信息的项目队列调用接口生成第二项目队列模拟信息。

（6）根据项目编辑信息和第二项目队列模拟信息的项目队列调用接口，查找得到与项目编辑信息相匹配的合成控制特征信息以及与合成控制特征信息对应的第一行为关联信息，根据第二项目队列模拟信息的项目队列调用接口对与合成控制特征信息对应的第一行为关联信息进行调整，获得第二行为关联信息。

（7）将第二行为关联信息与第二项目队列模拟信息进行映射关联处理，以建立交通行为预测区域的行为关联信息。

子步骤S1262，根据所请求合成节点所对应的行为爬取模型对交通行为预测区域的合成控制项目的行为关联信息进行行为爬取，获得交通行为预测区域对应于所请求合成节点的交通行为信息。

子步骤S1263，根据交通行为预测区域的交通行为信息确定交通行为预测区域的合成编辑过程曲线，并根据合成编辑过程曲线模拟每一个相关交通行为以获取每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

作为示例，本子步骤S1263可以通过以下方式来实现：

（1）根据合成编辑过程曲线，调用合成编辑界面以访问对应的图像合成编辑线程，并通过图像合成编辑线程模拟每一个相关交通行为。

（2）根据针对每一个相关交通行为调取的不同合成控制类型的合成控制属性对象，确定每一个相关交通行为的合成控制属性对象对应的合成控制决策节点，其中，不同合成控制类型的合成控制属性对象分别对应不同的合成控制决策节点。

（3）确定每一个相关交通行为的不同合成控制属性对象的对象数据，并根据对象数据，获取对应的多个合成控制图像匹配对象中包括的至少两个相同合成控制图像匹配对象的第一图像匹配对象集合，以及剩余的合成控制图像匹配对象中调用次数大于预设次数的至少一个第二图像匹配对象集合。

（4）根据从第一图像匹配对象集合选取的调用次数大于设定次数的图像匹配对象集合作为目标图像匹配对象集合以及至少一个第二图像匹配对象集合，生成用于确定合成编辑界面的合成策略信息的合成控制线程，其中，合成控制线程中包括目标图像匹配对象集合以及至少一个第二图像匹配对象集合。

（5）根据合成控制线程分别确定每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

例如，可以根据合成控制线程确定目标图像匹配对象集合以及至少一个第二图像匹配对象集合中每一个目标合成控制图像匹配对象所对应的合成控制属性对象，并根据每一个目标合成控制图像匹配对象所对应的合成控制属性对象确定每一个相关交通行为在图像合成场景中合成编辑界面的合成策略信息。

在一种可能的实现方式中，针对步骤S140，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S141，从每个目标合成图像中，获取交通联动行为节点的实时交通状态数据，并对交通联动行为节点的实时交通状态数据进行语义分析，得到用于描述实时交通状态数据语义的特征表示向量，其中，各特征表示向量的长度相同。

子步骤S142，对同一交通联动行为节点的所有特征表示向量取平均，得到平均向量作为对应的交通联动行为节点的特征表示向量。

在一种可能的实现方式中，仍旧针对步骤S140，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S143，通过联动过程分析模型，根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量。

示例性地，在子步骤S143之前，本实施例具体可以获取交通联动行为节点的编码表示，以交通联动行为节点联动序列中交通联动行为节点的排列顺序对交通联动行为节点的编码表示进行排列，得到交通联动行为节点对应的编码表示序列。然后，通过编码表示序列对联动过程分析模型进行输入，以使得联动过程分析模型追溯交通联动行为节点联动序列中交通联动行为节点的联动过程。

在一种可能的实现方式中，针对步骤S130，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S131，根据每个目标合成图像，确定在每两个交通联动行为节点间的行为向量指向和行为向量指向对应的趋势强度大小。

子步骤S132，根据交通联动行为节点生成决策树的决策节点，根据交通联动行为节点之间的行为向量指向生成决策节点间的决策向量。

子步骤S133，计算决策树中，计算从同一交通联动行为节点指向其它交通联动行为节点的第一决策向量对应的权重。

其中，值得说明的是，本实施例中的决策树中的决策节点具体可以表示交通联动行为节点，决策树中的决策向量表示两交通联动行为节点之间的行为向量指向，决策向量的权重根据行为向量指向对应的趋势强度大小得到。

在一种可能的实现方式中，仍旧针对步骤S130，进一步可以通过如下子步骤实现，详细描述如下。

子步骤S134，从决策树中选择一部分决策节点作为交通联动行为节点联动序列的起始节点。

子步骤S135，根据决策树中各决策向量的权重，在决策树中从各起始节点开始游走，根据游走路径中经历的节点生成交通联动行为节点联动序列，其中，交通联动行为节点联动序列的长度为预设长度，在游走路径中，同一节点的相邻节点不同。

图3为本公开实施例提供的基于智慧交通的截取图像合成装置300的功能模块示意图，本实施例可以根据上述大数据云服务器100执行的方法实施例对该基于智慧交通的截取图像合成装置300进行功能模块的划分，也即该基于智慧交通的截取图像合成装置300所对应的以下各个功能模块可以用于执行上述大数据云服务器100执行的各个方法实施例。其中，该基于智慧交通的截取图像合成装置300可以包括获取模块310、合成控制模块320、第一生成模块330以及第二识别模块340，下面分别对该基于智慧交通的截取图像合成装置300的各个功能模块的功能进行详细阐述。

获取模块310，用于获取第一交通行为序列所对应的第一截取图像集合与第二交通行为序列所对应的第二截取图像集合，其中，第一交通行为序列与第二交通行为序列分别为存在交通联动监控关系的第一交通图像数据流和第二交通图像数据流所对应的交通行为序列，交通联动监控关系用于表示针对目标对象的交通异常行为产生的联动监控动作。其中，获取模块310可以用于执行上述的步骤S110，关于获取模块310的详细实现方式可以参照上述针对步骤S110的详细描述即可。

合成控制模块320，用于根据第一交通行为序列和第二交通行为序列中与目标对象的交通异常行为相关的关联交通行为，将关联交通行为与目标对象建立关联关系，并根据关联交通行为与目标对象之间的关联关系，对第一截取图像集合与第二截取图像集合之间的图像合成操作进行合成控制，并获得合成控制后的每张目标合成图像。其中，合成控制模块320可以用于执行上述的步骤S120，关于合成控制模块320的详细实现方式可以参照上述针对步骤S120的详细描述即可。

第一生成模块330，用于从每个目标合成图像中确定产生交通联动行为的交通联动行为节点，并根据每个目标合成图像，获取交通联动行为节点之间的联动轨迹信息后，根据交通联动行为节点之间的联动轨迹信息，生成交通联动行为节点联动序列，其中，交通联动行为节点联动序列中相邻的交通联动行为节点被至少一个交通联动行为先后遍历。其中，第一生成模块330可以用于执行上述的步骤S130，关于第一生成模块330的详细实现方式可以参照上述针对步骤S130的详细描述即可。

第二生成模块340，用于获取交通联动行为节点的特征表示向量，并根据交通联动行为节点的特征表示向量，对交通联动行为节点联动序列中交通联动行为节点的联动过程进行追溯，得到交通联动行为节点对应的追溯过程表示向量，根据交通联动行为节点的追溯过程表示向量，生成每个目标合成图像的追溯动画特效，其中，追溯过程表示向量用于表示对应的交通联动行为节点与其它交通联动行为节点在交通联动过程上的关联。其中，第二生成模块340可以用于执行上述的步骤S140，关于第二生成模块340的详细实现方式可以参照上述针对步骤S140的详细描述即可。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

图4示出了本公开实施例提供的用于实现上述的控制设备的大数据云服务器100的硬件结构示意图，如图4所示，大数据云服务器100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的基于智慧交通的截取图像合成装置300包括的获取模块310、合成控制模块320、第一生成模块330以及第二识别模块340），使得处理器110可以执行如上方法实施例的基于智慧交通的截取图像合成方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的智慧交通终端200进行数据收发。

处理器110的具体实现过程可参见上述大数据云服务器100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(英文：Digital Signal Processor，DSP)、专用集成电路(英文：ApplicationSpecificIntegrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

机器可读存储介质120可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线130可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

此外，本公开实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于智慧交通的截取图像合成方法。

上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。