基于虚拟现实的智慧城市CIM可视化实时成像方法

技术领域

本发明涉及图像处理和计算机3D建模技术领域，具体涉及一种基于虚拟现实的智慧城市CIM可视化实时成像方法。

背景技术

随着智慧城市建设成为政府的重头戏，CIM(City Information Modeling，城市信息模型)开始兴起，智慧城市CIM系统要求将城市3D模型化，并且实时的将城市中人和车的位置显示在3D城市模型中，以达到城市的数字化、可视化的目的，提高城市的管理效率；除此之外，随着虚拟现实技术的发展，将城市3D模型应用在虚拟现实软件中，可以大大提高智慧城市CIM系统的可视化体验，因此将智慧城市CIM系统应用于虚拟现实技术中，是智慧城市建设的一个很有前景的工作。

在构建智慧城市CIM系统时，一个重要的工作就是获取城市中车辆的行驶数据，目前较多场景需要采集城市中车辆的行驶数据，多是依赖GPS定位系统来实现的，但是部分车辆并不携带该定位系统，所以常常采集的车辆行驶数据带有一定的误差。

同时，对车辆的识别，多是使用人工智能领域常见的深度神经网络技术，而神经网络进行车辆的识别时，网络输入图像的尺寸是固定的，但道路摄像头采集图像中车辆的密集程度是不同的、变化的，对于密度大的图像进行识别时，容易出现目标小从而识别误差大的问题，对于密度小的图像进行识别时，容易带有较多的冗余计算，浪费计算资源。不同时刻各摄像头中车辆的密度是不同的，若是每个相机每个时刻都使用神经网络进行细致的车辆识别检测，则势必需要大量的计算，冗余程度较高。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于虚拟现实的智慧城市CIM可视化实时成像方法，所采用的技术方案具体如下：

获取城市道路路口的各摄像头在设定时间段内历史视频帧图像集，历史视频帧图像集内所有相邻图像的差值图像组成各摄像头在设定时间段内的帧差图像组；

利用帧差图像组内所有图像的二值图像上各像素点的像素值得到各像素点的变化频率；获得轨迹热图，所述轨迹热图各像素点的像素值为上述各像素点的变化频率且对轨迹热图进行二值化处理得到轨迹区域图像；

对各历史视频帧图像进行角点检测得到角点检测图像，根据各角点检测图像与轨迹区域图像的乘积得到角点图像集，对角点图像集内图像上的各类角点进行匹配得到角点匹配对；各角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积、与两个角点的距离比值为各角点匹配对的尺度比例；每个类别的角点对应的角点匹配对的尺度比例的均值为各类角点对应的全局尺度比例；

以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图；根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，且密度信息的均值为密度程度；若密度程度大于程度阈值，根据历史视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸；根据各像素点对应的尺寸得到图像分割模板，并基于图像分割模板对实时获取的视频帧图像进行分割，基于分割后的图像获得各车辆的行驶轨迹。

优选地，所述像素点的变化频率为：

其中，Pl

优选地，所述角点图像集内图像上的各类角点包括：依据角点表征的车辆的实际信息对角点图像集内图像上的各角点进行分类。

优选地，所述得到角点匹配对包括：角点图像集中的角点图像以时序顺序排列，对第一帧角点图像中的各类角点进行匹配，匹配对象为第一帧角点图像之后的角点图像中的角点；若第一帧角点图像之后的各角点图像中新增的不同类角点，确定各新增的不同类角点对应的角点图像，则各新增的不同类角点的匹配对象为新增的不同类角点对应的角点图像之后的角点图像中的角点，从而获得角点图像集中各类角点对应的角点匹配对。

优选地，所述以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图包括：尺度热图中与角点位置相同的像素点的像素值为角点的全局尺度比例，其周围像素点的像素值基于与角点位置相同的像素点的像素值并利用高斯模糊的方式获得。

优选地，所述对实时获取的视频帧图像进行分割具体为：

获取所述实时获取的视频帧图像对应的设定时间段，进而获取该设定时间段内对应的图像分割模板，再对实时获取的视频帧图像进行分割。

优选地，所述基于分割后的图像获得各车辆的行驶轨迹包括：对分割后的多个图像进行处理使其图像的尺寸相同；将相同尺寸的分割后的图像输入车辆识别神经网络，输出车辆密度等级数据和车辆密度图；根据输出的车辆密度等级数据和车辆密度图并结合拍摄相机的位置获得每个车辆的行驶轨迹。

优选地，所述车辆识别神经网络包括：车辆识别神经网络的结构为两个网络分支，分别为全连接FC分支和卷积CNN分支，其中，全连接FC分支输出车辆密度等级数据，卷积CNN分支输出车辆关键点识别的热度图，即车辆密度图；网络训练数据为分割后的视频帧图像，且通过人为标注获得分割后的视频帧图像对应的标签数据；全连接FC分支的标签数据为9位的二进制编码，卷积CNN分支的标签数据为热图。

优选地，所述构建城市建筑和道路的三维模型具体为：获取城市建筑和道路的三维点云数据，利用三维点云数据生成城市建筑和道路的三维模型。

优选地，所述将各车辆的行驶轨迹映射在所述三维模型上具体为：实时得到各车辆的行驶轨迹，根据各车的颜色与车型，从车辆匹配库中获取相匹配的车辆模型，并将车辆模型放在城市建筑和道路的三维模型上，根据车辆的行驶轨迹，获取各车辆模型的运动动画。

本发明实施例至少具有如下有益效果：

本发明首先获取历史视频帧图像，利用多尺度采样的方式对获取到的图像进行处理，计算各像素点的变化频率和各角点的全局尺度比例，根据所述变化频率和全局尺度比例的比值得到密度信息，根据所述密度信息的均值得到对应的密度程度，进而根据密度程度大于阈值的图像得到分割模板。同时将实时获取的车辆的行驶轨迹映射在构建的城市3D模型上。根据图像进行数据处理并进行不同程度的增强和弱化，使得车辆检测更加准确的同时减少不必要的冗余计算，提高车辆识别的准确性，使得车辆信息能够准确且实时的可视化在城市3D模型中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的具体方案。

实施例：

本发明所针对的场景具体为：在城市的一些道路布置相应的摄像头，相邻摄像头之间存在相重叠的视野，根据各摄像头的空间位置进行ID编号，以便于后续视频分析后能得到可靠的车辆行驶轨迹。同时各摄像头处带有简单的计算模块，能进行一些简单运算。

请参阅图1，其示出了本发明一个实施例提供的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的方法流程图，该方法包括以下步骤：

步骤一，获取城市道路路口的各摄像头在设定时间段内历史视频帧图像集，历史视频帧图像集内所有相邻图像的差值图像组成各摄像头在设定时间段内的帧差图像组。

需要说明的是，获取城市道路路口各编号摄像头的历史视频数据，所有摄像头为了更好的智能化，应该选择同样的时间长度的历史视频数据进行处理比较，且摄像头的视角变化程度不大。在本实施例中，以一个摄像头获取的一个设定时间段内的历史视频数据为例进行说明。其中，设定时间段的时间长度为5min，实施者可根据实际情况对设定时间段的时间长度进行设定。

获取城市道路路口的各摄像头在设定时间段内的历史视频数据，所述历史视频数据包括多个历史视频帧图像，构成了历史视频帧图像集，并根据历史视频帧图像集内所有相邻的视频帧图像的差值得到帧差图像组，在所述设定时间段内对应一个帧差图像组。并对各帧差图像进行灰度化、滤波去噪等预处理操作。

其中，在本实施例中，根据相邻帧视频图像的差值得到帧差图像，实施者还可以根据相邻m帧视频帧图像的差值得到帧差图像，并可以根据实际情况选择m的取值。具体地，获取第t帧图像与第t+m帧图像，其对应的帧差图像为

需要说明的是，城市中车辆行驶轨迹是呈现一定规律性的，而不同的摄像头不同时刻下车辆的多少是不同的，若是无车辆情况下，仍旧使用DNN神经网络进行车辆检测，则识别代价较高(为了识别少数车辆付出大量计算)，而车辆较多的时候，车辆过于集中，目标存在遮挡等问题，此时目标单位的空域特征较少，不易识别。所以，需要先根据历史视频资料来获得各摄像头下车辆的变化规律，而后结合该信息实现对摄像头实时采集数据的分析，实现整个方法的智能化。

步骤二，利用帧差图像组内所有图像的二值图像上各像素点的像素值得到各像素点的变化频率；获得轨迹热图，所述轨迹热图各像素点的像素值为上述各像素点的变化频率且对轨迹热图进行二值化处理得到轨迹区域图像。

首先，需要对各帧差图像进行二值化处理，在本实施例中，将每个帧差图像上各像素点的像素值大于设定阈值的像素点重新赋值为1，小于设定阈值的像素点重新赋值为0，进而得到各帧差图像处理后的二值图像。实施者也可以根据实际情况选择其他合适的方法对图像进行二值化处理。

根据二值化后的图像上像素点的像素值得到各像素点的变化频率，用公式表示为：

其中，Pl

需要说明的是，对各帧差图像进行二值化处理之后得到的二值图像，在理想情况下，像素值为1的各像素点组成的区域为包含车辆等信息的特征区域，像素值为0的各像素点组成的区域为道路、树干等其他背景区域。同时针对历史视频帧图像，像素值为1的各像素点是发生变化的像素点，反之没有发生变化。因此，在设定时间段内，通过获取各像素点在帧差图像组内各图像上像素值为1的个数占比，并获取发生变化即像素点像素值为1的帧差图像对应序号的平均差值，即像素点像素值为1的帧差图像的平均帧间间隔，进而就可以得到在一个设定时间段内，各个像素点的变化频率。

同时，需要对各像素点的变化频率进行归一化处理，用公式表示为：

其中，Po

利用归一化后的像素点的变化频率对各对应位置像素点的像素值进行赋值得到轨迹热图，并对所述轨迹热图进行二值化处理得到轨迹区域图像，具体地，设定阈值pk，将轨迹热图上各像素点的像素值大于阈值pk的像素点重新赋值为1，小于阈值pk的像素点重新赋值为0(将小于阈值pk的像素点认定为噪声点，无需考虑)，进而得到轨迹区域图像。

步骤三，对各视频帧图像进行角点检测得到角点检测图像，根据各角点检测图像与轨迹区域图像的乘积得到角点图像集，对角点图像集内图像上的各类角点进行匹配，得到角点匹配对；各角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，与两个角点的距离比值为各角点匹配对的尺度比例；每个类别的角点对应的角点匹配对的尺度比例的均值各类角点对应的全局尺度比例。

首先，需要说明的是，由各个摄像头获取的历史视频数据，在设定时间段内的车辆密度可能是随时变化的，也可能存在较为特殊的情况而不发生变化。但是由于存在近大远小的透视关系，在各历史视频帧图像上不同区域的车辆对应的尺寸大小是不同的，故本实施例采用角点检测及匹配的方法来获取各历史视频帧图像对应的尺度信息。

然后，对各视频帧图像进行角点检测得到角点检测图像，例如：shift角点检测算法，且该方法为公知技术，在此不在过多赘述。根据各角点检测图像与轨迹区域图像的乘积得到角点图像集。其中，以轨迹区域图像作为遮罩，以相乘的操作来进行信息扣取操作得到角点图像，此时非关注区域(认定为无人区域或道路区域以及树干等背景区域)的角点尽可能的被过滤掉，尽量保留的是关注区域(认定为包含车辆的区域)内的角点。

依据角点表征的车辆的实际信息对角点图像集内图像上的各角点进行分类，对角点图像集内图像上的各类角点进行匹配，得到角点匹配对。具体地，角点图像集中的角点图像以时序顺序排列，对第一帧角点图像中的各类角点进行匹配，匹配对象为第一帧角点图像之后的角点图像中的角点；若第一帧角点图像之后的各角点图像中新增的不同类角点，确定各新增的不同类角点对应的角点图像，则各新增的不同类角点的匹配对象为新增的不同类角点对应的角点图像之后的角点图像中的角点，从而获得角点图像集中各类角点对应的角点匹配对。

最后，针对一个类别角点对应的一个角点匹配对，角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，与两个角点的距离比值为各角点匹配对的尺度比例，用公式表示为：

其中，b

步骤四，以角点的全局尺度比例为对应位置像素点像素值得到设定时间段内的尺度热图；根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，且密度信息的均值为密度程度；若密度程度大于程度阈值，根据视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸；根据各像素点对应的尺寸得到图像分割模板，并基于图像分割模板对实时获取的视频帧图像进行分割，基于分割后的图像获得各车辆的行驶轨迹。

首先，以角点的全局尺度比例为对应位置像素点像素值得到设定时间段内的尺度热图，尺度热图中与角点位置相同的像素点的像素值为角点的全局尺度比例，其周围像素点的像素值基于与角点位置相同的像素点的像素值并利用高斯模糊的方式获得。

其中，由于获取的角点为离散的特征点，根据各角点的全局尺度比例为对应位置像素点像素值进行重新赋值，并不能够得到整张图像的像素值，故需要利用高斯模糊的方法得到整张图像像素点的像素值，同时实施者也可根据实际情况选择其他合适的方法进行处理。

需要说明的是，获得尺度热图之后，则可以判断该摄像头在设定时间段的车辆密度信息，进而调整后续摄像头采集数据的传输必要性。

然后，根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，用公式表示为：

其中，ms表示密度热图上像素点的像素值，即密度信息；Po表示轨迹区域图像上像素点的像素值，即像素点的变化频率；b表示尺度热图上像素点的像素值，即像素点的全局尺度比例。将设定时间段内的像素点的变化频率，结合全局尺度比例(可理解为权值)得到密度信息。尺度越大，影响越小，密度信息与变化频率成正比，与全局尺度比例成反比。

根据密度热图上各像素点的像素值均值，即密度信息的均值，得到密度程度，用公式表示为：

其中，MD表示密度热图对应的密度程度，ms

若密度程度小于程度阈值，由于此时的车辆密度较小，则无需对此设定时间段内采集到的摄像头的视频帧图像进行处理，即直接跳过。

若密度程度大于程度阈值，根据视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸，记为sf*[K,C]，其中，[K,C]为各视频帧图像的宽高尺寸，sf为像素点对应的尺度因子，用公式表示为：

sf＝ms*b

其中，sf表示像素点对应的尺度因子，ms表示像素点的密度信息，b表示像素点的全局尺度比例，Po表示像素点的变化频率。像素点的全局尺度比例越小，划分的区域就越小，变化频率越小，变化较小，相应的车辆较远，划分区域越小，对应的尺度因子越小。

最后，根据各像素点对应的尺寸得到图像分割模板，其中，为了便于分割传输，将同一行像素点的尺度因子的均值作为该行所有像素点的尺度系数，且相邻行以局部最大值为整个区域的尺度系数，最终可以得到设定时间段的图像分割模板。

按照上述步骤对获取的数据进行处理分析，即可得到一个摄像头对应的一个设定时间段内的图像分割模板。按照相同的方法获取各个路口具有编号的摄像头内各个设定时间段内的图像分割模板。

不同位置相机采集的图像中车辆的密度虽是多变的，但仍具有对应的规律性，例如早上从居民区到办公区的道路上行驶车辆较多，且时间上具有一定的早高峰性，此时应该大代价的实现精细识别，而从市区到郊区的路上，早晨道路上的车辆相对较少，采集的图像中车辆的密度较低，不该为了识别少量的目标而付出过大的计算。

故可利用摄像头实时采集视频帧图像，即可通过对该实时采集到的图像进行判断其所处的时间段，直接获取该时间段对应的图像分割模板，即可对实时采集得到的图像进行分割处理。

并基于图像分割模板对实时获取的视频帧图像进行分割，具体地，获取所述实时获取的视频帧图像对应的设定时间段，进而获取该设定时间段内对应的图像分割模板，再对实时获取的视频帧图像进行分割。

需要说明的是，以不同的尺度对同一张图像中的区域进行了分割，得到的是不同尺寸大小的图像，而神经网络的输入是固定尺寸的，所以需要先进行尺寸的修改。该方式能扩大小尺度高密度的图像，缩小低密度大尺度的图像，调高了检测精度又节省了计算资源。通过reshape操作，即可完成图像尺寸的修改。或以池化操作缩小图像尺寸，以图像插值操作扩大图像尺寸。

对分割后的多个图像进行处理使其图像的尺寸相同；将相同尺寸的分割后的图像输入车辆识别神经网络，输出车辆密度等级数据和车辆密度图；根据输出的车辆密度等级数据和车辆密度图并结合拍摄相机的位置获得每个车辆的行驶轨迹。

车辆识别神经网络的结构为两个网络分支，分别为全连接FC分支和卷积CNN分支，其中，全连接FC分支输出车辆密度等级数据，卷积CNN分支输出车辆关键点识别的热度图，即车辆密度图；网络训练数据为分割后的视频帧图像，且通过人为标注获得分割后的视频帧图像对应的标签数据；全连接FC分支的标签数据为9位的二进制编码，卷积CNN分支的标签数据为热图；全连接分支采用交叉熵损失函数，卷积分支采用均方差损失函数。

需要说明的是，对于上述识别出的每个车辆，可根据车辆中的车牌、颜色、车型等信息来进行跨设备的重识别，来得到同一个目标车辆的行驶轨迹。

步骤五，构建城市建筑和道路的三维模型，并将各车辆的行驶轨迹映射在所述三维模型上。

具体地，用无人机搭载激光雷达，对城市中的建筑物和道路进行扫描，获取城市建筑的和道路的三维点云数据，利用三维点云数据生成城市建筑和道路的三维模型，进而构造出城市的3D模型，并且为所述的城市3D模型绘制贴图。该方法为公知技术，在此不在过多赘述。

实时得到某车的行驶轨迹，并根据该车的颜色与车型，从车辆模型库中获取相匹配的车辆模型，将车辆模型放在城市3D模型上，并根据车辆的行驶轨迹，获取各车辆模型的运动动画，即让车辆模型沿行驶轨迹产生一个运动动画即可。对所有获取到行驶轨迹的车辆都按照上述方法进行操作，最终能够达到实时的将车辆信息可视化在城市3D模型上的目的。

需要说明的是，智慧城市CIM需要将车辆的行驶信息实时的可视化在城市3D模型上，但是考虑到车辆的相关信息，例如车牌号或者车主信息等，涉及到车辆所属车主的隐私问题，不能直接将车辆的真实信息直接可视化在3D模型中，那么将车辆的行驶轨迹可视化在3D模型上即可。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。