一种数字城市多源数据的融合方法

技术领域

本说明书涉及智慧城市地理信息技术领域，特别涉及一种数字城市多源数据的融合方法。

背景技术

信息化时代，城市不仅是国家政治、经济、军事、交通、能源、商业的中心，更是科技文化和信息中心。精确的城市三维模型可应用于城市规划、灾害监测、智慧城市等诸多领域。

现有技术中针对城市数据重构有以下方向：

①现有技术专利：专利号为 CN113609656A，公开了一种基于数字孪生的智慧城市决策系统和方法，包括孪生子系统，孪生子系统，用于实时感知并采集城市资源信息；将采集到的城市资源信息；将城市资源信息以及城市地理信息模型、城市建筑信息模型和城市交通路网模型融合，生成城市信息模型，并根据城市信息模型形成城市数字孪生空间；根据城市信息模型构建对应至少一个决策维度的数字孪生城市操作系统。

②现有技术专利：专利号为CN107421507A，提供了一种街景数据采集测量方法，包括如下步骤：提供一车载街景数据采集系统，车载街景数据采集系统包括三维激光扫描仪、GNSS/IMU组合定位定姿系统和全景相机；使用三维激光扫描仪采集点云数据；GNSS/IMU组合定位定姿系统实时获取时间位置姿态数据；全景相机采集附带有位置与姿态的全景影像数据；对点云数据进行解算，并与时间位置姿态数据进行融合得出地物的WGS84大地坐标系激光点云；将点云数据与全景影像数据进行匹配；根据WGS84坐标系激光点云以及附带有位置与姿态的全景影像数据进行三维模型数据的建立。

③现有技术专利：专利号为CN113609928B，涉及一种基于云计算和图像识别的智慧城市管理系统，其包括：安防终端和安防图像处理平台，安防终端和安防图像处理平台具有通信连接。安防图像处理平台包括面部分析模块、图像匹配模块、模拟修复模块和数据库，各模块间具有通信连接。面部分析模块根据原始面部三维模型和面部修复部位获取待修复面特征；图像匹配模块根据待修复面特征得到重构图生成树，并根据重构图生成树的最大损失值和最小损失值生成第一修复约束函数从而得到第一修复匹配图像，然后根据第二修复约束函数获取第一修复匹配图像的修复匹配度以得到第二修复匹配图像；模拟修复模块将第二修复匹配图像和待修复面部三维模型进行拟合以得到标准面部三维模型。

上述的现有专利中，分别从不同的角度搭建了城市模型，包括数字孪生、点云数据汇总以及云计算的三维修复技术，尽管也能够呈现数字化城市模型，但单一数据集合导致的模型精确度较低，实际在应用中，为了实现城市数字化模型呈现的更加精确需要融合城市中的多源数据，突破多源数据整合这一技术难题也成为数字城市需要攻克的关键一步。

因此，需要提供一种数字城市多源数据的融合方法，对数字城市多源异构数据中的元数据和指标数据进行统一的标准化处理。

发明内容

本说明书实施例之一提供一种数字城市多源数据的融合方法，包括多源数据采集汇入模块、数据过滤清洗模块、多源数据融合模块、数字城市重建模块、统一质量管理和评价模块。

在一些实施例中，一种数字城市多源数据的融合方法，包括

数据预处理，将城市多源数据文件进行标准化处理，包括城市部件采集器、物联网数据源采集器和已建成数据库所导入的原始多源数据；

空间数据匹配，通过对标准化处理后的数据进行多源评估差计算，过滤离群数据，遍历计算后的数据确定多源数据集的边界体，选择城市原点，得到匹配空间原点后的多源数据集；

数据集融合，确定多源数据集在空间三维坐标中的位置，得到融合后的城市模型，剔除城市部件中的非构筑物；

三维重建，通过三角网格拼接算法优化三维曲面进行城市模型重建；

部件优化，对重建后的城市模型部件平面进行拟合；

纹理映射，对拟合后的城市模型通过纹理过程模拟和纹理图像合成。

进一步的，所述城市部件采集器基于专用数据源采集器获取点云文件、光谱反射文件；

所述物联网数据源采集器基于可信数据源的采集设备导入城市部件数据，包括数字城市摄像头、车联网传感器、道桥监测数据源和建筑监测数据；所述已建成数据库基于城市基础控制网、GNSS基准站、倾斜摄影数据源、BIM数据源和电子地图获取指标参数、元数据和时序数据。

进一步的，过滤离群数据内容包括下列步骤：

S31：对预处理后的原始多源数据进行首次多源评估差计算，多源评估差的计算公式为，

其中，

S32：对计算后的数据进行过滤，剔除离群数据；

S33：提高数据源控制常数，进行二次多源评估差计算，重复执行S31。

剔除数据中的非构筑物具体包括下列内容：

S41：对多源数据集分别进行过滤和插值处理，生成数据表面模型；

S42：对数据表面模型之间差分计算，获得变化差值结果；

S43：提取变化差值结果的边缘特征，提取变化区域；

S44：变化区域分区统计数据频率，高频变化数据识别为非构筑物，进行数据剔除；

S45：持续迭代完善非构筑物识别。

三维重建包括下列具体内容：

S51：分别提取多源数据集的边界域；

S52：计算各个边界连接区的曲率值；

S53：当相邻点的法线与法线之间的角度小于设定阈值，计算连接区的曲率值；

S54：当相邻两个或多个数据集的曲率值也小于设定阈值时，则将数据集合并分组为一个重建点集；

S55：对合并分组后的各个点集用最小二乘法分别分别拟合为曲面；

S56：将其余散点映射到曲面上获得完整的点集，通过Delaunary三角剖分算法计算连接，并映射回城市模型。

进一步的，所述部件优化基于均匀抽稀采样法对数据进行数据集的采样，其中噪点采样率为，

其中，k为噪点数，m为总点数，n为采样次数。

所述部件优化还包括下列具体内容：

S71：从数字城市模型数据集中各个分割平面中随机选取设定比例的局部平面；

S72：采用最小二乘法计算出局部平面的拟合结果；

S73：计算分割平面所有点到拟合局部平面的距离，取中值作为计算结果；

S74：执行n次采样计算出拟合局部平面的距离中值，取n次结果最接近平均值的拟合平面作为基准平面；

S75：计算分割平面所有点到基准平面的距离标准差：

其中，

S76：采用

S77：经过数据剔除后的结果，用最小二乘法计算拟合平面；

S78：将得到的拟合平面，迭代循环1-7步，直到标准差满足系统设定阈值。

所述纹理映射还包括下列具体内容：

S81：从三维模型上进行纹理分区生成UV坐标系，按照局部分区匹配所有可用纹理数据源；

S82：纹理数据源分别进行图像降噪、插值超分、畸变校正处理；

S83：采用自适应置信度加权融合，根据不同数据源场景下图像的特点，利用置信度权重控制不同图像的融合采集率；

S84：利用多源数据的纹理特征通过纹理过程模拟和纹理图像合成实现纹理融合；

S85：在UV坐标系上按照多源纹理融合结果贴图对应像素点来进行纹理映射，形成模型表面上的纹理效果；

S86：调整UV坐标的重叠部分，处理贴图边缘处的拼接缝隙，优化相邻局部映射区的色彩均匀度，使整体纹理更加自然；

S87：根据三维重建中的曲率值计算结果，针对大曲率值和复杂变化分区，对纹理进行变形处理

本发明的有益效果是：

1、将多源异构的数据进行标准化处理，确立城市坐标和原点，融合处理至数字城市模型中，降低人工介入筛选数据；

2、针对来源丰富的已建成数据源等进行多源差值评价，既弥补了城市三维数据的不足，又确保了数据的准确度；

3、叠加多源数据进行差值计算，得到融合的空间位置，实现先融合后剔除非构筑物再进行部件优化和纹理映射，进而得到高精确度的数字城市模型全貌。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的本发明工作原理示意图；

图2是根据本说明书一些实施例所示的多源评估差计算过程的示意图；

图3是根据本说明书一些实施例所示的标准化模板工作原理的示意图；

图4是根据本说明书一些实施例所示的对多源数据集标准化处理后的示意图；

图5是根据本说明书一些实施例所示的一个城市部件三维模型的示意图；

图6是根据本说明书一些实施例所示的融合处理后的二维到三维模型雏形的示意图；

图7是根据本说明书一些实施例所示的剔除非构筑物时的示意图；

图8是根据本说明书一些实施例所示的剔除非构筑物后的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

请参照图1，本发明提供一种数字城市多源数据的融合方法，现有技术中城市建模面临着下列问题：数据来源单一、数据来源多样但无法融合、数据存储难以统一、建模软件太多功能却单一、模型质量无法统一、手动介入过多建模效率低。针对上述问题，本实施例包括多源数据采集汇入模块、数据过滤清洗模块、多源数据融合模块、数字城市重建模块、统一质量管理和评价模块。

多源数据采集汇入模块基于多源空间和属性信息存储数据集，通过城市部件专用数据采集器、物联网数据源采集器和已建成数据源三大来源组成原始多源数据集；

城市部件专用数据采集器针对专用数据源采集器针对数字城市进行定制化的采集，为多源数据提供高准确度、高效率、高可靠性的数据支持。城市部件专用数据采集是指所有专用于城市数据采集的一系列设备，包括：有人机、无人机、车载采集器、卫星、全站仪等。专用采集器的采集结果为多源异构的空间数据集坐标文件、具有位置信息的照片、点云文件、光谱反射文件，明文存放在多源文件格式。各项文件专业度高，利用率高。

物联网数据源采集器实时自动化采集汇入城市部件数据并传回系统，系统对多源数据进行处理和分析，从而自动感知、调节和判别数字城市部件。物联网数据源采集是指所有可信数据源的采集设备，包括：数字城市摄像头、车联网传感器、道桥监测数据源、建筑监测数据等。

已建成数据源数据汇入的执行主体可以是数字城市基础控制网、实时运行GNSS基准站、城市部件模型、倾斜摄影数据源、BIM数据源、电子地图、DLG、DEM、DOM、多源属性数据、多源POI地名地址数据等。接收以上数字城市多源异构数据后，系统数据库分别整合与存储，获取对应技术的指标参数信息，元数据信息。对于时空数据，按照采集时间的时空顺序对数据进行存储。由于上述数据量庞大，准确度层次不齐，需要在后续时进行筛选。

请参照图4，图4中公布了DEM、DLG、点云图和卫星图的图像数据。

请参照表1，通过上述文件、数据来源，得到多种形式的数据集，为了实现对多源数据集的处理，为了更好的利用上述多源数据集，通过下面的标准化处理训练，根据城市的类型和模型需求，确定城市坐标系和原点，通过输入标准化模板，包括CGCS2000坐标系，1985国家高程基准，数据格式包括有图像JPEG格式，点云LAS格式，属性信息UTF-8格式。

表1为多源数据来源的部分统计表

上述表1中，每个类型的原始数据类型包括下列种类，且每个种类中到处的数据有若干组，如（x1、x2、x3……）,每组数据都包括时间或位置变量参数中的一种，以及至少一种的城市面貌参数。通过对上述数据分类和筛选，能够快速通过统一多源评估差计算，并将有效数据按照上述标准化模板进行转换，请参照图3，其中标准化模板的工作过程还包括下列步骤：

S21：根据数据类型确定数据格式，确定坐标系的单位长度；

S22：索引每组数据中的城市面貌参数，并转化为对应的坐标系尺寸，作为第一数据列；

S23：在第一数据列中带有位置变量的城市面貌参数，作为第二数据列；

S24：在第二数据列中选出位置变量相同的面貌参数进行尺寸比较，确定相同位置只有一组标准尺寸；

S25：将筛选后的一组标准尺寸替换到所述第一数据列中的该位置处。

通过对标准化处理时的数据进行多源评估差计算，过滤离群数据，遍历计算后的数据确定多源数据集的边界体，选择城市原点，得到匹配空间原点后的多源数据集，请参照图2，具体包括，

S31：对预处理后的原始多源数据进行首次多源评估差计算，多源评估差的计算公式为，

其中，

S32：对计算后的数据进行过滤，剔除离群数据；

S33：提高数据源控制常数，进行二次多源评估差计算，重复执行S31。

值得注意的是，通过上述的评估差计算后过滤离群数据和不合理数据，再进行二次评估差计算后回到首次评估差计算，循环进行数据的质量筛选和淘汰。

S32中，过滤还包括阈值过滤：当数据源中某一数据误差超过系统设定误差时，剔除数据；

过滤：本发明考虑到正态分布的统计学特征，通过数据分布标准差的3倍对数据进行过滤；

邻近相似过滤：为了保证邻近数据的相似性，计算相似度，过滤相似度不达标数据，由如下公式表示：

其中，

统计过滤：统计计算数据距离阈值，以剔除离群数据、不合理数据。距离阈值由如下公式表示：

其中，

值得说明的是，S32中，本实施例进一步在过滤后增加配准原点工作，过滤后的数据通常是以其原始坐标系显示的位置信息，通过一次过滤剔除后，遍历数据信息确定多源数据集边界体，计算本次模型地理原点（如城市中心西南点等）为数据配准原点，将多源异构数据从原始坐标转换配准到系统原点。后再进行二次多源评估差，进一步计算数据质量，根据评估结果确定是否继续循环S31-S33，系统也能够持续监测多源评价结果指标，当本轮迭代相对于上轮不能显著的提升多源评价指标后，系统退出数据过滤迭代执行。

值得说明的是，通过将专用数据源采集器输入的数据执行上述计算得到精确坐标后，叠加计算物联网数据源采集器发送的城市部件数据以及已建成数据库数据，具体包括：

（1）计算每张照片的相机内外参数以及POS信息，采用特征点匹配算法对照片进行空中三角测量计算，对齐图像后确定空间位置，按最小二乘法原理进行空三加密数字城市各部件点 。

（2）具有位置信息的物联网设备，以位置信息为基准逐步缓冲区扫描配准到数字城市融合数据集。其他多源数据集基于几何模型配准法，纹理信息配准法，或者标记点关系法来实现数据配准。配准完成后，迭代多次进行空三加密计算，逐步融合物联网数据源。

（3）所有多源图像数据集融合完成后，通过图像立体匹配空中三角测量方法，生成高密度图像点云数据集。

（4）激光雷达多源点云数据集，本发明剔除其光谱信息，仅保留空间三维数据后，将其和图像三维点云数据集进行配准融合，请参照图5、图6，为成都市内的部分建筑图经由本实施例的方法转化得到。

值得注意的是，本实施例中根据标准DLG中提取2D城市建筑数据源，基于进行3D城市模型的转换。

值得注意的是，针对数字城市构筑物非高频变化的特点，结合多源数据集的实时数据融合处理，有效分类识别城市中的交通工具、动植物、机械等，实现可靠的非构筑物剔除，请参照图7、图8，剔除数据中的非构筑物具体包括下列内容：

S41：对多源数据集分别进行过滤和插值处理，生成数据表面模型；

S42：对数据表面模型之间差分计算，获得变化差值结果；

S43：提取变化差值结果的边缘特征，提取变化区域；

S44：变化区域分区统计数据频率，高频变化数据识别为非构筑物，进行数据剔除；

S45：持续迭代完善非构筑物识别。

值得说明的是，在以上构筑物检测执行完成后，采用机器学习监督分类和非监督分类方法，进一步的提取城市部件、非构筑物识别、动态部件识别，简化数据集分类的迭代次数以增加分类效率。

值得说明的是，由于本发明结合多源数据集进行三维模型的融合，因此得到的三维模型在细节上面存在部分失真和配准出错，为了进一步减少人工干预，提高模型的准确率和效率，采用下列优化模型的手段，例如，本发明三维曲面重建采用优化Delaunay三角网格拼接算法，无需人工处理空洞和失真，并有效降低海量点云数据集重建时，Delaunay三角剖分算法生成三角网效率低下的问题。具体重建步骤为：

（1）分别提取多源数据集的边界域；

（2）计算各个边界连接区的曲率值；

（3）当相邻点的法线与法线之间的角度小于设定阈值，计算连接区的曲率值；

（4）当相邻两个或多个数据集的曲率值也小于设定阈值时，则将数据集合并分组为一个重建点集；

（5）对合并分组后的各个点集用最小二乘法分别分别拟合为曲面；

（6）将其余散点映射到曲面上获得完整的点集，通过Delaunary三角剖分算法计算连接，并映射回数字城市三维空间。

值得注意的是，重建时针对城市部件孔洞、不平的优化办法包括下列：多源数据融合中数字城市部件的特征是其平面特征，本发明针对海量数据集采用传统最小二乘法或者特征值算法计算拟合平面时，大量离散噪点无法彻底剔除，计算数据集中的所有点到数字城市部件平面总会受到噪点干扰的问题，对传统算法进行优化，当面向海量多源数据集时，提高数据稳健性，增强容错性。

对海量数据进行城市部件平面拟合时，本发明采用均匀抽稀采样的方法，对数据集进行采样，则噪点采样概率为：

其中，k为噪点数，m为总点数，n为采样次数。

当多次采样时，

1.从数字城市模型数据集中各个分割平面中随机选取设定比例的局部平面；

2.采用最小二乘法计算出局部平面的拟合结果；

3.计算分割平面所有点到拟合局部平面的距离，取中值作为计算结果；

4.执行n次采样计算出拟合局部平面的距离中值，取n次结果最接近平均值的拟合平面作为基准平面；

5.计算分割平面所有点到4中基准平面的距离标准差：

其中，

6.采用

7.经过数据剔除后的结果，用最小二乘法计算拟合平面；

8.将7得到的拟合平面，迭代循环上述1-7步，直到标准差满足系统设定阈值。

值得说明的是，在本实施例中，在模型优化的最后一步，利用城市部件不易变化的特点选用纹理映射，根据不同数据源的多源评价差、纹理的清晰度、纹理的采集时间，选择不同的数据源纹理进行贴图和更新，在本实施例中采用专用数据源的三维白膜，叠加物联网传感器的图片纹理，得到的纹理效果优于单一的专用数据源。

本发明针对多源数据集在三维重建上进行纹理映射开创性的采用局部分区多纹理源动态映射的融合方法。执行步骤如下：

从三维模型上进行纹理分区生成UV坐标系，按照局部分区匹配所有可用纹理数据源；

纹理数据源分别进行图像降噪、插值超分、畸变校正处理，有效排除纹理数据源的噪声干扰，提高数据质量，消除运动数据源或者采集器精度带来的运动畸变和物体畸变；

采用自适应置信度加权融合，根据不同数据源场景下图像的特点，利用置信度权重控制不同图像的融合采集率；

利用多源数据的纹理特征通过纹理过程模拟和纹理图像合成实现纹理融合；

在UV坐标系上按照多源纹理融合结果贴图对应像素点来进行纹理映射，形成模型表面上的纹理效果；

调整UV坐标的重叠部分，处理贴图边缘处的拼接缝隙，优化相邻局部映射区的色彩均匀度，使整体纹理更加自然；

根据三维重建中的曲率值计算结果，针对大曲率值和复杂变化分区，对纹理进行变形处理。

综上所述，为了提高城市模型的准确度，引入多源数据，包括专用数据源采集器获取的数据、物联网数据源采集的数据、已建成数据库内的数据，为了实现该城市的三维重建，将上述的数据统一的标准化处理后，通过评价差剔除离群数据，根据城市需求重构融合新的坐标系和原点，矫正原有数据集中的位置信息，由于数据量庞大，种类繁多，在重建的城市模型中不断优化部件边界、优化纹理，克服数据源多造成的清晰度不佳的问题，最终得到准确率高、清晰度高的城市模型，且城市模型坐标得到融合和校准，形成一套新型的城市数据融合方法。

应当注意多源评价差计算仅仅是为了说明的目的而提供的，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，已建成数据库还可以包括DLG、DEM、DOM、多源属性数据、多源POI地名地址数据等。然而，这些变化和修改不会背离本说明书的范围。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。