LOD生成方法及系统

技术领域

本发明涉及显示技术领域，更具体地，涉及一种LOD生成方法及系统。

背景技术

LOD技术根据物体模型在显示环境中相对观察者所处的位置和重要度，决定物体渲染的资源分配，降低远处及非重要物体的面数和细节度，从而获得高效率的渲染效果，是大数据三维显示必不可少的技术。当模型很大时，计算机资源受限，无法实时进行数据绘制。为了解决以上问题，LOD技术通常对模型实现如下的显示策略：I.根据观察者与模型距离的变化显示同一个对象不同复杂度的模型，当模型远离观察者时，调用低分辨率层级的模型，当模型靠近观察者，调用高分辨率层级的模型。II.系统仅仅加载模型在视窗范围内可见的那部分模型，剔除屏幕以外的模型三角面。

参见图1，是一个极简化的LOD多层级模型结构示意图。为了实现策略I，需要对彩色模型进行不同层次的简化，生成不同层次简化的彩色模型。在视觉上，当倾斜模型离观察者很远的时候，模型的局部特征是不可分辨的，可以被简化掉。然而，目前对于彩色模型的简化，三角网简化到一定程度，就无法在保持整体特征的情况继续简化局部特征。例如在城市倾斜模型中，一栋居民楼都有一层层凸出的阳台，一个个阳台就是局部特征，居民楼的整体轮廓就是整体特征，如图2是一栋居民楼局部特征和整体特征的示意图。模型简化到一定程度，如果强行继续简化，模型的局部特征能消失不见，但模型的整体特征就会被破坏，楼房扭曲，造成远距离观察时模型的质量下降。

如图3是楼房简化后扭曲变形效果图。但如果不再继续简化，模型的几何数据量偏大，同时由于局部几何细节特征的以离散化形式存在，在三维网格展开成二维UV平面并进行UV贴图的过程中，还会造成纹理的数据量也跟着变大。根据屏幕视锥体近大远小的显示原则及LOD的显示策略II，系统在远距离观察城市场景将会加载大范围模型。因此当在拥有上千上万栋楼房的城市级模型显示的时候，由于所有瓦块低精细度层级的总体数据量大和计算资源有限，会明显造成远距离观看时的卡顿，影响用户对LOD浏览体验。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的LOD生成方法及系统。

根据本发明实施例的第一方面，提供一种LOD生成方法，该方法包括：提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构；将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

根据本发明实施例第二方面，提供了一种LOD生成系统，该系统包括：生成模块，用于提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构；混合模块，用于将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的LOD生成方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的LOD生成方法。

本发明实施例提供的LOD生成方法及系统，利用深度学习技术提取的水平轮廓结合高程信息生成的线框结构代表了建筑物的整体特征，该线框结构的建筑物外形整齐规则，几何结构简单。因此基于线框结构提取与混合的LOD生成方法，可以保证远距离观察城市倾斜简化层模型时，不仅浏览刷新流畅，而且场景的建筑物整齐划一，给人以更好的视觉上体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为现有技术提供的LOD多层级模型结构示意图；

图2为现有技术提供的居民楼局部特征和整体特征的示意图；

图3为现有技术提供的楼房被多次高强度简化后扭曲变形效果图；

图4为本发明实施例提供的城市同一区域DOM(上)和DSM(下)效果图；

图5为本发明实施例提供的利用城市正射影像提取建筑物区的技术流程图

图6为本发明实施例提供的利用DOM提取的城市建筑物区域示意图；

图7为本发明实施例提供的城市建筑物水平轮廓线的示意图；

图8为本发明实施例提供的一栋建筑物的线框结构示意图；

图9为本发明实施例提供的远距离观察LOD时线框结构与倾斜模型混合的效果图；

图10为本发明实施例提供的LOD生成方法的流程示意图；

图11为本发明实施例提供的LOD生成系统的结构示意图；

图12为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，利用无人机拍摄的照片自动化生成的倾斜模型由于计算精度和拍摄质量的限制，原始建筑物模型的外墙面和墙棱都有起伏，而且多次简化下去，这种起伏还会进一步扩大，造成图2中的楼房扭曲。针对现有技术中存在的上述问题，本发明实施例提供一种LOD生成方法，目的是在LOD生成流程的彩模简化过程中，能够在保持整体特征的情况下，简化掉局部特征的技术，以实现大规模城市三维倾斜模型LOD的流畅显示。

首先，对本发明实施例的原理进行说明。根据图2示意图，远距离观察一栋楼房的时候，我们只需要看到的它的整体框架结构。以此作为启发思路，在本发明实施例中，利用深度学习技术提取建筑物的水平轮廓，然后结合建筑物模型自身的高程信息生成建筑物线框结构的三角网，最后把生成的建筑物三角网融合到代表城市地形的DEM中。

为实现上述目的，本发明实施例可包括如下步骤：

1.利用深度学习技术提取建筑物的水平轮廓。

2.结合建筑物自身的高程信息生成建筑物线框结构。

3.建筑物线框结构和城市地形DEM的混合。

4.带线框结构简化层的LOD生成。

基于此，本发明实施例的特点是：1.LOD的数据量更小，方便网络传输。2.大规模城市倾斜模型远距离观看时，拥有更好的整体浏览体验。

具体地，参见图10，该方法包括但不限于如下步骤：

步骤101、提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构。

具体地，倾斜模型LOD的生成就是首先用原始模型进行多层级带纹理简化，生成一个个纹理和几何分辨率不断降低的模型，然后根据上述两个LOD显示策略对多层级模型进行空间切割和树状结构组织的过程。在本发明实施例中，高分辨率的几个简化层级的彩模简化使用了一种基于块分解的彩色LOD模型自动生成方法，但在接下来分辨率更低的几个层级的彩模简化就用线框结构的楼房与城市倾斜混合地形DEM混合的方法来代替，以实现低分辨率层级更少的数据量和更好的大数据城市倾斜模型整体浏览体验。

基于上述实施例的内容，作为一种可选实施例，所述提取建筑物的水平轮廓，包括：通过神经网络模型提取城市模型的数字正射模型DOM中的建筑物区域；通过城市模型的数字表面模型DSM对所述建筑物区域进行规则化，以获得所述建筑物区域的准确轮廓；将所述建筑物区域的位图进行矢量化，得到建筑物的轮廓线。

基于上述实施例的内容，作为一种可选实施例，将所述建筑物区域的位图进行矢量化，包括：将所述建筑物区域的位图进行二值化；检测建筑物的边缘轮廓，获得用于表示建筑物轮廓的有序的一系列边缘点；剔除与前后点共线的边缘点，获得用于表示建筑物轮廓的多边形的角点。

首先利用深度学习技术提取建筑物的水平轮廓。

提取建筑物的水平轮廓之前，需要先准备好城市倾斜模型的DOM(数字正射模型)和DSM(数字表面模型)。DOM包含了城市建筑物和地面的光谱信息，DSM则包含了城市建筑物和地形的高程信息。如图4，是同一区域的DOM和DSM示意图。

由于从城市上空看，建筑物纹理与周围环境有明显的分界线，所以城市正射影像可以被用于提取整个城市的建筑物区域。而DSM影像包含有建筑物的高程信息，因为建筑物高程落差明显，可以用来进一步精确确定每一栋建筑物的区域。最后将建筑物区域位图矢量化，得到矢量形式的建筑物轮廓。其实直接用图像边缘检测算子在DOM上也可以探测到建筑物的轮廓，但得到建筑物边缘的同时还会检查到大量不想要的非建筑物的轮廓。

具体地，提取的步骤可进一步包括如下步骤：

(1)利用Mask RCNN神经网络模型提取建筑物区域。

Mask RCNN是目前最流行的深度学习图像实例分割框架，可以被用于在城市DOM中提取建筑物区域。相较于传统的基于经验来设计特征的建筑物区域识别算法，深度学习的方法精度更高，稳定性更好，适应于各种各种不同大小形状及排列方式多变的建筑物。

本发明实施例直接使用Google的TensorFlow深度学习系统来搭建我们Mask RCNN网络。搭建好Mask RCNN网络后，我们接下来制作训练样本训练网络：首先准备城市模型的DOM影像(1024*1024)；然后使用VIA数据标记工具手工标记大致的建筑物区域；最后将城市正射影像和标记的建筑物区域分别作为输入和输出训练Mask RCNN网络。训练好Mask RCNN网络参数后，我们就可以将待测试的城市正射影像输入Mask RCNN网络，经过Mask RCNN网络特征提取层的特征提取和全连接层的分类、边框定位及Mask回归，得到我们想要的建筑物区域。下面图5和图6分别是利用城市正射影像提取建筑物区的技术流程图和提取的建筑物区域效果示意图。

(2)利用DSM对建筑物区域进行规则化

利用DOM提取的建筑物区域并没有很精确的建作物边界，一方面是由于在神经网络训练样本中人工标记的建筑物区域本身不是精确的，精确的标记需要更多人力成本，而且容易使Mask RCNN网络陷入过拟合。另一方面城市正射影像DOM本身的精度也有限,太高精度将增加Mask RCNN神经网络复杂度和计算时间。为准确的得到每一栋建筑物的区域，进而得到准确的轮廓线，我们使用DSM来对每栋建筑物区域进行规则化。每栋建筑物相对周围环境都有界限分明的高程落差，因此通过高精度的DSM影像，使用像素区域增长的方法，进一步规则化上一步Mask RCNN网络计算出的建筑物区域。同时，利用DSM影像对建筑物区域进行规则化也有利于下一步建筑位图矢量化，用尽量少的边和角点表示建筑物的轮廓。

(3)建筑物区域位图的矢量化

前面得到的是表示建筑物区域的像素矩阵，而想要生成建筑物线框结构必须将位图矢量化，得到多边形准确描述建筑物水平轮廓。在本发明中，我们先把建筑物区域位图二值化；然后用OpenCV的Canny算子检测建筑物的边缘轮廓，得到代表建筑物轮廓的一系列有序的边缘点；最后剔除每一个与前后点共线的边缘点，得到表示一个建筑物轮廓的多边形的角点。通过以上三步，实现了建筑物区域位图的矢量化。如图7是一个城市建筑物水平轮廓线的示意图。

基于上述实施例的内容，作为一种可选实施例，根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构，包括：通过统计原始模型中三角网顶点在建筑物的所述水平轮廓内的最大高程和最小高程，获得建筑物的上下高程信息；根据所述上下高程信息构建所述线框结构的三角网。

基于上述实施例的内容，作为一种可选实施例，根据所述上下高程信息构建所述线框结构的三角网，包括：根据所述上下高程信息，基于预设的构网算法输入建筑物的顶层角点和作为约束条件的建筑物顶层轮廓线，获得建筑物的顶层三角网；构建所述建筑物的每一面墙的三角网，以构建所述建筑物的侧面。

具体地，本步骤的目的是结合建筑物自身的高程信息生成建筑物线框结构。在上一步提取了建筑物的水平轮廓后，接下来就需要生成建筑物整体的线框结构。在计算机图形学中，我们一般用三角网表达倾斜模型的几何拓扑结构，所以我们也用三角网表示建筑物的线框结构，方便下一步建筑物与城市地形的混合。建筑物的上下高程信息可以通过统计原始模型的三角网顶点在建筑物水平轮廓范围内的最大高程和最小高程得到，然后结合高程信息构建线框结构的三角网。我们首先应用CGAL开源库中带约束的二维Delaunay构网算法建构建筑物的顶层，输入建筑物的顶层角点和作为约束条件的建筑物顶层轮廓线，得到构建好建筑物的顶层三角网。接下来构建建筑物的侧面三角网。建筑物的侧面是由一面面的墙构成的，上下顶点一一对应，每一面墙可以表示成两个三角面。通过构建完建筑物每一面墙的三角网，就可以构建好建筑物的整个侧面。由于建筑物的底部是深埋土中，在远距离观察时不可见的，所以建筑物的底部不需要构建。如图8是一栋建筑物的线框结构示意图。

步骤102、将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

基于上述实施例的内容，作为一种可选实施例，将所述线框结构与城市地形的数字高程模型DEM进行混合，包括：通过正射影像生成所述线框结构的顶层纹理；将所述线框结构的三角面和所述顶层纹理添加至DEM中。

具体地，本步骤的目的是建筑物线框结构和城市地形DEM的混合。数字高程模型(DEM)是剔除了地表建筑和树木后的地形模型，表达了地面的几何和纹理信息。在本发明中，DEM可以通过剔除原始模型中的建筑物来生成。第一步是生成DEM，如果原始模型的一个三角面完全在任意一个建筑轮廓线内，我们就删除这个三角面，这样就得到了一个城市的地形DEM。第二步利用正射影像生成线框结构的顶层纹理。最后第三步借助开源网格库OpenMesh,把线框结构的三角面和纹理添加到城市地形的DEM中，实现建筑物线框结构和城市地形DEM的混合。最终混合得到的结果作为LOD某一个更低分辨率的简化层级的模型。

基于上述实施例的内容，作为一种可选实施例，生成带有所述线框结构的LOD，包括：获得通过将所述线框结构与DEM进行混合后生成的第一简化层级图像L2；根据所述第一简化层级图像L2，生成相对于所述第一简化层级图像L2具有更高分辨率的第二简化层级图像L1；对原始模型L0进行自上而下地切割以构建LOD分割树；根据所述LOD分割树，将各层级模型分割填充到对应层级的LOD分割树节点中，构建LOD数据树；所述各层级模型包括所述原始模型L0、所述第一简化层级图像L2和所述第二简化层级图像L1；输出每个节点的数据文件，获得带有所述线框结构的LOD。

具体地，本步骤的目的是带线框结构简化层的LOD生成。循环使用上述步骤生成与原始模型相比更低分辨率的几个简化层级(图1中L2)，结合使用一种基于块分解的彩色LOD模型自动生成方法生成相对上述层级更高分辨率的几个简化层级(图1中L1)，我们就可以根据LOD显示策略生成带线框结构混合的倾斜模型LOD。所有的简化层级模型和原始模型(图1中L0)汇总后，共同组成了要用于生成LOD的多层级模型。我们首先通过对原始模型进行自上而下地不断切割来构建LOD分割树，确定整个多层级模型数据的空间树状组织方式。然后根据LOD分割树，自下而上地往把各层级模型分割填充到对应层级的LOD分割树节点中，构建LOD数据树；最后输出每个节点的osgb数据文件。下面图9是基于线框结构混合的城市倾斜模型LOD示意图。

综上所述，本发明实施例提供的LOD生成方法，利用深度学习技术提取的水平轮廓结合高程信息生成的线框结构代表了建筑物的整体特征，该线框结构的建筑物外形整齐规则，几何结构简单。因此基于线框结构提取与混合的LOD生成方法，可以保证远距离观察城市倾斜简化层模型时，不仅浏览刷新流畅，而且场景的建筑物整齐划一，给人以更好的视觉上体验。

基于上述实施例的内容，本发明实施例提供了一种LOD生成系统，该LOD生成系统用于执行上述方法实施例中的LOD生成方法。参见图11，该系统包括：生成模块301，用于提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构；混合模块302，用于将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

本发明实施例提供了一种电子设备，如图12所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的LOD生成方法，例如包括：提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构；将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的LOD生成方法，例如包括：提取建筑物的水平轮廓，并根据所述水平轮廓以及所述建筑物的高程信息生成所述建筑物的线框结构；将所述线框结构与城市地形的数字高程模型DEM进行混合，生成带有所述线框结构的LOD。

以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。