一种基于目标检测及建筑重构的虚拟城市生成方法和装置

技术领域

本发明属于虚拟城市构建技术领域，具体涉及一种基于目标检测及建筑街区重构的虚拟城市生成方法和装置。

背景技术

为了对单个建筑结构或大范围的地形地貌、城市区域建筑排布进行展示，从而诞生了沙盘早期雏形。随着现代信息技术的发展，利用增强现实技术或者虚拟现实技术，结合深度学习对多种模态信息进行感知处理的数字虚拟沙盘得到了长足发展，已逐步应用于建筑设计、城市建设规划及军事推演等方面。

根据目前公开的数字沙盘技术资料，首先现有的技术在物理沙盘模型方面的感知处理方面明显不足。现有的数字沙盘技术中缺少对物理沙盘中各个模型的类别、位置识别，无法在仿真环境中生成对应类型及尺寸的虚拟建筑模型，存在实际与虚拟环境之间的差异。其次，现有的数字沙盘技术，往往基于预设的固定建筑模型进行展示，用户无法对固定的建筑模型进行实时建筑结构的重构，缺乏交互操作性。

现有技术如发明专利CN202110802083.6中公开了一种沉浸式沙盘展示系统，基于系统中预先构建的场景模型库，使用者可选择某一场景开始沉浸式的场景演示。尽管该系统相对于传统物理沙盘，利用虚拟技术提升了场景展示效果及视觉感受，但是该系统中的演示场景及观看的视角位置是固定的，而且展示场景中的模型均不可由使用者进行调节，缺乏交互多样性。

现有技术又如发明专利CN202022592987.4中公开了一种全息3D智能交互数字虚拟沙盘系统。该系统配置了动作捕捉相机，通过对使用者进行位置定位，获取使用者的观测视角后通过3D显示设备实现场景的展示。除此之外，该系统中包含了交互组件，使用者可对沙盘中的模型进行移动旋转等控制，但该系统交互功能有限，使用者并不能在系统中进行实时建筑模型的重构。

现有技术再如发明专利CN112270027B中公开了一种基于城市三维空间实体的城市设计无纸化交互审查方法。该方法能够提取法定规划与规范表中的管控要点，通过代码和三维数字沙盘的嵌合，实现审查结果的无纸化生成与真实三维空间场景中的全方位展示。但该方法数字沙盘中使用到的三维模型为建模数据，构建较为费时。且缺乏用户交互性，不能满足用户自行随意定制的需求。

发明内容

本发明的目的之一在于提供一种基于目标检测及建筑街区重构的虚拟城市生成方法，实现实际物理沙盘和数字虚拟沙盘的实时孪生。

为实现上述目的，本发明所采取的技术方案为：

一种基于目标检测及建筑重构的虚拟城市生成方法，所述基于目标检测及建筑重构的虚拟城市生成方法，包括：

采集实际物理沙盘的视觉信息以及深度信息，所述实际物理沙盘包括一个或多个实际建筑模型；

基于所述视觉信息进行目标检测，并根据目标检测的结果和所述深度信息，得到各实际建筑模型的空间信息、形态信息以及建筑类别；

将实际建筑模型的空间信息、形态信息以及建筑类别转化为数字虚拟沙盘中对应的虚拟建筑模型的形状规则，并根据形状规则生成组件分割规则，所述组件分割规则包括基本分割规则和细化分割规则，所述基本分割规则用于描述虚拟建筑模型的基本块分割，所述细化分割规则用于描述各基本块的类型；

基于所述形状规则和所述组件分割规则生成与实际建筑模型对应的虚拟建筑模型，完成虚拟城市构建。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述实际物理沙盘包括沙盘底座以及设置在所述沙盘底座上的一个或多个实际建筑模型；

所述沙盘底座上连接传感器支架，并在所述传感器支架上安装视觉传感器，所述视觉传感器用于采集所述实际物理沙盘的视觉信息以及深度信息。

作为优选，所述目标检测由深度学习目标检测模型执行，所述深度学习目标检测模型预训练时通过人工标注的方式标注出训练图像中实际建筑模型的建筑类别、朝向、锚框长宽以及锚框坐标信息。

作为优选，所述根据目标检测的结果和所述深度信息，得到各实际建筑模型的空间信息、形态信息以及建筑类别，包括：

所述目标检测结果包括实际建筑模型的建筑类别、朝向、锚框长宽以及锚框坐标信息；

根据所述锚框长宽得到实际建筑模型在垂直投影方向的长度和宽度；

根据所述深度信息计算实际建筑模型与沙盘底座的深度差值得到实际建筑模型的高度，将所述长度、宽度和高度作为实际建筑模型的形态信息；

将所述锚框坐标信息转换至世界坐标，作为实际建筑模型在实际物理沙盘中的位置信息，将所述位置信息和朝向作为实际建筑模型的空间信息。

作为优选，所述形状规则由字符串属性、几何属性和数值属性组成；

所述字符串属性为建筑风格，所述虚拟建筑模型的建筑风格由所述实际建筑模型的建筑类别确定；

所述几何属性包括旋转角度和预设的缩放比例，所述旋转角度为虚拟建筑模型相对于所述实际建筑模型的朝向的旋转角度；

所述数值属性包括位置信息和尺寸，所述虚拟建筑模型的位置信息与所述实际建筑模型的位置信息相同，所述虚拟建筑模型的尺寸根据所述实际建筑模型的形态信息和预设的缩放比例得到。

作为优选，所述细化分割规则生成过程如下：

获取一个所述基本块，根据所述虚拟建筑模型的建筑风格确定基本块的主类型；

判断基本块的主类型是否包含预设的次类型，若包含则根据所包含的次类型对基本块进行分割，并为每一分割后的组件赋予对应的次类型；若不包含则为基本块赋予对应的主类型。

作为优选，所述基于所述形状规则和所述组件分割规则生成与实际建筑模型对应的虚拟建筑模型，包括：

根据形状规则中的位置信息确定虚拟建筑模型的起始点；

根据形状规则中的旋转角度确定虚拟建筑模型的三轴方向；

根据形状规则中的尺寸在三轴方向上生成对应尺寸的三维空间；

根据组件分割规则中的基本分割规则确定所述三维空间的网格分割，得到多个网格空间块；

根据组件分割规则中的细化分割规则取基本块的类型，若该类型为不包含次类型的主类型，则直接根据主类型从素材库中读取预构建模型填充至位置对应的网格空间块中；若该类型为包含次类型的主类型，则先从素材库中读取对应次类型的预构建模型进行拼接，然后将拼接模型填充至位置对应的网格空间块中。

作为优选，所述基于目标检测及建筑重构的虚拟城市生成方法，还包括：

运行在编辑模式下，接收用户输入信息调整虚拟建筑模型的组件分割规则；运行在运行模式下，接收用户输入信息调整虚拟建筑模型的形状规则和组件分割规则。

作为优选，所述基于目标检测及建筑重构的虚拟城市生成方法，还包括：

提供第一人称视角可视化展示所述虚拟城市，或者提供第三人称视角可视化展示所述虚拟城市。

本发明提供的一种基于目标检测及建筑街区重构的虚拟城市生成方法，可扫描实际物理沙盘中实际建筑模型并识别实际建筑模型的类别，同时进行实际建筑模型精确空间定位，将实际建筑模型的实际空间位置信息同步映射到数字虚拟沙盘中，并在相应位置自动构建出复杂的虚拟建筑模型。虚拟环境下数字虚拟沙盘中的虚拟建筑模型参数可调节，用户可根据需求改变建筑的模型结构、外观、尺寸及建筑附属物等，用户可通过自由切换视角，浏览整个城市场景。基于本发明中提出的方法，仅通过实际物理沙盘中的简单实际建筑模型的组合，即可做到虚拟环境中展示复杂城市环境的效果，本发明可应用于房地产展示、城市建设规划、策略类战术规划游戏。

本发明的目的之二在于提供一种基于目标检测及建筑重构的虚拟城市生成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于目标检测及建筑重构的虚拟城市生成方法的步骤。

附图说明

图1为本发明的一种基于目标检测及建筑重构的虚拟城市生成方法的流程图；

图2为本发明的实际物理沙盘以及视觉传感器安装的一种结构示意图；

图3为本发明的形状规则限定形成的一种范围框示意图；

图4为本发明的组件分割规则描述的基本块以及类型示意图；

图5为本发明的第一人称视角可视化展示示意图；

图6为本发明的第三人称视角可视化展示示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。

为了克服现有技术中虚拟城市生成缺陷，本实施例提出了一种基于深度学习目标检测及实时建筑重构的沙盘-虚拟城市程序化生成技术，可实时检测实际物理沙盘中的实际建筑模型类别、实际位置及高度信息，并在仿真平台中生成对应的可实时自由调整结构的虚拟城市建筑，实现实际物理沙盘到虚拟城市的实时程序化生成。

如图1所示，本实施例的一种基于目标检测及建筑重构的虚拟城市生成方法，包括以下步骤：

步骤1、采集实际物理沙盘的视觉信息以及深度信息，实际物理沙盘包括一个或多个实际建筑模型。

实际物理沙盘包括沙盘底座以及设置在沙盘底座上的一个或多个实际建筑模型。实际建筑模型是人工搭建而成的，搭建基础可以是一体成型的实际建筑模型，例如通过3D打印等技术得到；搭建基础也可以是由分散的积木拼搭而成。本实施例不对实际建筑模型的搭建过程进行限制。

采集实际物理沙盘的视觉信息(包括但不限于RGB图像，在实际需要时，还可以采集例如红外图像、点云等数据)以及深度信息时，可以是通过人工手持视觉传感器(例如双目视觉传感器ZED)采集，也可以是通过脱离于实际物理沙盘的外部设备(例如机器人)持视觉传感器采集，也可以是在沙盘底座上连接传感器支架，并在传感器支架上安装视觉传感器，如图2所示。

本实施例不限制视觉传感器的固定方式，但是由于本实施例主要基于实际建筑模型的俯视图实现，因此在仅包含一个视觉传感器时，保持该视觉传感器的拍摄面垂直于沙盘底座。当包含多个视觉传感器时，至少保持一个视觉传感器的拍摄面垂直于沙盘底座，其余视觉传感器的拍摄面可以拍摄实际物理沙盘的任意角度，用于辅助使用。

步骤2、基于所述视觉信息进行目标检测，并根据目标检测的结果和深度信息，得到各实际建筑模型的空间信息、形态信息以及建筑类别。

目标检测由深度学习目标检测模型执行，在获取用于训练深度学习目标检测模型的训练数据集中的训练图像时，首先使用实际物理沙盘系统中垂直安装的双目视觉传感器ZED采集沙盘中实际建筑模型的RGB图像和深度信息，之后利用Roboflow图像处理工具通过人工标注的方式标注出建筑模型的建筑类别、朝向、锚框、锚框长宽以及锚框坐标信息，生成对应的标注数据文件。标注数据中包含建筑类别编码、朝向编码、根据图像尺寸归一化后的锚框的一个角点相对于原点坐标及锚框的长宽。

本实施例中采用YOLOv5s目标检测模型，训练过程中采用Mosaic方法(图像随机缩放、随机排布、随机裁剪与多张图像拼接等)对采集的训练数据集进行扩充与数据增强。训练完成后的YOLOv5s目标检测模型在系统的服务端部署。在实际应用时，系统调用双目视觉传感器ZED实时采集沙盘的RGB图像及深度信息，服务端通过部署的YOLOv5s目标检测模型，实时检测各实际建筑模型的建筑类别及图像边界框坐标信息，输出包括实际建筑模型的建筑类别、朝向、锚框长宽以及锚框坐标信息的目标检测结果。

然后根据锚框长宽得到实际建筑模型在垂直投影方向的长度和宽度，根据深度信息计算实际建筑模型与沙盘底座的深度差值得到实际建筑模型的高度，将长度、宽度和高度作为实际建筑模型的形态信息进行保存。将锚框坐标信息转换至世界坐标，本实施例以视觉信息仅包含RGB图像为例，进行坐标转换时具体为进行RGB图像坐标到世界坐标的转换，得到实际建筑模型在实际物理沙盘中的位置信息，将位置信息和朝向作为实际建筑模型的空间信息。

RGB图像坐标到世界坐标的转换根据双目视觉传感器ZED的相机内参和相机外参实现，为常规的坐标转换过程，本实施例不进行赘述。

步骤3、将实际建筑模型的空间信息、形态信息以及建筑类别转化为数字虚拟沙盘中对应的虚拟建筑模型的形状规则，并根据形状规则生成组件分割规则。

为了便于建筑重构的实现，本实施例将得到的实际建筑模型的相关信息转换为虚拟建筑模型的相关信息，以便后续使用。本实施例的形状规则由字符串属性、几何属性和数值属性组成。

字符串属性为建筑风格，虚拟建筑模型的建筑风格由实际建筑模型的建筑类别确定。例如实际建筑模型的建筑类别为中国的商铺，则虚拟建筑模型的建筑风格也为中国的商铺，记载为“China”和“shop”。

几何属性包括旋转角度和预设的缩放比例。其中缩放比例为空间中XYZ三轴的缩放比例S

数值属性包括位置信息P和尺寸(长度X，高度Y，宽度Z)，虚拟建筑模型的位置信息与实际建筑模型的位置信息相同，这里的相同应理解为相对于各自的坐标原点的间距相同，即虚拟建筑模型在虚拟环境中的世界坐标系下的位置信息与实际建筑模型在实际世界坐标系下的位置信息相同。虚拟建筑模型的尺寸根据实际建筑模型的形态信息和预设的缩放比例计算得到。最终一个形状规则可以描述为例如ShapeBuild(“China”,“shop”,S

由于本实施例中目标检测模型输出的锚框坐标信息为取锚框一个角的坐标作为锚框坐标信息，因此本实施例中直接基于位置信息P在XYZ三轴的正向空间中生成虚拟建筑模型的长宽高即可。在其他实施例中若锚框坐标信息为取锚框其他点(例如中心点)信息进行标识，则在生成长宽高时计算正负向空间内的长宽高以限制整个虚拟建筑模型的所在空间。

为了便于描述虚拟建筑模型的构成，本实施例提出了组件分割规则，组件分割规则包括基本分割规则和细化分割规则，基本分割规则用于描述虚拟建筑模型的基本块分割，细化分割规则用于描述基本分割得到的各基本块的类型。

其中基本块分割主要用于楼层及单元的分割，在其他实施例中基本块的范围可适当调整，例如仅以单位进行重构时，则基本块分割可以仅为单元分割；又如仅以楼层进行重构时，则基本块分割可以仅为楼层分割。

楼层分割沿一个轴(例如Y轴)分割当前范围，即分割虚拟建筑模型的高度，例如将虚拟建筑模型分为四层，可表达为Subdiv(“Y”,3.5,3,3,3)。单元分割沿另一个轴(例如X轴)分割当前范围，即分割虚拟建筑模型的长度，例如将虚拟建筑模型的某一层分割为四个单元，可表达为Subdiv(“X”,3,4,4,3)。本实施例中的楼层分割是针对虚拟建筑模型整体的，而单元分割针对每一楼层执行，分割后得到多个独立的基本块。

细化分割用于表示各基本块的类型，可以是针对整个基本块的类型表示，也可以将基本块进一步分割为较小尺寸的组件，然后针对每一组件进行类型表示。在生成细化分割规则时，获取一个基本块，根据虚拟建筑模型的建筑风格确定基本块的主类型，例如中国的商铺的顶层为屋顶，则确定位于顶层的基本块的主类型为屋顶。然后判断基本块的主类型是否包含预设的次类型，若包含则根据所包含的次类型对基本块进行分割，并为每一分割后的组件赋予对应的次类型；若不包含则为基本块赋予对应的主类型。

以屋顶为例，若素材库中中国的商铺的屋顶为一个整体的模型组件，则屋顶这一主类型不包含次类型，若屋顶为包含从上至下的第一屋檐、第二屋檐和第三屋檐，则屋顶这一主类型还包含三个次类型，因此需要将位于顶层的基本块从上至下进行对应分割得到三个组件，并为每个组件附上对应的次类型。

如图4所示，某一虚拟建筑模型的组件分割规则表达为comp(type){A|B|…|Z}，其中type是基本块的类型，比如屋顶、屋檐等预构建模型的类型，F表示屋顶，B表示建筑转角模块，A表示建筑中间模块，C表示一楼商铺，D表示大门，表达式中可以基于一定规则进行类型记录，例如从左上基本块的类型至右下基本块的类型进行记录。

步骤4、基于形状规则和组件分割规则生成与实际建筑模型对应的虚拟建筑模型，完成虚拟城市构建。

在构建形状规则和组件分割规则后，即可根据所构建的规则自动生成对应的虚拟建筑模型，生成过程如下：

根据形状规则中的位置信息确定虚拟建筑模型的起始点；根据形状规则中的旋转角度确定虚拟建筑模型的三轴方向；根据形状规则中的尺寸在三轴方向上生成对应尺寸的三维空间；根据组件分割规则中的基本分割规则确定三维空间的网格分割，得到多个网格空间块；

根据组件分割规则中的细化分割规则取基本块的类型，若该类型为不包含次类型的主类型，则直接根据主类型从素材库中读取预构建模型填充至位置对应的网格空间块中；若该类型为包含次类型的主类型，则先从素材库中读取对应次类型的预构建模型进行拼接，然后将拼接模型填充至位置对应的网格空间块中。

本实施例为了提高虚拟城市生成速度，预先构建各个建筑风格的预构建模型，该预构建模型可以是复合型组件，例如包含多个屋檐的屋顶，也可以是单一型组件，例如一体屋顶。在建筑重构时根据相应规则从素材库中读取预构建模型在对应位置生成复杂的虚拟建筑模型，从而完成场景构建形成城市街区。

在其他实施例中，若不考虑后续虚拟建筑模型的修改，由后端数据库返回视觉传感器获得的建筑类型信息，确定形状规则及组件分割规则，由接口获得所需建筑构建的参数后，利用程序算法直接生成对应的完整的虚拟建筑模型，并根据视觉传感器回传的数据将虚拟建筑模型填充至对应位置即可。

为了提高交互性功能，实现三维街区场景的定制化，本实施例还支持建筑交互编辑，运行在编辑模式下，接收用户输入信息调整虚拟建筑模型的组件分割规则。编辑模式主要用于用户(例如美术人员)编辑塑造虚拟建筑模型的外形；运行在运行模式下，接收用户输入信息调整虚拟建筑模型的形状规则和组件分割规则。运行模式主要用于用户(例如使用客户)通过UI界面调整虚拟建筑模型的属性参数。

需要说明的是，编辑模式和运行模式下对虚拟建筑模型的调整，可以是直接调整形态规则和组件分割规则中的参数值，并根据重新调整后的参数值生成虚拟建筑模型，也可以是直接基于UI界面等可视化编辑方式直接调整虚拟建筑模型，并将调整后的虚拟建筑模型的参数同步至形态规则和组件分割规则中。

并且在建筑重构完成后，提供第一人称视角可视化展示虚拟城市，如图5所示，或者提供第三人称视角可视化展示虚拟城市，如图6所示。即在场景演示时，用户可在三维环境中通过第一人称或者第三人称视角全方位浏览虚拟城市。

目前现有的数字沙盘技术中缺少对实际物理沙盘中各个实际建筑模型的类别、位置、高度等信息的识别，本发明中采用基于深度学习的目标检测方法，可识别实际物理沙盘中各类实际建筑模型的类别，并根据深度差值估测出各实际建筑模型的高度信息，经坐标转换实现模型精确空间位置，并根据模型信息及位置信息在仿真环境中构建对应的虚拟建筑模型。

另外现有的数字沙盘中的虚拟建筑模型往往是预设的，用户不能根据城市风格、建筑风格和模型结构进行定制，交互操作性差，本发明中采用重构技术实现了实际物理沙盘到数字虚拟沙盘的实时映射。在实际物理沙盘发生变化时，可以将变化实时映射到三维虚拟环境中。最大程度地解决了传统场景搭建、3D建模耗时耗力的问题，有利于快速构建虚拟环境，提升了三维环境构建效率。同时实现三维城市街区多样化实时重构，只需前期准备相关建筑组件，后期可根据相关规则实现多种可能性的组合、重构，可以一次构建，生成无数个需要的场景。同时提供了较好的用户交互性体验，最大程度地发挥用户的创造性，场景的建筑风格可以是由实际物理沙盘摆放指定，同时在运行时也提供用户需要进行建筑位置及结构的调整，可以为如游戏中的虚拟战术制订提供很好的三维虚拟推演平台。

本发明已使用实际物理沙盘，根据建筑组建规则，进行了多次三维建筑场景的构建测试。经测试，本发明中结合深度学习目标检测及实时建筑重构技术的沙盘能够达到大规模城市街区建筑程序化生成的效果，并且能够提供很高的自由度及交互性体验。

在另一个实施例中，本申请还提供了一种基于目标检测及建筑重构的虚拟城市生成装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于目标检测及建筑重构的虚拟城市生成方法的步骤。

关于基于目标检测及建筑重构的虚拟城市生成装置的具体限定可以参见上文中对于基于目标检测及建筑重构的虚拟城市生成方法的限定，在此不再赘述。

存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的方法。

其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。

所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

需要说明的是，图5和6分别主要为展示第一视角可视化展示和第三视角可视化展示的效果图，图5和6中的图形仅为软件运行时运行界面中的元素，不涉及本申请改进的重点，且运行界面的清晰度与像素和缩放比例有关，故呈现效果较为有限。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。