一种建筑群地震坠物场景混合现实展示方法及装置

技术领域

本发明涉及土木工程计算机可视化技术领域，尤其涉及一种筑群地震坠物场景混合现实展示方法及装置。

背景技术

通过数学模型推算地震坠物分布结果虽然高效、直观，但难以身临其境的做出避难判断。要进行高效、真实感的地震灾害人员避难展示，需要利用计算机技术构建逼真的建筑震害环境，此外还需考虑到地震坠物对人员避难带来的影响，需要科学、合理地展示地震坠物的分布情况，从而使得避难环境更加真实。通过混合现实技术，可以实现沉浸式的场景展示。将真实空间与三维模型在同一视觉场景下混合显示，让使用者身临其境，进行更真实的避难演示。

一方面，不同的建筑材料在坠落时的刚体运动轨迹存在差异性，所以需要区分不同坠物所属材料；另一方面，现有方法多是分析强震下建筑倒塌产生的碎片分布情况，而少有中小震下建筑外部围护结构破坏生成的坠物。大多坠物模拟方法是基于弹塑性时程分析或有限元分析，对单体建筑进行精细模拟，以此给出相对精准的坠物分布模型(黄秋昊,黄盛楠,陆新征,胡皓宇,汪家继.高层建筑围护结构地震破坏导致次生灾害的初步研究[J].工程力学,2013,30(S1):94-98.; 范乐. 中学教学区地震救援仿真训练废墟设计策略研究[D].哈尔滨工业大学，2017.; Xu Z, Lu X, Guan H, et al. Simulation ofearthquake-induced hazards of falling exterior non-structural components andits application to emergency shelter design[J]. Natural Hazards, 2016, 80(2):935-950.; Lu X, Yang Z, Chea C, et al. Experimental study on earthquake-induced falling debris of exterior infill walls and its impact to pedestrianevacuation[J]. International journal of disaster risk reduction, 2020, 43:101372.)。但如果应用于城市建筑群模拟，则需要极大的算力，效率较低。除此之外，城市地震坠物的高真实感、高效可视化问题有待进一步研究。所以需要提出一种高效构建建筑群坠物场景的方法。

综上，目前需要一种基于三维边界模型的建筑群地震坠物场景混合现实展示方法。

发明内容

本发明提供了一种建筑群地震坠物场景混合现实展示方法，不仅可以高效建立高精度和高真实感的地震场景，而且相较于数学模型，可视化场景更加容易理解。另一方面，与结构精细的BIM模型相比，三维边界模型的运算效率和真实感更高。

为解决上述发明目的，本发明提供的技术方案如下：一种建筑群地震坠物场景混合现实展示方法，其特征在于，步骤包括：

S1：构建对抗生成网络，采集城市建筑群的建筑外立面数据，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型；

S2：以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别；根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型；

S3：基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据；将结构响应数据和所述单体建筑模型拟合为坠物-动力耦合模型；

S4：结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果；

S5：对模拟结果进行渲染后导入混合现实平台；通过所述混合现实平台将渲染后的模拟结果与现实建筑进行锚定并展示，完成建筑群地震坠物场景混合现实展示。

优选地，采集城市建筑群的建筑外立面数据，包括：

根据城市建筑群的三维边界模型，截取并保存特征明显的建筑图像，获得城市建筑群的建筑外立面数据；其中，所述建筑外立面数据为城市建筑群的外立面材料类型。

优选地，步骤S1中，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型，包括：

将所述建筑外立面数据输入至所述对抗生成网络，通过对城市建筑群的外立面材料类型的划分以及标注进行模型训练，当训练准确率达到97%以上，则确定训练模型符合要求，获得训练模型。

优选地，步骤S2中，以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别，包括：

以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，其中所述待识别建筑外立面数据为图像数据；

通过训练模型对所述图像数据中的各像素点进行识别，获得各像素点的像素坐标对应的材料信息；

通过所述像素坐标对应的材料信息向真实建筑映射，进行建筑外立面材料定位。

优选地，通过所述像素坐标向真实建筑映射，进行建筑外立面材料定位，包括：

根据下述公式（1），通过栅格数据向建筑平面图像转化，计算像素变换矩阵

（1）

根据下述公式（2），基于三维边界模型与真实世界的映射关系得到映射矩阵T，将投影坐标

（2）。

优选地，根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型，包括：

根据识别结果，基于网格拟态技术，对每栋单体建筑建立立面分区，通过立方体网格逼近建筑表面性态，建立网格模型；

根据建筑外立面材料的定位结果，定义每个网格模型的所属材料以及材料的刚体力学性质，获取单体建筑模型。

优选地，步骤S3中，基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据，包括：

基于结构动力学方程求解单体建筑在每个时间步长上的结构响应，计算各楼层的层间位移角数据，判断坠物是否产生：

若某一时刻t的层间位移角数据小于或等于行业规范要求的材料限值，则认为该时刻t该层建筑的外立面材料未发生破坏，不会生成坠物；

若层间位移角数据大于行业规范要求的材料限值，则认为该时刻t该层建筑的外立面材料发生破坏，并生成坠物，所述坠物抛落的初速度即为该楼层的绝对时程速度，则第

（3）

其中，

根据各楼层绝对时程速度

优选地，步骤S3中，坠物-动力耦合模型包括：以三维边界模型作为碰撞边界条件，集成坠物的初始坐标、动力性质、刚体力学性质以及世界重力加速度；采用聚类合并算法，将初始距离相近的坠物合并为同一族进行计算。

优选地，步骤S4中，结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果，包括：

通过随机抽样法在所述单体建筑的外立面设定坠物，将所述坠物的初始位置映射到所述坠物-动力耦合模型上，定义坠物的刚体力学性质和动力性质；通过对所述坠物进行聚类合并计算，模拟所述坠物的运动过程以及分布结果。

一种建筑群地震坠物场景混合现实展示装置，所述装置用于上述的建筑群地震坠物场景混合现实展示，所述装置包括：

模型训练模块，用于构建对抗生成网络，采集城市建筑群的建筑外立面数据，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型；

材料识别模块，用于以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别；根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型；

模型耦合模块，用于基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据；将结构响应数据和所述单体建筑模型拟合为坠物-动力耦合模型；

坠物识别模块，用于结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果；

混合现实展示模块，用于对模拟结果进行渲染后导入混合现实平台；通过所述混合现实平台将渲染后的模拟结果与现实建筑进行锚定并展示，完成建筑群地震坠物场景混合现实展示。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述建筑群地震坠物场景混合现实展示方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述建筑群地震坠物场景混合现实展示方法。

上述技术方案，与现有技术相比至少具有如下有益效果：

上述方案，通过三维边界模型计算坠物的运动过程，可以高效建立高精度和高真实感的地震场景。一方面，相较于数学模型，可视化场景更加容易理解。另一方面，与结构精细的BIM模型相比，三维边界模型的运算效率和真实感更高。同时，高精度三维边界模型所截取的建筑图像也便于进行外立面材料识别。本发明利用三维边界模型，高效精准模拟地震次生坠物的运动过程和分布结果，并通过混合现实技术展示高精度、高真实感的坠物场景可视化，可用于人员避难演练和救援路径规划。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种建筑群地震坠物场景混合现实展示方法的流程示意图;

图2为本发明实施例中以城市建筑群为例构建的坠物场景图；

图3a为本发明实施例中通过对抗生成网络输入的建筑图片；

图3b为本发明实施例中通过对抗生成网络输出的识别结果；

图4a为本发明实施中原始三位边界模型网格；

图4b为本发明实施例中基于网格拟态技术到的矩形网格模型图；

图5为本发明实施例中的构建坠物场景的判断流程图；

图6为本发明实施例中的构建坠物-动力耦合的地震坠物场景算法流程图；

图7a-7d为本发明实施例中基于刚体力学得到的坠物模拟结果图；

图8为本发明实施例中基于混合现实技术实现地震坠物场景高真实感可视化的流程图；

图9为本发明实施例中一种建筑群地震坠物场景混合现实展示装置的装置框图；

图10为本发明实施例的电子设备示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对现有的地震灾害人员避难展示难以身临其境的做出避难判断的问题，提供了一种能够高效建立高精度和高真实感的地震场景的建筑群地震坠物场景混合现实展示方法。

如图1所示，本发明实施例提供了一种建筑群地震坠物场景混合现实展示方法，流程如下：

S101：构建对抗生成网络，采集城市建筑群的建筑外立面数据，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型；

一种可行的实施方式中，采集城市建筑群的建筑外立面数据，包括：

构建了某城市的CBD区域的三维边界模型，如图2所示，根据城市建筑群的三维边界模型，截取并保存特征明显的建筑图像，获得城市建筑群的建筑外立面数据；其中，所述建筑外立面数据为城市建筑群的外立面材料类型。

一种可行的实施方式中，为了得到每栋建筑的外立面材料数据，需要进行多分化的图像识别；由于无人机拍摄的图像中建筑视角大多是倾斜视角，因此要对图像进行拉伸处理以获取精准的建筑宽高比数据；采用不同颜色分别标注不同材料和图片背景，再将原始样本图片和标注图片同时输入对抗生成网络GAN中进行训练。

一种可行的实施方式中，将所述建筑外立面数据输入至所述对抗生成网络，通过对城市建筑群的外立面材料类型的划分以及标注进行模型训练，当训练准确率达到97%以上，则确定训练模型符合要求，获得训练模型。

一种可行的实施方式中，对抗生成网络包括一个生成网络（Generator）和一个判别网络（Discriminator），生成网络负责生成模拟数据，判别网络负责判断输入的数据是真实的还是生成的，二者经过多次优化迭代后达到训练学习的目的。

S102：以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别；根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型；

一种可行的实施方式中，以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，其中所述待识别建筑外立面数据为图像数据；在识别前需要拉伸建筑图像，使其满足图像识别要求；

通过训练模型对所述图像数据中的各像素点进行识别，获得各像素点的像素坐标对应的材料信息；

通过像素坐标对应的材料信息向真实建筑映射，进行建筑外立面材料定位。

一种可行的实施方式中，使用训练好的模型识别建筑图像，结果如图3a，图3b所示，并输出图像中各像素点对应的材料信息。

一种可行的实施方式中，根据下述公式（1），通过像素变换矩

（1）

根据下述公式（2），通过映射矩阵T，将投影坐标

（2）。

一种可行的实施方式中，根据识别结果，基于网格拟态技术，对每栋所述单体建筑建立立面分区，通过立方体网格逼近建筑表面性态，建立网格模型；

根据建筑外立面材料的定位结果，定义每个网格模型的所属材料以及材料的刚体力学性质，获取单体建筑模型。

一种可行的实施方式中，如图4a，图4b所示，其中图4a为原始的单体三维边界模型，表面主要以无规律的三角网格为主。本发明基于网格拟态技术，使用更均匀的拓扑重建几何网格，建立规则的矩形网格模型，如图4b；需要注意的是，矩形网格模型同样描述的是建筑和地形的边界，而没有建筑内部信息；所以在建立网格模型后，需要根据建筑外立面材料定义每个网格区域的所属材料，并定义材料网格的刚体力学性质，然后获得单体建筑模型。

S103：基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据；将结构响应数据和所述单体建筑模型拟合为坠物-动力耦合模型；

一种可行的实施方式中，本发明为了实现高效的坠物运动过程模拟，采用聚类合并算法；将距离相近的坠物合并为同一族并具有相同的初速度，所以初始抛落曲线相同，进行合并运算；考虑到坠物落地后的运动轨迹差异性和不确定性，所以采用CPU和GPU并行运算来提高模拟效率。

一种可行的实施方式中，基于结构动力学方程求解建筑在每个时间步长上的结构响应，如图5所示，计算各楼层的层间位移角数据，第

其中，

（3）

其中，

根据各楼层绝对时程速度

一种可行的实施方式中，需要说明的是，实际的结构响应数据中，地面时程速度

一种可行的实施方式中，坠物-动力耦合模型包括：以三维边界模型作为碰撞边界条件，集成坠物的初始坐标、动力性质、刚体力学性质以及世界重力加速度；采用聚类合并算法，将初始距离相近的坠物合并为同一族进行计算。

S104：结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果；

一种可行的实施方式中，将具有材料属性的分区网格模型和结构响应集成为坠物-动力耦合模型，通过随机模型抽取模型的矩形网格顶点作为坠物初始坐标.通过随机抽样法在所述单体建筑的外立面设定坠物，将所述坠物的初始位置映射到所述坠物-动力耦合模型上，定义坠物的刚体力学性质和动力性质；通过对所述坠物进行聚类合并计算，模拟所述坠物的运动过程以及分布结果。最后，使用CPU和GPU并行运算，加速计算坠物分布结果并渲染。通过混合现实技术实现高精度、高真实感的场景展示，模拟结果如图7a-图7d所示，其中图7a、图7b、图7c、图7d分别为地震开始后0s、10s、20s、40s时该建筑的振型及坠物分布位置；。

S105：对模拟结果进行渲染后导入混合现实平台；通过所述混合现实平台将渲染后的模拟结果与现实建筑进行锚定并展示，完成建筑群地震坠物场景混合现实展示。

一种可行的实施方式中，对模拟结果进行渲染后导入混合现实平台；所述混合现实平台搭载于头戴式混合现实设备中；

操作者通过头戴式混合现实设备中配备的陀螺仪进行视角的旋转，通过智能手机定位并向混合现实设备实时传输位置信息，完成建筑群地震坠物场景混合现实展示。

一种可行的实施方式中，实现坠物场景的高真实感可视化。将得到的地震坠物场景及模拟动画导入具有混合现实接口的模拟平台中，通过将World Anchor Unity组件添加到Game Object来创建空间定位点；World Anchor可以让虚拟的三维模型与真实世界的建筑重合，实现高真实感的混合现实展示；通过头戴式混合现实设备HoloLens在真实世界中加载坠物场景，并基于GPS和陀螺仪的空间定位功能，实现地震坠物场景的混合现实可视化；需要说明的是，由于混合现实设备自身不具有GPS定位功能，所以需要穿戴者随身携带智能手机进行实时定位，流程如图8所示。

一种可行的实施方式中，通过世界锚功能，实现虚拟场景中的模型与真实世界建筑锚定效果；通过混合现实设备中配备的陀螺仪实现视角的旋转，同时通过智能手机定位并向混合现实设备实时传输位置信息，实现人员在真实建筑群自由移动中展示坠物可视化场景。试验人员根据混合现实设备中投射的地震坠物场景进行避难演练，实现坠物场景混合现实可视化效果。

本发明实施例中，通过三维边界模型计算坠物的运动过程，可以高效建立高精度和高真实感的地震场景。一方面，相较于数学模型，可视化场景更加容易理解。另一方面，与结构精细的BIM模型相比，三维边界模型的运算效率和真实感更高。同时，高精度三维边界模型所截取的建筑图像也便于进行外立面材料识别。本发明利用三维边界模型，高效精准模拟地震次生坠物的运动过程和分布结果，并通过混合现实技术展示高精度、高真实感的坠物场景可视化，可用于人员避难演练和救援路径规划。

图9是本发明的一种建筑群地震坠物场景混合现实展示装置示意图，所述装置200用于上述的建筑群地震坠物场景混合现实展示，所述装置200包括：

模型训练模块210，用于构建对抗生成网络，采集城市建筑群的建筑外立面数据，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型；

材料识别模块220，用于以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别；根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型；

模型耦合模块230，用于基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据；将结构响应数据和所述单体建筑模型拟合为坠物-动力耦合模型；

坠物识别模块240，用于结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果；

混合现实展示模块250，用于对模拟结果进行渲染后导入混合现实平台；通过所述混合现实平台将渲染后的模拟结果与现实建筑进行锚定并展示，完成建筑群地震坠物场景混合现实展示。

优选地，模型训练模块210，进一步用于根据城市建筑群的三维边界模型，截取并保存特征明显的建筑图像，获得城市建筑群的建筑外立面数据；其中，所述建筑外立面数据为城市建筑群的外立面材料类型。

优选地，模型训练模块210，进一步用于将所述建筑外立面数据输入至所述对抗生成网络，通过对城市建筑群的外立面材料类型的划分以及标注进行模型训练，当训练准确率达到97%以上，则确定训练模型符合要求，获得训练模型。

优选地，材料识别模块220，进一步用于以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，其中所述待识别建筑外立面数据为图像数据；

通过训练模型对所述图像数据中的各像素点进行识别，获得各像素点的像素坐标；

通过所述像素坐标向真实建筑映射，进行建筑外立面材料定位，识别各像素点对应的材料类型。

优选地，材料识别模块220，进一步用于根据下述公式（1），通过像素变换矩阵

（1）

根据下述公式（2），通过映射矩阵T，将投影坐标

（2）。

优选地，材料识别模块220，进一步用于根据识别结果，基于网格拟态技术，对每栋所述单体建筑建立立面分区，通过立方体网格逼近建筑表面性态，建立网格模型；

根据建筑外立面材料的定位结果，定义每个网格模型的所属材料以及材料的刚体力学性质，获取单体建筑模型。

优选地，模型耦合模块230，进一步用于基于结构动力学方程求解单体建筑在每个时间步长上的结构响应，计算各楼层的层间位移角数据，判断坠物是否产生：

若某一时刻t的层间位移角数据小于或等于行业规范要求的材料限值，则认为该时刻t该层建筑的外立面材料未发生破坏，不会生成坠物；

若层间位移角数据大于行业规范要求的材料限值，则认为该时刻t该层建筑的外立面材料发生破坏，并生成坠物，所述坠物抛落的初速度即为该楼层的绝对时程速度，则第

（3）

其中，

根据各楼层绝对时程速度

优选地，坠物-动力耦合模型包括：以三维边界模型作为碰撞边界条件，集成坠物的初始坐标、动力性质、刚体力学性质以及世界重力加速度；采用聚类合并算法，对同一时刻同一楼层产生的坠物进行合并运算。

优选地，坠物识别模块240，进一步用于通过随机抽样法在所述单体建筑的外立面设定坠物，将所述坠物的初始位置映射到所述坠物-动力耦合模型上，定义坠物的刚体力学性质和动力性质；通过对所述坠物进行聚类合并计算，模拟所述坠物的运动过程以及分布结果。

本发明实施例中，通过三维边界模型计算坠物的运动过程，可以高效建立高精度和高真实感的地震场景。一方面，相较于数学模型，可视化场景更加容易理解。另一方面，与结构精细的BIM模型相比，三维边界模型的运算效率和真实感更高。同时，高精度三维边界模型所截取的建筑图像也便于进行外立面材料识别。本发明利用三维边界模型，高效精准模拟地震次生坠物的运动过程和分布结果，并通过混合现实技术展示高精度、高真实感的坠物场景可视化，可用于人员避难演练和救援路径规划。

图10是本发明实施例提供的一种电子设备300的结构示意图，该电子设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现下述机器人仓储系统自动建模的方法的步骤：

S1：构建对抗生成网络，采集城市建筑群的建筑外立面数据，将所述建筑外立面数据输入至所述对抗生成网络进行多分化识别训练，获得训练模型；

S2：以单体建筑为单位，将待识别建筑外立面数据输入至所述训练模型，进行建筑外立面材料识别；根据识别结果，对每栋所述单体建筑进行网格拟态分区建模，获取单体建筑模型；

S3：基于结构动力学方程求解所述单体建筑在每个时间步长上的结构响应，获得结构响应数据；将结构响应数据和所述单体建筑模型拟合为坠物-动力耦合模型；

S4：结合坠物-动力耦合模型以及坠物的刚体力学性质，模拟坠物的运动过程以及分布结果；

S5：对模拟结果进行渲染后导入混合现实平台；通过所述混合现实平台将渲染后的模拟结果与现实建筑进行锚定并展示，完成建筑群地震坠物场景混合现实展示。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述机器人仓储系统自动建模的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。