一种审查建筑图纸的方法、存储介质和电子设备

技术领域

本发明涉及建筑图纸审查技术领域，尤其涉及一种审查建筑图纸的方法、存储介质和电子设备。

背景技术

屋面图纸是住宅建筑工程的主要部分之一，它既包括工程所用的材料、设备和所进行的设计、施工、维护等技术活动，也指工程建设的对象，发挥功能保障作用。具体地，屋面工程除应安全承受各种荷载作用外，还需要具有抵御温度、风吹、雨淋、冰雪乃至震害的能力，以及经受温差和基层结构伸缩、开裂引起的变形。

因此，一幢既安全、环保又满足人们使用要求和审美要求的房屋建筑，屋面工程担当着非常重要的角色。屋面工程属房屋建筑的分部工程，是一大工程领域，其主体涵盖屋顶上部屋面板及其上面的所有构造层次，它包括隔汽层、通风防潮层、保温隔热层、防水层和保护层等，其是综合反映屋面多功能作用的系统工程。以此国家规范涉及屋面防水和保温等规范审查，并且解析屋面建筑专业图纸，也是为排水、专业设计屋面排水提供基石。

因此，目前急需一种能够实现屋面图纸审查的方法。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种审查建筑图纸的方法、存储介质和电子设备，其能够实现屋面图纸审查。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种审查建筑图纸的方法，该方法包括：获取待审查的建筑图纸；对待审查的建筑图纸进行图框检测，以获得屋面图框的图纸；将屋面图框的图纸输入到预先训练好的图纸屋构件信息提取模型中，以获得输出结果；其中，输出结果包括屋面建筑拓扑关系；基于屋面建筑拓扑关系进行屋面到顶层平面的空间映射，以获得空间映射结果；基于输出结果和空间映射结果对屋面图框的图纸进行屋面规范审查，以得到屋面规范审查结果。

在一个可能的实施例中，图纸屋构件信息提取模型的模型构架包括图像处理层、文字特征解析层和第一卷积层；

其中，图纸屋构件信息提取模型的训练过程包括：获取训练样本数据；其中，训练样本数据包括训练样本图纸和用于描述训练样本图纸中屋面的屋面建筑拓扑关系的训练样本文本；通过图像处理层对训练样本图纸进行相应处理，以获得信息解码操作结果；通过文字特征解析层对训练样本文本进行文字特征解析处理，以获得文本有序特征向量；通过第一卷积层对信息解码操作结果和文本有序特征向量进行卷积处理，以获得训练输出结果；其中，训练输出结果包括屋面空间的掩膜图像训练结果、基础构件信息训练结果和屋面建筑拓扑关系训练结果。

在一个可能的实施例中，图像处理层包括多卷积层、第一特征融合层、第二卷积层、抽象特征提取层和第一特征金字塔层；

其中，多卷积层中每个卷积层用于对训练样本图纸进行对应的卷积处理；第一特征融合层用于对每个卷积层输出的卷积结果进行特征融合；第二卷积层用于对第一特征融合层输出的特征融合结果进行卷积处理；抽象特征提取层用于基于第二卷积层的卷积结果去除屋面中的冗余看线并提取屋面抽象特征；第一特征金字塔层用于对屋面抽象特征进行信息解码操作，以得到信息解码操作结果。

在一个可能的实施例中，多卷积层包括并列设置的第三卷积层、第一空洞卷积层、第二空洞卷积层和第三空洞卷积层。

在一个可能的实施例中，第一空洞卷积层的空洞系数小于第二空洞卷积层的空洞系数，并且第二空洞卷积层的空洞系数小于第三空洞卷积层的空洞系数，以及第一空洞卷积层的空洞系数、第二空洞卷积层的空洞系数和第三空洞卷积层的空洞系数均小于64。

在一个可能的实施例中，第一空洞卷积层的空洞系数、第二空洞卷积层的空洞系数和第三空洞卷积层的空洞系数均为偶数。

在一个可能的实施例中，抽象特征提取层包括第二特征金字塔层、n个并列设置的特征层和用于对第二特征金字塔层的输出结果和n个并列设置的特征层中每个特征层的输出结果进行特征融合的第二特征融合层，以及n个特征层中每个特征层均包括第四卷积层、批归一化层和激活函数层。

在一个可能的实施例中，文字特征解析层包括输入层、提示学习层和文本解码层；

其中，输入层用于获取输入的训练样本文本；提示学习层用于从训练样本文本中提取出文本特征向量；文本解码层用于对文本特征向量进行文本解码编译，得到文本有序特征向量。

第二方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第四方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。

(三)有益效果

本发明的有益效果是：

本申请实施例提供了一种审查建筑图纸的方法、存储介质和电子设备，通过获取待审查的建筑图纸，以及对待审查的建筑图纸进行图框检测，以获得屋面图框的图纸，以及将屋面图框的图纸输入到预先训练好的图纸屋构件信息提取模型中，以获得输出结果；其中，输出结果包括屋面建筑拓扑关系，以及基于屋面建筑拓扑关系进行屋面到顶层平面的空间映射，以获得空间映射结果，以及基于输出结果和空间映射结果对屋面图框的图纸进行屋面规范审查，以得到屋面规范审查结果，从而不仅可能够实现屋面图纸审查，还可提高图纸屋面识别、定位准确率。

为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种审查建筑图纸的方法的流程图；

图2示出了本申请实施例提供的一种图纸屋构件信息提取模型的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

由于图纸屋面多而复杂的看线导致目前屋面构件识别、空间拓扑关系准确率并不高。

目前，经典目标检测(例如，yolox和Solov2等、语义分割(例如，Unet和deeplabv3+等)、实例分割(例如，SAM和yolact等)模型，理解图纸视觉场景中的目标一直以来都是建筑专业业务逻辑主要驱动力，但是以上提到经典算法不能学到抽象建筑业务逻辑可提示学习，只能利用单一位置坐标定义的语义标签训练学习，例如，屋面有电梯、楼梯空和门等，尽管使用检测和分割算进行分类识别效果不错，但是屋面图纸任务定义在很大程度上简化了本身建筑专业逻辑理解，因为一个屋面目标除了语义类别外，还可以从许多其他方面建筑逻辑进行描述。例如，这个门可以通向“楼梯”和“电梯”，楼梯房间可以有“多个台阶”和”平台”等。因此，学习建筑逻辑空间和构建属性可以补充类别级别的识别以及拓扑关系，从而获得屋面数据全面更细粒度的视觉感知。然而，依赖现在技术用分割技术识别空间，用目标检测方法识别构件，再通传统方法处理构件和空间拓扑关系，不能实现端到端模型解析(即现有技术中需要通过至少两个以上的模型来实现，而本身中的端到端是指通过图纸屋构件信息提取模型这一个模型即可实现)，导致产品上线部署比较慢。

为了提高图纸屋面识别、定位准确率，本申请结合基于海量多模态屋面图纸数据预训练的视觉语言模型思路，同时可获得的构件检测和空间属性拓扑关系识别数据进行提示式学习，以及网络训练过程前向传播使用积分神经网络连续函数表示权重，并通过连续积分操作替换传统的神经网络模型使用离散权重张量表示前向传播网络层的权重，显著提升屋面图纸解析的实时性，结合训练提示式学习理解构件以及空间的属性可以极大地促进学习屋面空间拓扑关系，屋面建筑业务抽象逻辑极大提高屋面图框小目标构件、空间识别，实现一个端到端构屋面信息解析拓扑图谱建立，该网络结构不仅适用屋面同时还适用于机房、阁楼图纸信息解析，也为关于建筑屋面规范审查提高信息数据库，方便屋面规范审查、信息校对。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

请参见图1，图1示出了本申请实施例提供的一种审查建筑图纸的方法的流程图。应理解，该审查建筑图纸的方法可以由电子设备执行，并且电子设备的具体设备可根据实际需求来进行设置，本申请实施例并不局限于此。例如，该电子设备可以是计算机或者服务器等。具体地，该审查建筑图纸的方法，包括：

步骤S110，获取待审查的建筑图纸。其中，该建筑图纸并非是指纸质的图像，其可以是CAD图纸等电子图纸，并且该建筑图纸可以是指定建筑的电子图纸，以及该建筑图像包括屋面区域。

步骤S120，对待审查的建筑图纸进行图框检测，以获得屋面图框的图纸。

应理解，对待审查的建筑图纸进行图框检测的具体方法可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，可输入图纸进行图框检测，并且图框检测需要文字识别提取关于图签栏文字位置坐标，以及通过图签栏附件遍历符合制图标准大小线段再参考制图软件图层命名确定图框位置坐标，再通过数字图像处理轮廓边缘、连通域获取子图框位置通过图名识别子图框是否为屋面。

也就是说，可对输入的建筑图纸进行图框检测，如果一个图框出现屋面和其层平面(例如，标准层和一层等)进行拆分以获取真正的屋面平面图纸。

步骤S130，将屋面图框的图纸输入到预先训练好的图纸屋构件信息提取模型中，以获得输出结果。其中，输出结果包括屋面建筑拓扑关系(例如，门是在电梯上还是在房间上；楼梯上有多少台阶等)、基础构件信息(例如，在基础构件包括门、窗和墙的情况下，基础构件信息可包括门的位置坐标、窗的位置坐标和墙的位置坐标等)和屋面空间(例如，在基础构件包括门、窗和墙的情况下，由基础构件包围形成的空间，例如，由门、窗和墙包围形成的空间)的掩膜图像。

应理解，图纸屋构件信息提取模型的具体模型结构可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，如图2所示，图2示出了本申请实施例提供的一种图纸屋构件信息提取模型的示意图。如图2所示，该包括图像处理层、文字特征解析层和第一卷积层。

其中，该图纸屋构件信息提取模型的训练过程包括：

获取训练样本数据；其中，训练样本数据包括包括训练样本图纸和用于描述训练样本图纸中屋面的屋面建筑拓扑关系的训练样本文本，并且该训练样本图纸可以为屋面图框的图纸；

通过图像处理层对训练样本图纸进行相应处理，以获得信息解码操作结果；其中，信息解码操作结果可包括特征向量以及分割掩模图；

通过文字特征解析层对训练样本文本进行文字特征解析处理，以获得文本有序特征向量；其中，文本有序特征向量是通过对文本特征向量进行解码操作后得到的，并且文本特征向量可包括类别词、属性词和名词短语；

通过第一卷积层对信息解码操作结果和文本有序特征向量进行卷积处理，以获得训练输出结果；其中，训练输出结果包括屋面空间的掩膜图像训练结果、基础构件信息训练结果和屋面建筑拓扑关系训练结果。

应理解，图像处理层所包含的具体层、第一卷积层的具体层和文字特征解析层所包含的具体层均可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，如图2所示，该图像处理层包括多卷积层、第一特征融合层、第二卷积层、抽象特征提取层和第一特征金字塔层(即第一FPN层)；

其中，多卷积层中每个卷积层用于对训练样本图纸进行对应的卷积处理；第一特征融合层用于对每个卷积层输出的卷积结果进行特征融合；第二卷积层用于对第一特征融合层输出的特征融合结果进行卷积处理；抽象特征提取层用于基于第二卷积层的卷积结果去除屋面中的冗余看线并提取屋面抽象特征(也可称为屋面高阶特征)。其中，冗余看线主要是女儿墙线、排水管道线等，屋面抽象特征可以是屋面是否是上走屋面、屋面中变形缝抽象屋面属性特征等；第一特征金字塔层用于对屋面抽象特征进行信息解码操作，以得到信息解码操作结果。

还应理解，多卷积层的具体层结构、第一特征融合层的具体层结构、第二卷积层的具体层结构、抽象特征提取层的具体层结构和第一特征金字塔层的具体层结构均可根据实际需求来进行设置，本申请实施例并不局限于此。

可选地，如图2所示，多卷积层包括并列设置的第三卷积层、第一空洞卷积层、第二空洞卷积层和第三空洞卷积层。

其中，第一空洞卷积层的空洞系数小于第二空洞卷积层的空洞系数，并且第二空洞卷积层的空洞系数小于第三空洞卷积层的空洞系数，以及第一空洞卷积层的空洞系数、第二空洞卷积层的空洞系数和第三空洞卷积层的空洞系数均小于64。

优选地，第一空洞卷积层的空洞系数、第二空洞卷积层的空洞系数和第三空洞卷积层的空洞系数均为偶数。

例如，该第三卷积层可以是conv1*1，以及该第一空洞卷积层可以为conv3*3，且其空洞系数rate为4，以及该第二空洞卷积层可以为conv3*3，且其空洞系数rate为8，以及该第三空洞卷积层可以为conv3*3，且其空洞系数rate为16。

可选地，第一特征融合层可以为concat层。

可选地，第二卷积层可以为conv1*1。

可选地，该抽象特征提取层第二特征金字塔层、n个并列设置的特征层和用于对第二特征金字塔层(即第二FPN层)的输出结果和n个并列设置的特征层中每个特征层的输出结果进行特征融合的第二特征融合层，以及n个特征层中每个特征层均包括依次连接的第四卷积层、批归一化层(即BN层)和激活函数层(即Relu层)。

还应理解，抽象特征提取层所包含的每个层的具体层及其层结构均可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，该第四卷积层可以为conv3*3。

可选地，该第一卷积层可以为conv3*3。

因此，基于上述内容，通过第一空洞卷积层、第二空洞卷积层和第三空洞卷积层等多个卷积层进行合并，这样和普通卷积相比可以增加屋面图纸特征外轮廓边界感受野，不至于边界特征丢失。随后，再通过第二卷积层进入到抽象特征提取层进行N层操作，并通过第二卷积层进行FPN操作，以得到屋面空间、以及构件并进行通道Concat,获取屋面构件、空间视觉提取相应骨干几何，纹理，颜色等基础特征。

可选地，如图2所示，该文字特征解析层包括输入层、提示学习层和文本解码层；

其中，输入层用于获取输入的训练样本文本；提示学习层用于从训练样本文本中提取出文本特征向量；文本解码层用于对文本特征向量进行文本解码编译，得到文本有序特征向量。

其中，该文本特征向量可包括类别词、属性词和名词短语。例如，在训练样本文本为屋面中楼梯空间有10阶蓝色直线台阶并且M1022弧线形状平开门的情况下，文本特征向量可包括蓝色、直线、弧线和门等。

还应理解，该文字特征解析层所包含的层的具体层及其层结构可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，该提示学习层所使用的文本提示学习是一种利用文本来指导或激发图像识别模型完成特定任务拓扑关系，并且其是一种有监督的学习方法，可以通过文本提示来不断优化模型的表现，从而降低纯视觉错误率。以及，该提示学习层可由多层Transform层组成。

也就是说，建筑逻辑的拓扑联系再需要文本特征几何，文本特征首先需要将文本进行解析，提取文本从句子中使用机器学习(例如，隐马尔可夫模型、HMM)或者深度学习方法(例如，Bert)出类别词、属性和名词短语进行文本提示学习，再进行Transform或者自注意力机制进行文本解码编译，得到文本有序特征向量，本申请结合文本建筑屋面逻辑专业解析词汇拓扑建筑联系，即同时定位目标并推断它们的建筑逻辑语义关系和视觉属性结合实现多模型识别模型。同时在训练过程中网络训练过程前向传播使用积分神经网络连续函数表示权重，并通过连续积分操作替换传统的神经网络模型使用离散权重张量表示前向传播网络层的权重，显著提升屋面图纸解析的实时性，同时提高训练和测试速度。以及，结合训练提示式学习理解构件以及空间的属性可以极大地促进学习屋面空间拓扑关系，屋面建筑业务抽象逻辑极大提高屋面图框小目标构件、空间识别，实现一个端到端构屋面信息解析拓扑图谱建立，该网络结构不仅适用屋面同时还适用于机房、阁楼图纸信息解析。

步骤S140，基于屋面建筑拓扑关系进行屋面到顶层平面的空间映射，以获得空间映射结果。

应理解，空间映射结果的具体结果可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，在屋顶有水箱的情况下，又有水箱有相关规范(例如，水箱不能建立在卧室的上方等)，从而可确定当前这个房间是否是卧室，并并且基于屋面的拓扑关系和屋面到顶层平面进行空间映射。

步骤S150，基于输出结果和空间映射结果对屋面图框的图纸进行屋面规范审查，以得到屋面规范审查结果。

具体地，可将输出结果和空间映射结果存储到关系数据库中，并可基于关系数据库中存储的输出结果和空间映射结果对屋面图框的图纸进行屋面规范审查，以得到屋面规范审查结果。

因此，借助于上述技术方案，本申请实施例通过获取待审查的建筑图纸，以及对待审查的建筑图纸进行图框检测，以获得屋面图框的图纸，以及将屋面图框的图纸输入到预先训练好的图纸屋构件信息提取模型中，以获得输出结果；其中，输出结果包括屋面建筑拓扑关系，以及基于屋面建筑拓扑关系进行屋面到顶层平面的空间映射，以获得空间映射结果，以及基于输出结果和空间映射结果对屋面图框的图纸进行屋面规范审查，以得到屋面规范审查结果，从而不仅可能够实现屋面图纸审查，还可提高图纸屋面识别、定位准确率。

应理解，上述审查建筑图纸的方法仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，该变形之后的方案也属于本申请的保护范围。

本申请提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行实施例所述的方法。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。