基于深度学习的模块化建筑增强现实辅助施工方法及装置

技术领域

本发明涉及建筑模型空间定位技术领域，尤其涉及基于深度学习的模块化建筑增强现实辅助施工方法及装置。

背景技术

传统建筑形式在建筑工业化转型过程中，存在两个痛点，一是施工阶段的传统的墨线放线的方法，误差大效率低，并且难以形成有效的三维空间定位，导致建筑施工误差成为了常见的质量通病。二是项目交付后，机电水暖等隐蔽工程信息缺失或者不准确，给后期维修检测带来极大的困扰。并且近年来新兴的模块化建筑，将现场工作几乎全部转移到了工厂，场景和设备都可以满足工业化生产要求的前提下，传统的放线测量方法成为制约工厂制作的一大瓶颈，同时模块化建筑具备可拆除重建的优势，这一过程中需要对建筑内部构造有直观清晰准确的了解。

针对上述情况，市场上已经存在一定数量的辅助施工应用，主要基于SLAM空间定位、UWB等有源传感器定位、Lighthouse定位、GPS定位与北斗卫星定位等。然而上述技术都难以在工程项目中真正指导施工，一是依靠传感器定位的方式，设备投入较大，且布设要求高，占据施工面；二是单纯依靠 SLAM视觉定位或GPS技术的施工精度无法最小也在1cm以上，一般在3cm以上，无法满足施工的精度要求。

发明内容

本发明实施例提供了基于深度学习的模块化建筑增强现实辅助施工方法及装置，旨在解决现有技术中辅助施工应用中依靠传感器定位的方式实现建筑空间定位，设备投入较大，且布设要求高，而且定位精度不高的问题。

第一方面，本发明实施例提供了一种基于深度学习的模块化建筑增强现实辅助施工方法，其包括：

响应于模块化建筑定位指令，基于激光雷达扫描及模型匹配获取待定位模块化建筑的当前建筑模块模型；

基于预设的粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，得到粗定位建筑模块模型；

基于预设的精细定位策略对所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位，得到精细定位建筑模块模型；其中，所述精细定位策略用于基于循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配以得到对齐匹配结果；

若确定获取到针对所述精细定位建筑模块模型的当前操作指令，则获取与所述当前操作指令对应的模型操作数据，并对应响应所述当前操作指令。

第二方面，本发明实施例还提供了一种基于深度学习的模块化建筑增强现实辅助施工装置，其包括：

当前建筑模块模型获取单元，用于响应于模块化建筑定位指令，基于激光雷达扫描及模型匹配获取待定位模块化建筑的当前建筑模块模型；

粗略定位单元，用于基于预设的粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，得到粗定位建筑模块模型；

精细定位单元，用于基于预设的精细定位策略对所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位，得到精细定位建筑模块模型；其中，所述精细定位策略用于基于循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配以得到对齐匹配结果；

模型操作控制单元，用于若确定获取到针对所述精细定位建筑模块模型的当前操作指令，则获取与所述当前操作指令对应的模型操作数据，并对应响应所述当前操作指令。

第三方面，本发明实施例还提供了一种计算机设备；所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法。

本发明实施例提供了基于深度学习的模块化建筑增强现实辅助施工方法及装置，方法包括：响应于模块化建筑定位指令，基于激光雷达扫描及模型匹配获取待定位模块化建筑的当前建筑模块模型；基于粗定位策略对当前建筑模块模型与待定位模块化建筑进行粗定位，得到粗定位建筑模块模型；基于精细定位策略对粗定位建筑模块模型与待定位模块化建筑进行精细定位，得到精细定位建筑模块模型； 若确定获取到针对精细定位建筑模块模型的当前操作指令，则获取与当前操作指令对应的模型操作数据。本发明实施例能实现三维虚拟空间中的当前建筑模块模型与待定位模块化建筑的快速对齐后，通过精细定位建筑模块模型用作待定位模块化建筑的施工辅助模型。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的应用场景示意图；

图2为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的流程示意图；

图3为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的子流程示意图；

图4为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的另一子流程示意图；

图5为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的又一子流程示意图；

图6为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的再一子流程示意图；

图7为本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工装置的示意性框图；

图8为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请同时参阅图1和图2，图1为本发明实施例基于深度学习的模块化建筑增强现实辅助施工方法的场景示意图，图2是本发明实施例提供的基于深度学习的模块化建筑增强现实辅助施工方法的流程示意图。该方法应用于用户终端10，用户终端10可与服务器20通讯，以定期或即时的从服务器20中获取更新数据。如图2所示，该方法包括以下步骤S110-S140。

S110、响应于模块化建筑定位指令，基于激光雷达扫描及模型匹配获取待定位模块化建筑的当前建筑模块模型。

在本实施例中，是以用户终端为执行主体描述技术方案。本申请中的用户终端是指带有图像采集装置（如摄像头）且具有LiDAR功能（也即激光扫描功能）的智能设备，如增强现实眼镜（即AR眼镜）、智能手机、平板电脑等。用户可以使用用户终端针对待定位模块化建筑进行拍照和激光雷达扫描得到扫描的建筑三维模型（也可以理解为初始扫描模型），之后在用户终端的标准模型库中快速获取到建筑三维模型对应的当前建筑模块模型，以用于后续的辅助施工。

其中，待定位模块化建筑可以理解为三维模块化建筑（MiC），三维模块化建筑这一类型建筑是将建筑拆解为标准三维模块在工厂生产制造，运输至施工现场后在现场只需要简单的装配。例如，本申请中以待定位模块化建筑被放置于生产工厂或施工现场为具体场景均可。之后用户可使用用户终端对待定位模块化建筑进行拍摄和扫描，从而初始得到当前建筑模块模型。

在一实施例中，如图3所示，步骤S110包括：

S111、基于激光雷达扫描获取所述待定位模块化建筑的初始扫描模型；

S112、将所述初始扫描模型与本地预先存储的标准模型库中各标准模块化建筑模型进行图形相似匹配，得到匹配结果；

S113、若确定所述匹配结果不为空集，且确定所述匹配结果对应的标准模块化建筑模型与所述初始扫描模型之间具有最大图形相似度，则以所述匹配结果对应的标准模块化建筑模型作为所述当前建筑模块模型。

在本实施例中，以待定位模块化建筑放置于生产工厂为例，当其完成了生产后，可以使用用户终端对其进行基于增强现实的产品质检、施工指引或者是维护指引。例如，通过用户终端的图像采集装置可以先粗略定位到待定位模块化建筑的方位，之后再通过激光雷达对待定位模块化建筑进行激光雷达扫描获取到所述待定位模块化建筑的初始扫描模型（例如是通过用户终端的激光扫描功能扫描到了所述待定位模块化建筑的部分关键点云信息后对其三维模型进行还原即得到初始扫描模型）。

因待定位模块化建筑是标准加工模块，故通过不同的生产厂商对同一待定位模块化建筑进行生产，其最终生产得到的待定位模块化建筑均需对应同一标准化建筑模型。也就是在用户终端的本地数据库中可以预先存储多个模块化建筑模型，例如模块化建筑模型A1对应一个B1类型建筑、模块化建筑模型A2对应一个B2类型建筑、模块化建筑模型A3对应一个B3类型建筑等。当基于激光雷达扫描获取所述待定位模块化建筑的初始扫描模型后，可以将初始扫描模型作为比较对象，将其与用户终端的标准模型库中各标准模块化建筑模型进行图形相似匹配，最终获取得到与所述初始扫描模型之间具有最大图形相似度的标准模块化建筑模型以作为所述当前建筑模块模型。可见，上述过程中只需用户终端基于激光雷达功能对待定位模块化建筑进行粗略的快速扫描得到初始扫描模型后，即可在本地的标准模型库中进行模型匹配，以快速得到与初始扫描模型之间具有最大图形相似度的标准模块化建筑模型以作为当前建筑模块模型。

在一实施例中，如图3所示，在步骤S112之后还包括：

S114、若确定所述匹配结果为空集，则生成与所述待定位模块化建筑对应的模型手动导入提示信息，并获取与所述模型手动导入提示信息对应的当前导入模型作为所述当前建筑模块模型。

在本实施例中，当用户在用户终端自动确定了未在本地的标准模型库中匹配到当前建筑模块模型时，可以在接收到模型手动导入提示信息后，及时的从云服务器中下载与初始扫描模型最类似的建筑模块模型，并以该选定的建筑模块模型作为当前建筑模块模型。基于上述方式，可以确保在用户终端中最终获取到后续处理所需要的建筑模块模型。

S120、基于预设的粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，得到粗定位建筑模块模型。

在本实施例中，因当前得到的当前建筑模块模型在三维虚拟空间中的摆放位置还未与待定位模块化建筑在物理世界中的真实位置对齐，故还需要采用其他处理来实现当前建筑模块模型在三维虚拟空间中的摆放位置与待定位模块化建筑在物理世界中的真实位置对齐。其中，在本申请中先采用粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，即先将当前建筑模块模型与所述待定位模块化建筑大致对齐（即经过这一粗对齐处理后，两者之间的对齐还存在几厘米的差距，需要进一步精准对齐），得到粗定位建筑模块模型。

在一实施例中，如图4所示，步骤S120包括：

S121、基于所述粗定位策略获取所述待定位模块化建筑对应的当前图像识别框区域；

S122、以所述当前图像识别框区域对应的定位区域作为所述当前建筑模块模型的粗定位区域，并将所述当前建筑模块模型移动至所述粗定位区域，得到所述粗定位建筑模块模型。

在本实施例中，在进行粗定位时，可以结合图像识别技术，即先通过粗定位策略中的目标检测模型获取到所述待定位模块化建筑对应的当前图像识别框区域。在已知了待定位模块化建筑对应的当前图像识别框区域，就获知了所述当前建筑模块模型的目标移动区域。当将所述当前建筑模块模型移动至所述粗定位区域，相当于将初始生成位置的当前建筑模块模型的定位位置移动至粗定位区域，使得所述当前建筑模块模型在三维虚拟空间中的摆放位置大致与物理世界中的所述待定位模块化建筑对齐。而且，此时可将位置变换过后的当前建筑模块模型记为粗定位建筑模块模型。

S130、基于预设的精细定位策略对所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位，得到精细定位建筑模块模型。

其中，所述精细定位策略用于基于循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配以得到对齐匹配结果。

在本实施例中，之前的粗定位采用的图像识别技术，而此处进行的精细定位，则是采用的循环神经网络。通过循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配，可以得到最终的对齐匹配结果。

在一实施例中，如图5所示，步骤S130包括：

S131、获取所述粗定位建筑模块模型和所述待定位模块化建筑的点云数据集；

S132、基于所述粗定位建筑模块模型的内部空间复杂度类型确定所述粗定位建筑模块模型中所包括的模型关键特征点集合；

S133、基于预设的特征值提取策略获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合；

S134、基于所述第一特征值集合、所述第二特征值集合、所述第一特征值集合与所述第二特征值集合之间的欧氏距离，构建循环神经网络，输出得到立体匹配参数；

S135、基于所述立体匹配参数对所述粗定位建筑模块模型进行调整，得到精细定位建筑模块模型。

在本实施例中，在进行所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位后，能实现所述当前建筑模块模型在三维虚拟空间中的摆放位置精确与物理世界中的所述待定位模块化建筑对齐，精细定位的具体的处理过程入下：

1）获取到所述粗定位建筑模块模型和所述待定位模块化建筑的点云数据集作为输入信息；其中，所述待定位模块化建筑的点云数据集是基于激光雷达扫描所述待定位模块化建筑后得到；

2）获取所述粗定位建筑模块模型的模块类型（如办公类建筑模块、公寓类模块等），根据所述模块类型确定所述粗定位建筑模块模型的内部空间复杂度类型，然后根据粗定位建筑模块模型的内部空间复杂度类型来对粗定位建筑模块模型划分相应密度的表面网格（例如粗定位建筑模块模型的模块类型为办公类建筑模块时对应第一表面网格划分密度，粗定位建筑模块模型的模块类型为公寓类模块时对应第二表面网格划分密度，其中第二表面网格划分密度大于第一表面网格划分密度），最后从粗定位建筑模块模型的表面网格中选取一定数量（如占粗定位建筑模块模型的表面网格中所有表面关键点中总数量50%以上）的模型关键特征点，从而组成所述模型关键特征点集合；

3）获取预设的特征值提取策略，通过所述特征值提取策略分别在所述模型关键特征点集合及所述点云数据集中进行特征值提取，得到与所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合；

4）基于所述第一特征值集合、所述第二特征值集合、所述第一特征值集合与所述第二特征值集合中各相应特征值之间的欧氏距离，构建循环神经网络，输出得到立体匹配参数；例如，在所述第一特征值集合包括N1个特征值（N1为正整数），在所述第二特征值集合包括N2个特征值（N2为正整数，且N2=N1），此时获取到第一特征值集合中第i个特征值与第二特征值集合中第i个特征值之间的欧氏距离作为第i组特征值欧氏距离（i的取值范围是1至N1），并由第一特征值集合中第i个特征值、第二特征值集合中第i个特征值及第i组特征值欧氏距离组成第i输入向量；在获取到了第i输入向量至第N1输入向量，以其中每一个输入向量组成一个行向量拼接成一个综合输入向量，之后输入至3D循环神经网络，得到立体匹配参数；

5）根据所述立体匹配参数对所述粗定位建筑模块模型进行调整，得到精细定位建筑模块模型；该精细定位建筑模块模型可以视为与物理世界中的所述待定位模块化建筑对齐。

可见，基于上述处理方式，可以在进行了当前建筑模块模型与定位模块化建筑的粗略定位后，再次基于精细定位调整对齐结果，以尽量消除当前建筑模块模型与待定位模块化建筑的对齐误差。

在一实施例中，步骤S132包括：

获取所述粗定位建筑模块模型的模块类型，并获取与所述模块类型对应的内部空间复杂度类型；

获取与所述内部空间复杂度类型对应的目标预设表面网格划分密度；

基于所述目标预设表面网格划分密度对所述粗定位建筑模块模型进行划分，得到当前表面网格划分结果；

获取所述当前表面网格划分结果中所包括各表面关键点的线性度和散度，并基于各表面关键点的线性度和散度进行降序排序，得到关键点排序结果；

基于预设的关键点获取比例值从所述关键点排序结果获取相应个数的模型关键特征点，得到所述模型关键特征点集合。

在本实施例中，仍参照上述示例，是先获取所述粗定位建筑模块模型的模块类型（如为办公类建筑模块、公寓类模块等类型中的其中一种）。然后根据所述模块类型确定所述粗定位建筑模块模型的内部空间复杂度类型，例如办公类建筑模块对应一个简单模块类型、公寓类模块对应一个复杂模块类型。之后根据粗定位建筑模块模型的内部空间复杂度类型来对粗定位建筑模块模型划分相应密度的表面网格，例如粗定位建筑模块模型的模块类型为办公类建筑模块时对应第一表面网格划分密度，粗定位建筑模块模型的模块类型为公寓类模块时对应第二表面网格划分密度，其中第二表面网格划分密度大于第一表面网格划分密度。之后获取与所述内部空间复杂度类型对应的目标预设表面网格划分密度；并基于所述目标预设表面网格划分密度对所述粗定位建筑模块模型进行划分，得到当前表面网格划分结果；并获取所述当前表面网格划分结果中所包括各表面关键点的线性度和散度，并基于各表面关键点的线性度和散度进行降序排序，得到关键点排序结果。最后从粗定位建筑模块模型的关键点排序结果中获取排名前50%以上的模型关键特征点，从而组成所述模型关键特征点集合。可见，基于上述基于粗定位建筑模块模型的内部空间复杂度类型来筛选获取模型关键特征点集合，充分考虑到了各表面关键点的线性度和散度的影响，使得筛选结果更加合理准确。

在一实施例中，所述特征值提取策略为mini-PointNet提取策略，步骤S133包括：

获取所述模型关键特征点集合中每一模型关键特征点对应的四维信息；其中，每一模型关键特征点对应的四维信息包括三维空间坐标和反射向量；

获取所述点云数据集中每一点云数据对应的四维信息；其中，每一点云数据对应的四维信息包括三维空间坐标和反射向量；

基于所述mini-PointNet提取策略及预设的共享参数机制获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合。

在本实施例中，采用的特征值提取策略为mini-PointNet提取策略，而且两个mini-PointNet提取策略是采用了共享参数机制，这样当获取所述模型关键特征点集合中每一模型关键特征点对应的四维信息及所述点云数据集中每一点云数据对应的四维信息后，即可基于所述mini-PointNet提取策略及预设的共享参数机制获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合。

例如，以所述模型关键特征点集合的特征值获取为例，若模型关键特征点集合包括n个模型关键特征点（其中，n是正整数），则可以先选取与这n个模型关键特征点相邻的2

S140、若确定获取到针对所述精细定位建筑模块模型的当前操作指令，则获取与所述当前操作指令对应的模型操作数据，并对应响应所述当前操作指令。

在本实施例中，当完成了精细定位建筑模块模型在三维虚拟空间中与待定位模块化建筑在物理世界中的对齐处理之后，则可以使用精细定位建筑模块模型对待定位模块化建筑在物理世界中的辅助施工。例如，精细定位建筑模块模型是一个完整的模块化建筑产品标准模型，若待定位模块化建筑相对于精细定位建筑模块模型相比，待定位模块化建筑还缺一些管线需要继续布置，则可以参考精细定位建筑模块模型中的模型数据以指导当前继续对待定位模块化建筑进行施工，使其最终完全与精细定位建筑模块模型一致。可见，基于三维虚拟空间中的精细定位建筑模块模型可以作为待定位模块化建筑的辅助施工模型，以辅助指导待定位模块化建筑的施工。

在一实施例中，如图6所示，步骤S140包括：

S141、若确定所述当前操作指令为建筑质检指令，则将所述精细定位建筑模块模型与所述待定位模块化建筑的比对结果作为所述模型操作数据，并将所述模型操作数据进行显示；

S142、若确定所述当前操作指令为建筑维护指令，则将所述精细定位建筑模块模型的显性模型数据和隐性模型数据作为所述模型操作数据，并将所述模型操作数据进行显示；

S143、若确定所述当前操作指令为施工指导指令，则将所述精细定位建筑模块模型的完整模型数据作为所述模型操作数据，并将所述模型操作数据进行显示。

在本实施例中，针对精细定位建筑模块模型，可以对待定位模块化建筑至少进行以下三种具体场景的应用，具体如下：

1）建筑质检：即当获取到了精细定位建筑模块模型且完成了与待定位模块化建筑的对齐之后，可以在用户终端中直观的比对虚拟的精细定位建筑模块模型之间的差异数据作为比对结果，从而实现对待定位模块化建筑的增强现实式的建筑质检；

2）建筑维护：即当待定位模块化建筑是已经实现了在施工现场的部署并投入了具体使用中一段时间后，若待定位模块化建筑中有一些管路、开关等部件发生故障需要更换时，若这些管路、开关等部件是设置于墙体内不便于直观看到时，此时可以基于所述精细定位建筑模块模型的显性模型数据和隐性模型数据进行展示，用户通过在用户终端上查看显性模型数据和隐性模型数据即可用于指导本次的维修工作；

3）施工指导：即当获取到了精细定位建筑模块模型且完成了与待定位模块化建筑的对齐之后，若待定位模块化建筑是一个未完成所有施工的产品，则可以参考所述精细定位建筑模块模型的完整模型数据以指导待定位模块化建筑的继续施工。

可见，实施该方法的实施例能实现三维虚拟空间中的当前建筑模块模型与待定位模块化建筑的快速对齐后，并通过与当前建筑模块模型对应的精细定位建筑模块模型用作待定位模块化建筑的施工辅助模型。

图7是本发明实施例提供的一种基于深度学习的模块化建筑增强现实辅助施工装置的示意性框图。如图7所示，对应于以上基于深度学习的模块化建筑增强现实辅助施工方法，本发明还提供一种基于深度学习的模块化建筑增强现实辅助施工装置100。该基于深度学习的模块化建筑增强现实辅助施工装置包括：当前建筑模块模型获取单元110、粗略定位单元120、精细定位单元130和模型操作控制单元140。

当前建筑模块模型获取单元110，用于响应于模块化建筑定位指令，基于激光雷达扫描及模型匹配获取待定位模块化建筑的当前建筑模块模型。

在本实施例中，是以用户终端为执行主体描述技术方案。本申请中的用户终端是指带有图像采集装置（如摄像头）且具有LiDAR功能（也即激光扫描功能）的智能设备，如增强现实眼镜（即AR眼镜）、智能手机、平板电脑等。用户可以使用用户终端针对待定位模块化建筑进行拍照和激光雷达扫描得到扫描的建筑三维模型（也可以理解为初始扫描模型），之后在用户终端的标准模型库中快速获取到建筑三维模型对应的当前建筑模块模型，以用于后续的辅助施工。

其中，待定位模块化建筑可以理解为三维模块化建筑（MiC），三维模块化建筑这一类型建筑是将建筑拆解为标准三维模块在工厂生产制造，运输至施工现场后在现场只需要简单的装配。例如，本申请中以待定位模块化建筑被放置于生产工厂或施工现场为具体场景均可。之后用户可使用用户终端对待定位模块化建筑进行拍摄和扫描，从而初始得到当前建筑模块模型。

在一实施例中，当前建筑模块模型获取单元110具体用于：

基于激光雷达扫描获取所述待定位模块化建筑的初始扫描模型；

将所述初始扫描模型与本地预先存储的标准模型库中各标准模块化建筑模型进行图形相似匹配，得到匹配结果；

若确定所述匹配结果不为空集，且确定所述匹配结果对应的标准模块化建筑模型与所述初始扫描模型之间具有最大图形相似度，则以所述匹配结果对应的标准模块化建筑模型作为所述当前建筑模块模型。

在本实施例中，以待定位模块化建筑放置于生产工厂为例，当其完成了生产后，可以使用用户终端对其进行基于增强现实的产品质检、施工指引或者是维护指引。例如，通过用户终端的图像采集装置可以先粗略定位到待定位模块化建筑的方位，之后再通过激光雷达对待定位模块化建筑进行激光雷达扫描获取到所述待定位模块化建筑的初始扫描模型（例如是通过用户终端的激光扫描功能扫描到了所述待定位模块化建筑的部分关键点云信息后对其三维模型进行还原即得到初始扫描模型）。

因待定位模块化建筑是标准加工模块，故通过不同的生产厂商对同一待定位模块化建筑进行生产，其最终生产得到的待定位模块化建筑均需对应同一标准化建筑模型。也就是在用户终端的本地数据库中可以预先存储多个模块化建筑模型，例如模块化建筑模型A1对应一个B1类型建筑、模块化建筑模型A2对应一个B2类型建筑、模块化建筑模型A3对应一个B3类型建筑等。当基于激光雷达扫描获取所述待定位模块化建筑的初始扫描模型后，可以将初始扫描模型作为比较对象，将其与用户终端的标准模型库中各标准模块化建筑模型进行图形相似匹配，最终获取得到与所述初始扫描模型之间具有最大图形相似度的标准模块化建筑模型以作为所述当前建筑模块模型。可见，上述过程中只需用户终端基于激光雷达功能对待定位模块化建筑进行粗略的快速扫描得到初始扫描模型后，即可在本地的标准模型库中进行模型匹配，以快速得到与初始扫描模型之间具有最大图形相似度的标准模块化建筑模型以作为当前建筑模块模型。

在一实施例中，当前建筑模块模型获取单元110还具体用于：

若确定所述匹配结果为空集，则生成与所述待定位模块化建筑对应的模型手动导入提示信息，并获取与所述模型手动导入提示信息对应的当前导入模型作为所述当前建筑模块模型。

在本实施例中，当用户在用户终端自动确定了未在本地的标准模型库中匹配到当前建筑模块模型时，可以在接收到模型手动导入提示信息后，及时的从云服务器中下载与初始扫描模型最类似的建筑模块模型，并以该选定的建筑模块模型作为当前建筑模块模型。基于上述方式，可以确保在用户终端中最终获取到后续处理所需要的建筑模块模型。

粗略定位单元120，用于基于预设的粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，得到粗定位建筑模块模型。

在本实施例中，因当前得到的当前建筑模块模型在三维虚拟空间中的摆放位置还未与待定位模块化建筑在物理世界中的真实位置对齐，故还需要采用其他处理来实现当前建筑模块模型在三维虚拟空间中的摆放位置与待定位模块化建筑在物理世界中的真实位置对齐。其中，在本申请中先采用粗定位策略对所述当前建筑模块模型与所述待定位模块化建筑进行粗定位，即先将当前建筑模块模型与所述待定位模块化建筑大致对齐（即经过这一粗对齐处理后，两者之间的对齐还存在几厘米的差距，需要进一步精准对齐），得到粗定位建筑模块模型。

在一实施例中，粗略定位单元120具体用于：

基于所述粗定位策略获取所述待定位模块化建筑对应的当前图像识别框区域；

以所述当前图像识别框区域对应的定位区域作为所述当前建筑模块模型的粗定位区域，并将所述当前建筑模块模型移动至所述粗定位区域，得到所述粗定位建筑模块模型。

在本实施例中，在进行粗定位时，可以结合图像识别技术，即先通过粗定位策略中的目标检测模型获取到所述待定位模块化建筑对应的当前图像识别框区域。在已知了待定位模块化建筑对应的当前图像识别框区域，就获知了所述当前建筑模块模型的目标移动区域。当将所述当前建筑模块模型移动至所述粗定位区域，相当于将初始生成位置的当前建筑模块模型的定位位置移动至粗定位区域，使得所述当前建筑模块模型在三维虚拟空间中的摆放位置大致与物理世界中的所述待定位模块化建筑对齐。而且，此时可将位置变换过后的当前建筑模块模型记为粗定位建筑模块模型。

精细定位单元130，用于基于预设的精细定位策略对所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位，得到精细定位建筑模块模型。

其中，所述精细定位策略用于基于循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配以得到对齐匹配结果。

在本实施例中，之前的粗定位采用的图像识别技术，而此处进行的精细定位，则是采用的循环神经网络。通过循环神经网络对所述粗定位建筑模块模型的关键点集与所述待定位模块化建筑的扫描点云进行立体匹配，可以得到最终的对齐匹配结果。

在一实施例中，精细定位单元130具体用于：

获取所述粗定位建筑模块模型和所述待定位模块化建筑的点云数据集；

基于所述粗定位建筑模块模型的内部空间复杂度类型确定所述粗定位建筑模块模型中所包括的模型关键特征点集合；

基于预设的特征值提取策略获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合；

基于所述第一特征值集合、所述第二特征值集合、所述第一特征值集合与所述第二特征值集合之间的欧氏距离，构建循环神经网络，输出得到立体匹配参数；

基于所述立体匹配参数对所述粗定位建筑模块模型进行调整，得到精细定位建筑模块模型。

在本实施例中，在进行所述粗定位建筑模块模型与所述待定位模块化建筑进行精细定位后，能实现所述当前建筑模块模型在三维虚拟空间中的摆放位置精确与物理世界中的所述待定位模块化建筑对齐，精细定位的具体的处理过程入下：

1）获取到所述粗定位建筑模块模型和所述待定位模块化建筑的点云数据集作为输入信息；其中，所述待定位模块化建筑的点云数据集是基于激光雷达扫描所述待定位模块化建筑后得到；

2）获取所述粗定位建筑模块模型的模块类型（如办公类建筑模块、公寓类模块等），根据所述模块类型确定所述粗定位建筑模块模型的内部空间复杂度类型，然后根据粗定位建筑模块模型的内部空间复杂度类型来对粗定位建筑模块模型划分相应密度的表面网格（例如粗定位建筑模块模型的模块类型为办公类建筑模块时对应第一表面网格划分密度，粗定位建筑模块模型的模块类型为公寓类模块时对应第二表面网格划分密度，其中第二表面网格划分密度大于第一表面网格划分密度），最后从粗定位建筑模块模型的表面网格中选取一定数量（如占粗定位建筑模块模型的表面网格中所有表面关键点中总数量50%以上）的模型关键特征点，从而组成所述模型关键特征点集合；

3）获取预设的特征值提取策略，通过所述特征值提取策略分别在所述模型关键特征点集合及所述点云数据集中进行特征值提取，得到与所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合；

4）基于所述第一特征值集合、所述第二特征值集合、所述第一特征值集合与所述第二特征值集合中各相应特征值之间的欧氏距离，构建循环神经网络，输出得到立体匹配参数；例如，在所述第一特征值集合包括N1个特征值（N1为正整数），在所述第二特征值集合包括N2个特征值（N2为正整数，且N2=N1），此时获取到第一特征值集合中第i个特征值与第二特征值集合中第i个特征值之间的欧氏距离作为第i组特征值欧氏距离（i的取值范围是1至N1），并由第一特征值集合中第i个特征值、第二特征值集合中第i个特征值及第i组特征值欧氏距离组成第i输入向量；在获取到了第i输入向量至第N1输入向量，以其中每一个输入向量组成一个行向量拼接成一个综合输入向量，之后输入至3D循环神经网络，得到立体匹配参数；

5）根据所述立体匹配参数对所述粗定位建筑模块模型进行调整，得到精细定位建筑模块模型；该精细定位建筑模块模型可以视为与物理世界中的所述待定位模块化建筑对齐。

可见，基于上述处理方式，可以在进行了当前建筑模块模型与定位模块化建筑的粗略定位后，再次基于精细定位调整对齐结果，以尽量消除当前建筑模块模型与定位模块化建筑的对齐误差。

在一实施例中，所述基于所述粗定位建筑模块模型的内部空间复杂度类型确定所述粗定位建筑模块模型中所包括的模型关键特征点集合，包括：

获取所述粗定位建筑模块模型的模块类型，并获取与所述模块类型对应的内部空间复杂度类型；

获取与所述内部空间复杂度类型对应的目标预设表面网格划分密度；

基于所述目标预设表面网格划分密度对所述粗定位建筑模块模型进行划分，得到当前表面网格划分结果；

获取所述当前表面网格划分结果中所包括各表面关键点的线性度和散度，并基于各表面关键点的线性度和散度进行降序排序，得到关键点排序结果；

基于预设的关键点获取比例值从所述关键点排序结果获取相应个数的模型关键特征点，得到所述模型关键特征点集合。

在本实施例中，仍参照上述示例，是先获取所述粗定位建筑模块模型的模块类型（如为办公类建筑模块、公寓类模块等类型中的其中一种）。然后根据所述模块类型确定所述粗定位建筑模块模型的内部空间复杂度类型，例如办公类建筑模块对应一个简单模块类型、公寓类模块对应一个复杂模块类型。之后根据粗定位建筑模块模型的内部空间复杂度类型来对粗定位建筑模块模型划分相应密度的表面网格，例如粗定位建筑模块模型的模块类型为办公类建筑模块时对应第一表面网格划分密度，粗定位建筑模块模型的模块类型为公寓类模块时对应第二表面网格划分密度，其中第二表面网格划分密度大于第一表面网格划分密度。之后获取与所述内部空间复杂度类型对应的目标预设表面网格划分密度；并基于所述目标预设表面网格划分密度对所述粗定位建筑模块模型进行划分，得到当前表面网格划分结果；并获取所述当前表面网格划分结果中所包括各表面关键点的线性度和散度，并基于各表面关键点的线性度和散度进行降序排序，得到关键点排序结果。最后从粗定位建筑模块模型的关键点排序结果中获取排名前50%以上的模型关键特征点，从而组成所述模型关键特征点集合。可见，基于上述基于粗定位建筑模块模型的内部空间复杂度类型来筛选获取模型关键特征点集合，充分考虑到了各表面关键点的线性度和散度的影响，使得筛选结果更加合理准确。

在一实施例中，所述特征值提取策略为mini-PointNet提取策略，所述基于预设的特征值提取策略获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合，包括：

获取所述模型关键特征点集合中每一模型关键特征点对应的四维信息；其中，每一模型关键特征点对应的四维信息包括三维空间坐标和反射向量；

获取所述点云数据集中每一点云数据对应的四维信息；其中，每一点云数据对应的四维信息包括三维空间坐标和反射向量；

基于所述mini-PointNet提取策略及预设的共享参数机制获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合。

在本实施例中，采用的特征值提取策略为mini-PointNet提取策略，而且两个mini-PointNet提取策略是采用了共享参数机制，这样当获取所述模型关键特征点集合中每一模型关键特征点对应的四维信息及所述点云数据集中每一点云数据对应的四维信息后，即可基于所述mini-PointNet提取策略及预设的共享参数机制获取所述模型关键特征点集合对应的第一特征值集合，及与所述点云数据集对应的第二特征值集合。

例如，以所述模型关键特征点集合的特征值获取为例，若模型关键特征点集合包括n个模型关键特征点（其中，n是正整数），则可以先选取与这n个模型关键特征点相邻的2

模型操作控制单元140，用于若确定获取到针对所述精细定位建筑模块模型的当前操作指令，则获取与所述当前操作指令对应的模型操作数据，并对应响应所述当前操作指令。

在本实施例中，当完成了精细定位建筑模块模型在三维虚拟空间中与待定位模块化建筑在物理世界中的对齐处理之后，则可以使用精细定位建筑模块模型对待定位模块化建筑在物理世界中的辅助施工。例如，精细定位建筑模块模型是一个完整的模块化建筑产品标准模型，若待定位模块化建筑相对于精细定位建筑模块模型相比，待定位模块化建筑还缺一些管线需要继续布置，则可以参考精细定位建筑模块模型中的模型数据以指导当前继续对待定位模块化建筑进行施工，使其最终完全与精细定位建筑模块模型一致。可见，基于三维虚拟空间中的精细定位建筑模块模型可以作为待定位模块化建筑的辅助施工模型，以辅助指导待定位模块化建筑的施工。

在一实施例中，模型操作控制单元140具体用于：

若确定所述当前操作指令为建筑质检指令，则将所述精细定位建筑模块模型与所述待定位模块化建筑的比对结果作为所述模型操作数据，并将所述模型操作数据进行显示；

若确定所述当前操作指令为建筑维护指令，则将所述精细定位建筑模块模型的显性模型数据和隐性模型数据作为所述模型操作数据，并将所述模型操作数据进行显示；

若确定所述当前操作指令为施工指导指令，则将所述精细定位建筑模块模型的完整模型数据作为所述模型操作数据，并将所述模型操作数据进行显示。

在本实施例中，针对精细定位建筑模块模型，可以对待定位模块化建筑至少进行以下三种具体场景的应用，具体如下：

1）建筑质检：即当获取到了精细定位建筑模块模型且完成了与待定位模块化建筑的对齐之后，可以在用户终端中直观的比对虚拟的精细定位建筑模块模型之间的差异数据作为比对结果，从而实现对待定位模块化建筑的增强现实式的建筑质检；

2）建筑维护：即当待定位模块化建筑是已经实现了在施工现场的部署并投入了具体使用中一段时间后，若待定位模块化建筑中有一些管路、开关等部件发生故障需要更换时，若这些管路、开关等部件是设置于墙体内不便于直观看到时，此时可以基于所述精细定位建筑模块模型的显性模型数据和隐性模型数据进行展示，用户通过在用户终端上查看显性模型数据和隐性模型数据即可用于指导本次的维修工作；

3）施工指导：即当获取到了精细定位建筑模块模型且完成了与待定位模块化建筑的对齐之后，若待定位模块化建筑是一个未完成所有施工的产品，则可以参考所述精细定位建筑模块模型的完整模型数据以指导待定位模块化建筑的继续施工。

可见，实施该装置的实施例能实现三维虚拟空间中的当前建筑模块模型与待定位模块化建筑的快速对齐后，并通过与当前建筑模块模型对应的精细定位建筑模块模型用作待定位模块化建筑的施工辅助模型。

上述基于深度学习的模块化建筑增强现实辅助施工装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。

请参阅图8，图8是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备集成了本发明实施例所提供的任一种基于深度学习的模块化建筑增强现实辅助施工装置。

参阅图8，该计算机设备包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括存储介质403和内存储器404。

该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行上述基于深度学习的模块化建筑增强现实辅助施工方法。

该处理器402用于提供计算和控制能力，以支撑整个计算机设备的运行。

该内存储器404为存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述的基于深度学习的模块化建筑增强现实辅助施工方法。

该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现如上述的基于深度学习的模块化建筑增强现实辅助施工方法。

应当理解，在本发明实施例中，处理器402可以是中央处理单元（CentralProcessing Unit，CPU），该处理器402还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上述的基于深度学习的模块化建筑增强现实辅助施工方法。

所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。