掌桥专利:专业的专利平台
掌桥专利
首页

一种语义感知的室内几何重建方法

文献发布时间:2024-04-18 19:59:31


一种语义感知的室内几何重建方法

技术领域

本发明属于三维建模领域,特别涉及一种语义感知的室内几何重建方法。

背景技术

目前,随着科技的不断发展,人类获取地球表面多类型、不同尺度的几何表达和语义信息更为轻松便捷,如遥感技术、倾斜摄影测量和激光雷达等。随着智慧城市的提出,城市建筑物和室内三维模型作为城市地理信息的基础,人们逐渐把目光聚焦向室内空间。依据统计,人类在室内行为活动的时间约占总行为活动时间的80%以上,作为城市生活的主体,各类室内位置服务的需求加大了对室内三维空间信息采集的需求,例如智能制造、应急救灾、环境监测、智能建筑、位置服务、城市作战等。但是室内空间不同于室外,室内空间具有较高的环境复杂度、单元较多、多楼层以及设计不规律等特性,因此测量方法以及建模方式是区别于室外的。

在大型公共建筑及设施越来越普及和人们对于位置服务、设备管理及增强现实等需求的不断提高的趋势下,传统的室内二维地图不仅缺乏直观性而且信息承载量低,愈来愈难以满足人们的需要。随着计算机技术的迭代,相比之下室内三维模型如BIM(BuildingInformation Model)等具有与真实世界的相似性和直观性,同时还能够提供丰富的几何和语义信息,可以为室内智能化应用提供必要基础信息。

传统室内三维模型的主流制作方法是基于测量(卷尺、相机、测距仪等)或工业图纸获得建筑物的部件参数和结构信息,利用现有计算机建模软件Auto CAD、SketchUp、3DSMax等进行手工室内建模。现有的室内建模方法呈现出两个不足:(1)现有的基于数据型的建模方式需要消耗大量的人工操作并且需要较好的经验才可以完成室内三维模型的构建;(2)一般建立出的三维模型仅含有几何信息和较好的视觉特性,不包含拓扑和语义信息,难以依此进行更进一步的分析和利用。

随着计算机技术、传感器技术、机器视觉技术的发展,人们可以快速获取具有三维坐标(x、y、z)和一定属性(颜色、反射强度等)海量的、不规则空间分布的三维点云,这种形式的数据能有效的刻画复杂的现实世界,成为最为直接和重要的三维地理空间数据形式,能够为三维建模提供有效的数据支持。对于室内场景,除了机载激光雷达、地基式激光雷达等三维采集设备,也发展出了移动式激光雷达和RGB-D(RedGreenBlue-Depth)相机和测量机器人等三位采集设备。随着三维采集设备的不断发展更新,三维点云数据库也越来越多样,例如Semantic3D、S3DIS、PartNet等。

而随着点云数据库的丰富和机器学习特别是深度学习的发展,如卷积神经网络、长短时记忆神经网络、生成对抗网络等,出现了基于体素(VoxNet、OctNet、Kd-Net、SparseConvNet)、基于多视图(MVCN、MHBN、SnapNet)和基于点本身的(PointNet、PointNet++、DGCNN)三维点云的分类分割网络。但是这些网络仅专注于语义信息的提取,对于进一步的与三维重建如何结合并没有做更深入的探究。而现有的室内半自动、自动建模研究大部分依据曼哈顿世界假设,利用点云的法向量等特征,设计人工规则提取室内点云的各类语义信息再进行建模工作,所以如何结合深度学习的语义分割自动建立室内三维模型仍然是当前研究的挑战性问题。

综上所述,为了满足人们对于精细化的室内三维模型的需要,如何有效准确的获取三维点云的语义信息,如何在语义信息的基础上进行室内三维模型的自动化建模是亟待解决的问题。

发明内容

为解决上述技术问题,本发明采用的技术方案是:

S1、获取含有语义的目标楼层三维点云,针对三维点云进行水平切片并投影到地面的二维空间获得二维投影点云,从二维投影点云中提取墙面投影线并进行简化更新。

S1包括以下子步骤:

S101、获取含有语义的目标楼层三维点云,计算三维点云的法向量,并过滤掉法向量与地面夹角超过一定阈值的点;

S102、对过滤后的三维点云进行分别在预设高度进行多层水平切片;

S103、将每层切片的三维点云依次投影到地面,并移除重复点,获得二维投影点云;

S104、从二维投影点云中按竖直方向提取直线,并进行拟合,得到墙面投影线。

S104还包括针对墙面投影线使用均值漂移聚类算法对检测到的线元素进行简化,更新墙面投影线,具体包括以下步骤:

S10401、将墙面投影线与三维点云的包围盒相交,获得有限长度的线段;

S10402、对提取出的线段进行方向一致化,即将线段的端点按照预设顺序排列;

S10403、分别使用均值漂移聚类算法对线段的端点进行聚类,得到各自新的端点;

S10404、对新的端点进行直线化,重新与包围盒计算交点,将新的交点作为新的线段端点,新的线段端点连接获得简化后的墙面投影线。

S2、将墙面投影线投影到二维平面空间,从而实现对目标楼层空间的划分,生成目标楼层多边形单元,目标楼层多边形单元采用带有方向的半边结构维护拓扑关系。

S3、针对目标楼层三维点云,构建房间语义图和墙面语义图;针对室内外多边形单元,构建目标函数,并通过图割算法进行求解,分割出室内多边形单元和室外多边形单元。

5.S3中目标函数为最优化能量函数,具体包括以下步骤,

S301、构建房间语义图

通过将三维点云中包含特定语义的点投影生成房间语义图

将含有语义信息的三维点云进行语义筛选,筛选出语义为地面点和天花板的点,按照预设分辨率投影到二维平面,生成房间语义图;

将含有语义信息的三维点云进行语义筛选,筛选出语义为墙面和窗户的点,按照预设分辨率投影到二维平面,生成墙面语义图;

通过如式1的能量函数对室内外多边形单元进行区分:

其中,D

对能量函数1具体化,构建细粒度目标优化函数子项;

S302、构建能量函数数据项:

数据约束项D

式中,

S303、构建能量函数平滑项:

查询Polygon

式中,

针对数据约束子项D

针对平滑约束子项V

S304、图割优化完成后得到多边形单元室内外分割结果,在此基础上提取所有外墙,具体包括以下步骤,

①遍历边及其孪生边所组成的多边形单元的语义标签,当两个标签不一致或者只有一个标签,代表该边位于边界处,孪生边未构成多边形单元,将该边作为起始边界;

②遍历起始边界的终点构成的边中的边界边,再以新的边界边为起始边重复步骤①获得一个完整的外墙边界;

③从剩余边中重复步骤①和②得到多个外墙边界,依据外墙边界的构成边的顺序确定出外墙边界和位于其中的岛,最后外墙边界以逆时针顺序表示,岛以顺时针顺序表示。

S4、针对房间语义图和墙面语义图,进行图像差值操作,获得差值语义图;再使用形态学分割获得包含房间语义信息的房间分割图,将房间分割图与室内多边形单元和室外多边形单元叠加,完成多边形单元房间尺度上的分割,获得房间多边形单元。

S5、针对房间多边形单元,通过获取房间边界、计算房间的真实高度、获得目标楼层房间的三维几何模型,S5具体包括以下步骤,

S501、获取房间边界:通过遍历所有的线段,查询各个房间多边形单元的边界;

S502、获取房间高度:根据房间内语义为天花板和地板点云的高程差,计算对应各房间的高程值;

S503、生成房间尺度三维模型:使用受限制的Delaunay三角剖分算法,用于生成房间内的三角形网格;按照S502中获取的房间高度将各个房间多边形单元的边界进行拉伸,生成各房间尺度的三维模型,将各房间尺度的三维模型拼合,获得目标楼层的的三维几何模型。

针对传统室内建模方法所创建的建筑室内几何模型往往存在几何精度低、隐含拓扑错误、弱语义甚至无语义、表达标准不统一、无法互操作等缺陷,难以满足下游实际应用需求。本发明提出一种投影室内建模方法,将三维室内建模问题转化为二维投影空间多边形的语义分割问题,继而得到每个房间包含的多边形单元,再此基础上完成室内几何建模。本发明创建的室内几何模型具有房间尺度语义和正确的拓扑关系,相应模型可应用于室内导航、室内信号热点分析、室内应急疏散和模拟等下游应用。具体包括以下有益效果:

(1)将3D房间建模问题转化为分层的二维平面图表示,并可以得到房间和墙壁的详细布局和排列。

(2)将二维平面重建问题转化为一个能量最小化问题,设计了一个包含数据项和平滑项的能量函数来区分室内多边形单元和室外多边形单元。

(3)本发明创建的房间模型具有精确的几何形状、正确的拓扑结构和丰富的语义。

附图说明

图1为室内房间重建关键步骤流程图;

图2为基于切片拟合直线流程图;

图3为多边形单元概念及拓扑示意图;

图4为多边形单元构建示意图;

图5为图割算法示意图;

图6为房间语义图

图7为墙面语义图

图8为目标优化函数能量子项设计示意图;

图9为多边形单元室内外分割及边界提取结果示意图;

图10为差值语义图的生成;

图11为多边形单元房间实例尺度的分割结果示意图;

图12为房间尺度重建示意图;

图13为房间三维模型图;

图14为实验区域斜视图;

图15为不同分辨率内墙查询图;

图16为不均衡室内外多边形面积对优化结果的影响示意图;

图17为不同数据项权重下图割优化结果示意图;

图18为三维模型误差图。

具体实施方式

下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。

本发明的描述中,需要理解的是,术语左侧、右侧、上部、下部等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,第一、第二等并不表示零部件的重要程度,因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案,并不限制本发明的保护范围。

如图1所示,一种语义感知的室内几何重建方法,具体包括以下步骤:

S1、获取含有语义的目标楼层三维点云,针对三维点云进行水平切片并投影到地面的二维空间获得二维投影点云,从二维投影点云中提取墙面投影线并进行简化更新,根据图2所示,其中,(a)为室内结构元素点云;(b)为按一定高度水平切片投影二维点云;(c)为线性基元提取结果;(d)为线性基元拟合结果;(e)为简化后的线性基元拟合结果。S1包括以下子步骤:

S101、获取含有语义的目标楼层三维点云,计算三维点云的法向量,并过滤掉法向量与地面夹角超过一定阈值的点;

S102、对过滤后的三维点云进行分别在预设高度进行多层水平切片;

S103、将每层切片的三维点云依次投影到地面,并移除重复点,获得二维投影点云;

S104、从二维投影点云中按竖直方向提取直线,并进行拟合,得到墙面投影线。

基于切片的方法直接利用点云数据提取墙面直线。在室内环境中,墙面是一个重要的结构元素,而切片则反映了墙壁水平面投影的线特征。为了能够提取出完整的墙面,通常需要进行多层切片,并选取合适的切片高度。因为门窗等区域可能存在缺失,单层切片无法准确反映墙面的完整性。此外,在室内空间中,大多数非结构性元素(如桌椅等家具)都位于地面上,而天花板附近的杂物较少,因此多层切片通常选择在门窗和天花板高度之间,这可以保证墙面的基本完整性,并减少非结构性元素对墙面线提取准确度的影响。

S104还包括针对墙面投影线使用均值漂移聚类算法对检测到的线元素进行简化,更新墙面投影线,具体包括以下步骤:

S10401、将墙面投影线与三维点云的包围盒相交,获得有限长度的线段;

S10402、对提取出的线段进行方向一致化,即将线段的端点按照预设顺序排列;

S10403、分别使用均值漂移聚类算法对线段的端点进行聚类,得到各自新的端点;

S10404、对新的端点进行直线化,重新与包围盒计算交点,将新的交点作为新的、段端点,新的线段端点连接获得简化后的墙面投影线。

S2、将墙面投影线投影到二维平面空间,从而实现对目标楼层空间的划分,生成目标楼层多边形单元,目标楼层多边形单元采用带有方向的半边结构维护拓扑关系。

多边形单元是拓扑学中的重要概念,用于将空间分割成更小的单元。在室内建模中,先将室内空间分解为多边形单元,这个过程通常会过度分割,以形成颗粒度小于室内房间的单元。接下来对多边形单元赋予语义信息,建立空间的语义表达,这一过程被称为合并。这将重建问题转换为标记问题,从而可以利用聚类和优化思想来进行表达和优化。

Kovalevsky等人提出欧式空间可以由不同维度的多边形单元组成。通过将指定维度空间进行分割,多边形单元可以形成多个小单元。本发明中,2.1节墙面线元素被提取并投影到二维平面空间,从而实现对室内空间的划分,生成多个多边形单元,这些多边形单元需要通过节点(vertex)、边(halfedge)和面(face),来组织二维空间划分多边形单元的拓扑关系,本发明使用带有方向的半边结构(halfedge)对划分空间的节点、线段和多边形拓扑关系进行维护,具体如图3所示。

图中多边形单元由不同维度的几何元素组成,包括零维的顶点v1、v2、v3和v4,一维的边e1、e2、e3和e4,以及二维的面f1、f2和f3。值得注意的是,二维划分中使用的是带有方向的半边结构(halfedge),即e1和e2、e3和e4分别是同一条边的不同半边,它们的起点和终点不同,互被称为孪生边。此外,面由其构成的顶点以逆时针顺序表示,如面f1表示为:v1-v2-v3-v4。

当查询一个面的相邻面时,需要遍历待查询面的所有边的孪生边是否为另一个面的组成边,如f1和f2、f3为相邻面,遍历到边e1时发现其孪生边e2为面f2的组成边,则确定f2为f1的相邻面,面f3同理。

本发明将室内场景的墙面二维直线进行了提取和简化,然后利用这些提取的直线对投影二维空间进行划分,并利用半边数据结构维护划分空间中节点、线段和多边形单元的拓扑关系。图4展示了输入的直线以及构建好的多边形单元,其中灰色圆圈表示节点,灰色线段为多边形单元的边界线段。

S3、针对目标楼层三维点云,构建房间语义图和墙面语义图;针对室内外多边形单元,构建目标函数,并通过图割算法进行求解,分割出室内多边形单元和室外多边形单元。

图割算法,又称为最小割算法,是一种用来解决图论问题中最小割问题的算法。最小割问题是指在一个无向图中,找到一组最小的边集,使得删去这些边后将原图分成两个或多个连通块,其中两个连通块是源点(Source)和汇点(Target)所在的连通块。这样的边集就称为最小割。为了将图像分割为不同的部分,将图像分割问题转化为最小割问题,如图5所示,其中,(a)为待分割图像,不同颜色像素代表不同语义类别;(b)为图割算法构建的无向图,,每个像素点都与不同灰色节点S和T相连,形成t-link。相邻像素点之间的邻接线则表示为n-link。最小割问题的目标是找到一种t-link和n-link的分割方式,使得分割后的图中S节点和T节点之间的连接代价最小。这个最小割问题可以通过最大流最小割算法解决。

S3中目标函数为最优化能量函数,具体包括以下步骤,

S301、构建房间语义图

通过将三维点云中包含特定语义的点投影生成房间语义图

将含有语义信息的三维点云进行语义筛选,筛选出语义为地面点和天花板的点,按照预设分辨率投影到二维平面,生成房间语义图,如图6所示,其中,白色为房间区域,黑色为室外区域;

将含有语义信息的三维点云进行语义筛选,筛选出语义为墙面和窗户的点,按照预设分辨率投影到二维平面,生成墙面语义图,如图7所示,其中,白色为墙面区域,黑色为非墙面区域。

通过如式1的能量函数对室内外多边形单元进行区分:

其中,D

对能量函数1具体化,构建细粒度目标优化函数子项;

如图8所示,其中,(a)为数据项约束项中每个多边形单元内所包含随机点语义来自于房间语义图

数据约束项D

式中,

S303、构建能量函数平滑项:

查询Polygon

式中,

针对数据约束子项D

针对平滑约束子项V

如图9所示,其中,灰色表示室外,白色表示室内,粗灰线表示楼层内外墙边界。S304、图割优化完成后得到多边形单元室内外分割结果,在此基础上提取所有外墙,具体包括以下步骤,

①遍历边及其孪生边所组成的多边形单元的语义标签,当两个标签不一致或者只有一个标签,代表该边位于边界处,孪生边未构成多边形单元,将该边作为起始边界;

②遍历起始边界的终点构成的边中的边界边,再以新的边界边为起始边重复步骤①获得一个完整的外墙边界;

③从剩余边中重复步骤①和②得到多个外墙边界,依据外墙边界的构成边的顺序确定出外墙边界和位于其中的岛,最后外墙边界以逆时针顺序表示,岛以顺时针顺序表示。

S4、如图10所示,针对房间语义图和墙面语义图,进行图像差值操作,获得差值语义图;再使用形态学分割获得包含房间语义信息的房间分割图。

之所以不直接采用房间语义图进行房间尺度的分割,而是基于差值图实现房间尺度分割是因为房间语义图中每个房间的封闭性无法得到保证,导致分割精度较低。为解决这个问题,本发明采用图像处理中常用的算术操作来减轻房间封闭性不完整的影响。具体来说,本发明在室内语义图上使用减法操作来实现这一目的,通过两张语义图的减法操作,获得具有较高房间封闭性的房间差值语义图,如图10(c)。最后,使用形态学分割方法,得到如图11(a)所示的房间分割图。

图11为多边形单元房间实例尺度的分割结果,其中,不同灰度颜色代表不同的室内房间。多边形单元房间实例尺度的分割:通过将含有室内外标签的多边形单元图11(b)与带有语义信息的房间分割图11(a)进行叠加分析,获取每个房间所包含的室内多边形单元,为房间尺度的几何重建奠定基础。

S5、针对房间多边形单元,通过获取房间边界、计算房间的真实高度、获得目标楼层房间的三维几何模型,S5具体包括以下步骤,

如图12所示,其中(a)房间边界示意图;(b)为同一个房间内分割单元高程不一致示意图;(c)相同房间三角剖分意图。相同灰度颜色方块为同一房间。

S501、获取房间边界,如图12(a)所示获取f2-f4组成的房间的边界需要遍历所有的线段,查询多边形单元的边界。如当前遍历至线段P1P8,查询到构成的两个多边形单元f1和f2语义不同,将其标记为f2-f4所组成房间的边界;如果为线段P4P7,其左右两个多边形单元f3和f4语义相同,则将其标记为内部线段;遍历完成后,将边界线段按逆时针顺序排列组成房间边界。

S502、获取房间高度,根据房间内语义为天花板和地板点云的高程差计算对应房间的高程值。如果相同房间内多个多边型分割单元的高程不一致,如果12(b)所示,分割单元f2和分f3的高程一致,但与房间另外一个分割单元f3的高程均不一致,此时分别按照实际分割单元的高程进行绘制。如果分割单元内出现了天花板或者地板点云数据的缺失,此时计算墙面点的高程差,作为相应分割单元的高程。如果整个分割单元都出现了点云数据缺失,则将同一个房间内邻近分割单元的高程作为当前待计算分割单元的高程。

S503、生成房间尺度三维模型:使用受限制的Delaunay三角剖分算法,用于生成房间内的三角形网格;按照S502中获取的房间高度将各个房间多边形单元的边界进行拉伸,生成各房间尺度的三维模型,将各房间尺度的三维模型拼合,获得目标楼层的的三维几何模型,如图13所示。

在其中一种实施例中,三维点云采用S3DIS数据集,使用了三个结构光传感器的Matterport相机,在每个采集位置旋转360度拍摄18张RGB-D图像。数据集的输出包括带纹理信息的三维重建网格、原始的RGB-D图像和相机元数据。此外,通过对这些数据进行处理,可以生成额外的RGB-D数据和基于网格采样生成的点云数据。在进行数据标注时,直接在点云数据上进行,然后将每个点的标签投影到网格和图像上,以确保数据在所有模式和维度上保持一致。

该数据集采集了3个不同建筑的6个大型室内学习办公区域。为验证本发明该章节提出的算法在不同场景下的效果和适应性,算法采用了S3DIS数据集的Area_6、Area_5和Area_4三个区域进行实验,本发明将其分别编号为区域A、区域B和区域C,如图14。

室内空间区域A、区域B和区域C均为办公区域,房间结构规整,包含常见的室内场景元素,如天花板、地板、墙壁、门窗和桌椅等家具。区域A和区域C分别包含49和48个房间,主要分为三类:办公室、开放空间和走廊,每个室内子空间之间连接紧密。而区域B则选取了与区域A和C不同的稀疏场景,包含68个房间,同样主要分为办公室、开放空间和走廊三类。三个区域实验数据的统计参数如表1所示。

表1三个区域实验数据统计

在其中一种实施例中,房间语义图和墙面语义图的分辨率直接影响公式1的优化结果。本发明将楼层划分结果叠加到至两类语义图,即数据项叠加到房间语义图,平滑项叠加到墙面语义图,计算每个多边形单元或者相邻两个多边形单元和公共边对应的惩罚。具体而言,当第i个多边形单元查询时,此时计算的是第i个多边形单元不属于对应语义类别的概率。在平滑项计算相邻两个多边形单元语义标签一致性时,本发明将其转化为计算第i和j两个多边形单元的公共邻边不为墙壁的概率。在实验中生成房间语义图时,本发明采用分辨率为0.05m,因为在该分辨率下能够保留更多细节,确保较小尺寸多边形单元惩罚值的正确计算。设置墙壁语义图的分辨率时需要考虑内墙和外墙两种情况,因为外墙被扫描一次,墙面厚度仅包含一层点云,而内墙则会被从不同房间扫描两次,从而产生双层点云。如果分辨率比较高,设置墙壁语义图的分辨率为0.05m,此时内墙双层结构表现的非常清晰,如图15所示,而楼层划分结果中对应房间公共邻边可能落到内墙双层墙面的中间位置,其中,(a)0.05m分辨率下内墙查询,红线属于墙面概率为0.4;(b)为0.15m分辨率下内墙查询,红线属于墙面概率为1。如图15(a)红线所示,此时红线为墙面的概率较低,仅为0.4,当相邻房间标签不一致时,此时根据公式3,所施加的惩罚较大,此时往往会将室内多边形单元错分为室外单元,但是当分辨率0.15m时,内墙双层结构消失,如图15(b)所示,此时平滑项正好可以正确叠加到墙面语义图中白色墙面像素上,此时红线为墙面的概率为1,根据公式3,对该情形不施加惩罚,两个室内多边形单元将极大可能被标注为室内语义单元。

通过墙面直线划分楼层空间结果包含的多边形单元,绝大多数来自室内空间,很少一部分多边形单元来自室外空间,这些室外空间多边形单元主要由墙面直线延伸构成。为探究面积不平衡下的室内外多边形对公式1优化结果的影响,本发明选择区域A场景中小块区域开展实验。实验结果如图16所示,其中,(a)来自区域A中局部场景;(b)0.05m分辨率房间语义图,(c)0.15m分辨率墙壁语义图;(d)墙面线性基元;(e)图割优化结果,其中灰色多边形为室外、白色多边形为室内;(f)为室内外多边形语义标注的真值结果,浅灰色多边形为室内,深灰色为室外多边形。对16(a)室内点云进行二维投影,得到房间语义图16(b)和墙面语义图16(c),在二维投影点云基础之上进一步提取墙面线性基元,基于线性基元划分房间空间如图16(c),最终根据公式1优化结果如图16(d)所示。从结果可以看出,虽然室内面积约为室外面积的3倍,优化结果并未因为室内外多边形面积比例的悬殊,出现明显的优化错误,这主要是因为平滑项和数据项能量的平衡和相互约束,使得在不均衡样本下语义能够保持较高的整体语义标注结果。

在其中一种实施例中,数据项和平滑项的系数控制数据项和平滑项在目标函数中能量大小,他们相互约束和权衡,共同预测室内空间划分的多边形的语义标签为室内还是室外。

具体而言,数据项的权重大小反映了模型对数据一致性的忠实程度,权重越大表示模型与数据越具有一致性,本发明二者的一致性是指当前多边形单元与其包含随机点集标签的一致性,如果随机点集中标注为室内点的随机点越多,属于室内标签的可能性越大。平滑项的权重反映了模型对相邻两个多边形标签一致性的重视程度,权重越大表示模型预测结果越注重平滑性,此时两个多边形具有一致性标签的可能性越大,而权重越小表示模型预测结果越注重数据项。本发明针对数据项权重λ,设置了6组不同权重参数,开展楼层空间划分的多边形语义标签预测,结果如图17所示,其中子图(a)到(f)分别为不同权重数据项下对应的多边形语义标注结果。从结果可以看出权重λ越大,室内多边形错分的可能性越大,这主要是由于室内杂物和点云的缺失影响,导致房间语义图不准确,在施加较大数据项权重的约束下,不准确语义图对应的多边形单元标号错误。当权重λ越小,此时室内多边形欠分割的可能性越大,如图17(f)中矩形区域所示,过小的室外多边形被划分为室内,致使室内区域呈现更多的欠分割。通过反复实验,本发明发现λ取值0.5~1将会较好的均衡室内欠分割和过分割,保证最终的分割精度。

在其中一种实施例中,可以从定性和定量两个维度分析区域A、B、C室内空间划分多边形的语义标注结果。

在定性维度,由于目标优化函数是一个二分类问题,其优化得到的室内外多边形语义标注结果整体精度较高,但是仍然存在少量的错误标注,这些不正确预测的多边形单元一般分布在室内外场景的交界处,并且均为较小面积的多边形单元。由于墙面提取的不精确性,导致室内外场景交界出生成的多边形单元往往同时涵盖室内外区域,在数据项和平滑项两种能量全局最小化的约束下,这类多边形单元可能被标注为室内区域,此时室内区域范围将会被扩展,导致发生commission error(FP),当然上述多边形单元也极有可能被全局优化标注为室外区域,此时室内区域范围将会被缩减,导致发生omission error(FN)。

在定量评价维度,本发明从准确率(Precision)、召回率(Recall)和F1值(F1-score)三方面评价指标,评价室内外划分多边形的语义标注结果。区域A室内划分多边形单元的语义分割定量评价结果如表2所示。由于定量结果需要划分多边形单元的真值标签,本发明多边形真值标注采用如下策略:首先将生成的多边形单元与房间语义图叠加,然后对每个多边形单元均匀撒点,并通房间语义图查询每个点的语义类别(室内和室外),最后统计每个多边形单元内室内点的数目与总点数的比值,如≥0.5,该多边形暂标注为室内多边形,反之为室外多边形。上述获得多边形语义初始语义标注后,进一步采用人工核验,最终确定多边形的真值标签。

表2区域A室内外多边形划分单元语义标注评价指标

为进一步验证算法的鲁棒性,本发明将上述方法进一步应用到区域B和区域C,两区域对应的定量分析结果如表3和表4所示,从表中可以看出本发明的算法精度较高。

表3区域B室内外多边形划分单元语义标注评价指标

表4区域C室内外多边形划分单元语义标注评价指标

在其中一种实施例中,通过区域A、区域B和区域C室内房间分割流程和三维重建结果,从室内房间分割数目评价分割准确性。

区域A、区域B和区域C形态学分割中主要的参数设置如表5:

表5室内房间分割及重建参数设置

表5中房间面积下限和房间面积上限表示被识别为一个房间的区域的面积最小和最大值,如果一个待识别区域的面积小于面积下限则被标记为白色非房间区域,如果大于面积上限该区域将被标记为两个不同区域。其中区域A中的多边形单元与区域B和区域C不同,多为规整区域,因此房间面积下限设置较小;区域A中走廊区域仅有两个且面积较大,因此面积上限设置较大,而区域B和区域C中存在多个走廊,需要设置稍小的房间面积上限以区分开多个走廊区域。

首先利用图像处理中的减法操作对室内语义图和墙面语义图处理,获得具有完整封闭性的室内房间分割图;然后利用形态学分割完成室内房间的分割;与多边形单元进行叠加分析,为每个多边形单元赋予房间语义;遍历同房间语义多边形单元获取每个房间的边界,按照对应的点云平均高度拉伸边界生成室内三维模型。

表6房间探测结果评价

区域A、区域B和区域C中房间划分结果对比如表6。区域A实际房间数目为48,形态学分割后得到的房间数目为52。大部分房间均被正确识别,分割错误主要为走廊的小块突出被误识别;原数据集将两个独立房间划分为一个房间,但本发明算法能够正确识别为两个房间。

区域5经形态学分割后房间数目为54,实际房间数目为68。主要识别错误有两部分:(1)走廊与开放空间(open space)无法区分:开放空间本身与其余室内空间的划分依靠柱子这类较小的部件,与走廊分隔墙壁部分较少,算法未能识别;(2)相连走廊之间无法分段:原数据集将相连的走廊划分为多个走廊,而原数据集中的走廊间没有门或者墙壁等结构分隔,所以本发明算法未能识别。区域B与区域B的情况类似。

本发明将三维模型采样得到与原数据集点数相同的点云,然后遍历采样点云计算出每个点与原数据集中最近点的距离作为误差值,两区域计算误差距离结果如表7和图18所示,图18中,不同颜色代表不同的误差值。(a)、(b)、(c)分别为区域A、区域。

表7建模精度分析

从表7看出本发明建模结果最大误差值控制在2m以内并且平均误差值为0.1m左右。通过与原数据集对比,本发明算法建模结果较大误差产生原因如下:

(1)原点云数据集缺失:图18中扫描生成的点云在楼梯间处部分或完全缺失天花板。而在对房间建模时,本发明的房间高度生成算法仅能处理高度一致的室内区域,从而导致了较大的误差。

(2)房间高度计算误差:图18中走廊区域往往高度不同。对于具有不同高度的走廊区域,本发明算法采用天花板点云的平均高度作为整个走廊的平均高度,导致了走廊区域建模的较大误差。

(3)房间部分细节缺失:图18中向外突出的窗户或具有特殊结构的房间,往往不能够精确重建。本发明由于是对大场景进行建模,在提取场景中线性基元时对小结构不够敏感并且后续简化线性基元时会造成线性基元的偏移,导致了在房间细节处误差较大。

以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。

相关技术
  • 一种高击穿场强钛酸铜锶钙介电陶瓷材料及其制备方法
  • 一种稀土改性的钛酸锶巨介电陶瓷材料及其制备方法
  • 二元系钛酸铜钇-钛酸锶巨介电陶瓷材料及其制备方法
技术分类

06120116516696