基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法

技术领域

本发明涉及单目图像深度和法矢估算，具体为基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法。

背景技术

场景的深度和法矢信息是理解三维场景立体结构和空间关系的重要信息，其在三维重建、自动驾驶、姿态估计、虚拟现实等技术中有着重要的应用价值。深度指的是场景中物体到相机的距离，属于图像的全局属性；法矢代表场景中物体局部表面的朝向，属于图像的局部属性。二者之间关系密切，常常作为后续计算机视觉任务的辅助特征。基于图像的深度估算方法不需要昂贵的仪器设备和复杂的专业操作知识，只需普通相机的拍摄，依据单幅图像即可得到场景中的深度信息，在通用性、便捷性和成本投入等方面都有较大的优势，而通过激光测距仪等设备则需要通过激光等设备从发射到接收的时间差计算场景的深度，操作复杂，成本高。然而，图像获取过程中不可避免地丢失了场景中的三维结构信息，如何从二维图像中精准地估算出深度信和法矢息已经成为计算机视觉领域研究的热点问题。

发明内容

为解决上述问题，本发明目的在于提出一种基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法。首先设计网络估算单幅图像深度；之后深度图利用透视变换原理转化为三维点云，在高维度深度挖掘场景中的几何信息，估算点云法矢；最后设计网络估算单幅图像法矢，结合上述点云法矢，输出优化后的精确法矢图。

为实现上述技术目的，本发明采取的技术方案为：

为达成上述目的，基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法包括：

S1：设计网络估算图像的粗略深度图和法矢；

S2：利用针孔成像原理由粗略深度图生成点云；

S3：利用点云数据辅助优化粗略深度图；

S4：设计网络估计点云法矢；

S5：结合点云法矢和融合特征辅助估算精确法矢；

进一步，步骤S1中，所述设计网络估算图像的粗略深度图和法矢包括以下步骤：

S101：采用VGG-16网络作为编码网络提取RGB图像的多尺度特征图；

S102：采用反卷积和U-Net网络结构作为解码网络，形成深度解码分支和法矢解码分支，分别获得粗略深度图和法矢。

进一步，步骤S2中，所述利用针孔成像原理由粗略深度图生成点云，包括以下步骤：

S201：获取相机内参；

S202：利用针孔相机模型将深度图像像素点(u

z

其中，d

进一步，步骤S3中，所述利用点云数据辅助优化粗略深度图，包括以下步骤：

S301：采用PointNet网络作为点云特征提取网络，获得每个点的特征值；

S302：根据深度图像素坐标和点云索引之间的映射关系，将S301中每个点的特征值重新排列，生成一张点云pseudo图像；

S303：将pseudo图像输入VGG-16网络获得与S101中相同结构的多尺度特征图，再与S101中多尺度特征图逐级融合获取新的多尺度特征图作为深度解码分支的新特征；

S304：利用特征降维模块CRB分别对法矢解码分支和深度解码分支的特征进行降维，一同输入到特征变换模块FTB获得融合特征，辅助深度和法矢估算。

进一步，步骤S4中，所述设计网络估计点云法矢包括以下步骤：

S401：使用协方差分析法对S202中的点云进行特征分类，将点云中的点分为特征点(靠近尖锐特征处的点)和非特征点(远离尖锐特征处的点)；

S402：非特征点邻域内点的法矢相对一致，采用主成分分析法PCA计算点云表面法矢；

S403：特征点邻域内结构复杂，采用多尺度曲面块选择方法，从不同大小邻域内选择一个更灵活、更一致的最优邻域，估算最佳切平面，使点云法矢估算更准确。

进一步，步骤S5中，所述结合点云法矢和融合特征辅助估算精确法矢，包括以下步骤：

S501：将步骤S4中获得的点云映射成二维三通道法矢图像；

S502：利用S501生成的法矢图像辅助原始粗略估算的法矢图像，生成更加精确的法矢图像。

有益效果：以上发明的技术方案，与现有相比，其显著的有益效果在于：

在单幅图像深度和法矢估算任务中，不仅提取了图像的语义和轮廓信息，而且在三维空间下充分挖掘场景中的几何信息，利用三维点云的几何特征辅助深度估计和法矢估算。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

图1是本发明的基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法的流程图。

图2为本发明的总体网络结构图。

图3为特征变换模块FTB的网络结构图。

图4a为包含RGB特征的MFF网络图，图4b为附加点云特征的MFF网络图。

图5为桌面冰壶RGB图，深度图和法矢图估算效果图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提及基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法，包括以下步骤第一-第五：

第一、设计网络估算图像的粗略深度图和法矢。

S101、先采用VGG-16网络作为编码网络提取RGB图像的多尺度特征图；S102、再采用反卷积和U-Net网络结构作为解码网络，形成深度解码分支和法矢解码分支，分别获得粗略深度图和法矢。

第二、利用针孔成像原理由粗略深度图生成点云。

具体步骤为：S201、先获取相机内参；S202、再利用针孔相机模型将深度图像像素点(u

z

其中，d

第三、利用点云数据辅助优化粗略深度图。

见图2所示，具体步骤为：S301、首先，采用PointNet网络作为点云特征提取网络，获得每个点的特征值；S302、接着，根据深度图像素坐标和点云索引之间的映射关系，将S301中每个点的特征值重新排列，生成一张点云pseudo图像；S303、再将pseudo图像输入VGG-16网络获得与S101中相同结构的多尺度特征图，然后与S101中多尺度特征图逐级融合获取新的多尺度特征图作为深度解码分支的新特征；S304、最后利用特征降维模块CRB分别对法矢解码分支和深度解码分支的特征进行降维，一同输入到特征变换模块FTB获得融合特征，辅助深度和法矢估算。

第四、设计网络估计点云法矢。

S401、使用协方差分析法对第二中的点云进行特征分类，将点云中的点分为特征点(靠近尖锐特征处的点)和非特征点(远离尖锐特征处的点)。其中，S402、非特征点邻域内点的法矢相对一致，采用主成分分析法PCA计算点云表面法矢。然而，S403、特征点邻域内结构复杂，采用多尺度曲面块选择方法，从不同大小邻域内选择一个更灵活、更一致的最优邻域，估算最佳切平面，使点云法矢估算更准确。

第五、结合点云法矢和融合特征辅助估算精确法矢。

S501、首先，按将步骤四中获得的点云映射成二维三通道法矢图像；S502、再利用生成的法矢图像辅助原始粗略估算的法矢图像，生成更加精确的法矢图像。

图3为特征变换模块FTB的网络结构图。对于从法矢解码分支得到的法矢特征fN和从深度解码分支得到的深度特征fD，通过输入到FTB模块网络，交互学习法矢支路和深度支路的特征权重，得到新的法矢特征f‘

图4为MFF模块框架，该模块实现了多尺度特征融合的功能。本发明设计金字塔网络模型作为MMF模块框架，提取输入图像的多尺度特征，如图4(a)所示。多尺度RGB图像特征f

图5为桌面冰壶RGB图，深度图和法矢图估算效果图。第一幅RGB图为彩色数码相机获取的桌面冰壶图像，作为本发明算法的输入图像。第二幅为本发明算法估算的深度图像，表示每个像素点估算出的深度值。第三幅为本发明算法估算的法矢图像，表示每个像素估算出的法矢值。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。