一种多相机联合快速光线追踪方法、系统及应用

技术领域

本发明属于计算机图形学和计算机视觉技术领域，尤其涉及一种多相机联合快速光线追踪方法、系统及应用。

背景技术

目前：光线追踪技术(RayTracing)是计算机图形学研究热点之一。它能够通过计算模拟出真实场景下光的反射、折射和阴影等物理现象，从而逼真地还原出真实三维场景，可广泛应用于电影电视制作、体育赛事转播、远程教育、在线会议、医学影像等多个领域。但受算法本身以及硬件计算能力的限制，经典的光线追踪方法虽然可以绘制出自然逼真的场景，却不能跟随观察视角对场景进行实时的绘制。随着应用场景越来越复杂，数据采集设备分辨率越来越高，光线追踪技术运行效率越来越难以满足实际应用需求。于是，研究光线追踪的加速方法有着重要的理论和实际应用价值。

如何提升光线追踪算法的运行效率一直以来都备受学术界和产业界的关注。随着研究的不断深入，近年来也出现了许多光线追踪技术的加速方法。这些研究成果主要可以划分为两大类：基于硬件并行处理和基于算法优化的加速方法。基于硬件并行处理的算法主要得益于GPU并行计算处理能力的不断提高。2012年，吴哲夫等人发明了一种基于GPU构建BHV树并行光线追踪方法。该方法利用GPU并特性对BHV空间进行了划分，并且并行计算射线于图形元之间的相交信息来提高光线追踪效率。2018年，高天寒等人发明了一种面向3D场景的光线追踪优化方法。该方法将传统的KD-Tree中结点进行划分，针对不同的节点在GPU上实施不同的并行处理方法，加速渲染过程。同年，该申请人还提出了一种光线追踪优化方法，基于Opengl-CUDA图形互操作函数提高算法的执行效率，实现光线追踪的实时显示。基于硬件并行处理的加速方法针对特定的算法和应用场景确实展现出明显的加速效果，但其展示效果受限于硬件处理性能，并且不具有普适性。第二类方法是基于算法优化的加速方法。这类方法从算法本身入手，针对算法中关键步骤进行优化。例如，王睿等人提出的一种基于自适应包围盒划分的体绘制加速方法，基于图像分割和窗技术的自适应包围盒划分策略从数据处理层面对算法进行加速。2017年，李泽宇等人根据观察视点与图像远近的不同，使用曲面法线切点处的偏导数与视点和切点之间的距离比例关系调整采样率达到提高光线追踪速度的目的。之后，2020年敖山等人又提出了一种利用相邻层间相似性和空体素跳跃的加速方法。以上两类加速方法，一方面受硬件计算能力限制，对算法的加速具有针对性，另一方面不能够对光线追踪过程进行具体的加速指导，或者导致成像质量有所下降。如何能够充分利用多视图之间的几何关系，实现快速的光线追踪是目前亟待解决的问题。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有提升光线追踪的运行效的方法存在受硬件计算能力限制，对算法的加速具有针对性。

(2)现有提升光线追踪的运行效的方法存在不能够对光线追踪过程进行具体的加速指导，或者导致成像质量有所下降。

发明内容

针对现有技术存在的问题，本发明提供了一种多相机联合快速光线追踪方法、系统及应用。

本发明是这样实现的，一种多相机联合快速光线追踪方法，所述多相机联合快速光线追踪方法包括：目标建模阶段和目标渲染阶段；

所述目标建模阶段首先对于从虚拟成像平面发射的搜索光线进行包围盒相交测试得到有效搜索区间，然后利用推导出的二维点和三维点之间线性关系计算出可变步长；

所述目标渲染阶段，从目标表面体素点出发沿当前最优视角方向进行遮挡判断，同样使用距离场指导的可变步长进行搜索，选择出最优的无遮挡视角进行渲染上色，快速地还原出虚拟视角下的场景图像。

进一步，所述多相机联合快速光线追踪方法具体包括以下步骤：

第一步，数据准备，包括场景图片、目标分割结果以及多相机标定内外参数；

第二步，对目标分割结果进行距离变换，得到图像坐标系下目标轮廓外侧的每一点到目标最近边界的距离；

第三步，从虚拟视点二维成像平面出发，发射出与图像分辨率大小等价的搜索光线；

第四步，判断从视点发出的光线是否与重建区域相交，并进行包围盒相交测试。根据是否与包围盒相交可以将光线分为两大类：与包围盒相交的光线为有效光线，否则为无效光线。有效光线与包围盒相交于两点，近点和远点，两点之间的距离即为该光线遍历的有效区间；

第五步，根据标定出的相机内外参数，可将搜索光线上的三维点投影到各个视角下，根据是否在分割结果目标内部判断其是否为目标表面点；如果为目标表面点，则结束搜索以当前深度作为重建目标表面深度值；否则，查询相应视角下的距离场，得到距离投影像素点最近的目标边界距离，沿搜索方向以该距离为步长求解出各个相机视角下一二维搜索点；

第六步，根据二维像素坐标和三维世界坐标之间的线性关系，将各个视角下的二维搜索点反投影到三维搜索光线上，得到不同视角对应的三维搜索步长，取它们的交集作为下次搜索步长；沿光线搜索方向按该长度步进作为下一搜索点；重复第五步判断当前搜索点是否为目标表面点，直至遍历完有效区间，得到目标三维表面模型；

第七步，从目标三维表面模型出发，目标表面体素点与参考视角和虚拟视角之间进行连线；以虚拟视角与参考视角之间的空间夹角作为度量，对所有参考视角进行排序，空间夹角越小，参考视角与虚拟视角越相似，选择该视角进行上色也更佳；

第八步，上色过程中除了要考虑视角还要考虑目标在该视角下的遮挡情况，按照参考视角排序进行遮挡判断；以目标三维表面体素点与当前最优视角之间的连线，计算其与重建区域包围盒之间的交点确定搜索范围；

第九步，从重建目标体素点出发向视角方向进行遍历，判断遍历三维点是否为体素点，判断依据同第五步；若为体素点则该视角下存在前遮挡目标，终止该视角下的搜索，选择相机排序中的下一视角重复第八步；否则使用距离场指导的可变步长不断更新当前搜索点进行遍历判断，直至超出搜索区间；选定该视角对目标表面模型进行纹理渲染，还原出该视角下三维场景的图片。

进一步，所述第一步的数据准备通过多相机对篮球场景进行数据采集获得一组多视角原始图像，对原始图像中的目标进行分割得到分割结果Mask

sp＝MP

其中，s为尺度因子，M映射矩阵。

进一步，所述第二步的多视角目标分割结果将图像中的点分为背景

进一步，所述第三步从虚拟视点二维成像平面出发，发射出一簇连接光心和成像平面像素点的搜索光线：

P(t，u，v)＝P

其中，P

进一步，所述第四步的篮球运动场景，重建区域往往被限定在篮球场或半场的大小，该区域可以被量化为一个包含所有重建体素的立方体包围盒，对发射射线进行包围盒相交测试；根据是否与包围盒相交可以将光线分为两大类：与包围盒相交的光线为有效光线，否则为无效光线。有效光线与包围盒相交于两点，近点t

P(t，u，v)＝P

进一步，所述第五步的根据公式sp＝MP将光线遍历过程中的三维点投影到各个视角下，投影点坐标为(u

若投影点没有命中目标三维表面，则查询相应视角下的距离场D

进一步，所述第六步的已经获得最近点P

P

等式两端同乘上各视角映射矩阵M

M

其中

联立方程组解得：

其中，

D

沿光线搜索方向以该距离步进，即可得到下一搜索点P

所述第七步以虚拟相机和真实相机相对于同一体素点的空间夹角作为度量对所有参考相机视角进行排序；还可以依据虚拟相机和真实相机相对于同一体素点的正投影夹角或者目标三维表面法线方向对视角进行排序；

所述第八步模型渲染过程中除了需要考虑最优视角，还需要考虑目标在该视角下的遮挡情况；从目标表面体素点出发向最优视角进行遍历判断是否存在其他体素点；首先需要计算搜索射线与重建区域包围盒之间的交点，确定搜索范围；

所述第九步从重建体素点出发向当前最优视角方向进行遍历，并判断遍历三维点是否为体素点，判断依据同第五步；若当前搜索点为体素点，则该视角下存在前遮挡目标，终止该视角下的搜索，选择最优相机排序中的下一视角重复第八步；否则沿搜索方向继续搜索，并且使用第六步中的映射关系计算出搜索过程中的可变步长，不断更新当前搜索点并进行判断；若一直遍历超出搜索范围都未出现前遮挡目标，则选定该视角对目标表面模型进行纹理渲染；所有体素点都完成遮挡判断和渲染上色，还原出该视角下三维场景的成像结果。

本发明的另一目的在于提供一种执行所述多相机联合快速光线追踪方法的多相机联合快速光线追踪系统，所述多相机联合快速光线追踪系统包括：

数据预准备模块，用于实现场景图片、目标分割结果以及多相机标定内外参数的数据准备；

距离变换模块，用于对目标分割结果进行距离变换，得到图像坐标系下目标轮廓外侧的每一点到目标最近边界的距离；

搜索光线发出模块，用于从虚拟视点二维成像平面出发，发射出与图像分辨率大小等价的搜索光线；

包围盒相交测试模块，用于判断从视点发出的光线是否与重建区域相交，并进行包围盒相交测试；

目标表面点判断模块，用于根据标定出的相机内外参数，可将搜索光线上的三维点投影到各个视角下，根据是否在分割结果目标内部判断其是否为目标表面点；

三维搜索步长获取模块，用于根据二维像素坐标和三维世界坐标之间的线性关系，将各个视角下的二维搜索点反投影到三维搜索光线上，得到不同视角对应的三维搜索步长，取它们的交集作为下次搜索步长；沿光线搜索方向按该长度步进作为下一搜索点；判断当前搜索点是否为目标表面点，直至遍历完有效区间，得到目标三维表面模型；

视角处理模块，用于从目标三维表面模型出发，目标表面体素点与参考视角和虚拟视角之间进行连线；以虚拟视角与参考视角之间的空间夹角作为度量，对所有参考视角进行排序，空间夹角越小，参考视角与虚拟视角越相似，选择该视角进行上色也更佳；

搜索范围确定模块，用于在色过程中除了要考虑视角还要考虑目标在该视角下的遮挡情况，按照参考视角排序进行遮挡判断；以目标三维表面体素点与当前最优视角之间的连线，计算其与重建区域包围盒之间的交点确定搜索范围；

体速点判断模块，用于从重建目标体素点出发向视角方向进行遍历，判断遍历三维点是否为体素点。

本发明的另一目的在于提供一种终端，所述终端用于实现所述多相机联合快速光线追踪方法，所述终端包括：电影电视制作终端、体育赛事转播终端、远程教育终端、在线会议终端、医学影像终端。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明充分挖掘多视图之间的几何信息，利用二维图像和三维场景之间的映射关系指导空间中可变步长搜索。该方法能够减少空间中无效空间的搜索，从而实现光线追踪算法的加速。由于本发明针对每条光线的计算是独立的，也可使用基于Opengl-CUDA互操作的架构实现实时的渲染显示。

附图说明

图1是本发明实施例提供的多相机联合快速光线追踪方法流程图。

图2是本发明实施例提供的多相机联合快速光线追踪系统的结构示意图；

图2中：1、数据预准备模块；2、距离变换模块；3、搜索光线发出模块；4、包围盒相交测试模块；5、目标表面点判断模块；6、三维搜索步长获取模块；7、视角处理模块；8、搜索范围确定模块；9、体速点判断模块。

图3是本发明实施例提供的多相机联合快速光线追踪方法的实现流程图。

图4是本发明实施例提供的数据准备实例图。

图5是本发明实施例提供的推导二维像素点和三维世界点映射关系示意图。

图6是本发明实施例提供的重建模型与渲染结果展示示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种多相机联合快速光线追踪方法、系统及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的多相机联合快速光线追踪方法包括以下步骤：

S101：数据准备，包括场景图片、目标分割结果以及多相机标定内外参数；

S102：对目标分割结果进行距离变换，得到图像坐标系下目标轮廓外侧的每一点到目标最近边界的距离，这里本发明称之为距离场；

S103：从虚拟视点二维成像平面出发，发射出与图像分辨率大小等价的搜索光线；

S104：判断从视点发出的光线是否与重建区域相交，并进行包围盒相交测试。根据是否与包围盒相交可以将光线分为两大类：与包围盒相交的光线为有效光线，否则为无效光线。有效光线与包围盒相交于两点，近点和远点，两点之间的距离即为该光线遍历的有效区间；

S105：根据标定出的相机内外参数，可将搜索光线上的三维点投影到各个视角下，根据是否在分割结果目标内部判断其是否为目标表面点。如果为目标表面点，则结束搜索以当前深度作为重建目标表面深度值；否则，查询相应视角下的距离场，得到距离投影像素点最近的目标边界距离，沿搜索方向以该距离为步长求解出各个相机视角下一二维搜索点；

S106：根据二维像素坐标和三维世界坐标之间的线性关系，将各个视角下的二维搜索点反投影到三维搜索光线上，得到不同视角对应的三维搜索步长，取它们的交集作为下次搜索步长。沿光线搜索方向按该长度步进作为下一搜索点。重复步骤五判断当前搜索点是否为目标表面点，直至遍历完有效区间，得到目标三维表面模型；

S107：从目标三维表面模型出发，目标表面体素点与参考视角和虚拟视角之间进行连线。以虚拟视角与参考视角之间的空间夹角作为度量，对所有参考视角进行排序，空间夹角越小，参考视角与虚拟视角越相似，选择该视角进行上色也更佳；

S108：上色过程中除了要考虑视角还要考虑目标在该视角下的遮挡情况。按照参考视角排序进行遮挡判断。以目标三维表面体素点与当前最优视角之间的连线，计算其与重建区域包围盒之间的交点确定搜索范围；

S109：从重建目标体素点出发向视角方向进行遍历，判断遍历三维点是否为体素点，判断依据同S105。若为体素点则该视角下存在前遮挡目标，终止该视角下的搜索，选择相机排序中的下一视角重复S108；否则使用距离场指导的可变步长不断更新当前搜索点进行遍历判断，直至超出搜索区间；选定该视角对目标表面模型进行纹理渲染，还原出该视角下三维场景的图片。

本发明提供的多相机联合快速光线追踪方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的多相机联合快速光线追踪方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的多相机联合快速光线追踪系统包括：

数据预准备模块1，用于实现场景图片、目标分割结果以及多相机标定内外参数的数据准备；

距离变换模块2，用于对目标分割结果进行距离变换，得到图像坐标系下目标轮廓外侧的每一点到目标最近边界的距离；

搜索光线发出模块3，用于从虚拟视点二维成像平面出发，发射出与图像分辨率大小等价的搜索光线；

包围盒相交测试模块4用于判断从视点发出的光线是否与重建区域相交，并进行包围盒相交测试；

目标表面点判断模块5，用于根据标定出的相机内外参数，可将搜索光线上的三维点投影到各个视角下，根据是否在分割结果目标内部判断其是否为目标表面点；

三维搜索步长获取模块6，用于根据二维像素坐标和三维世界坐标之间的线性关系，将各个视角下的二维搜索点反投影到三维搜索光线上，得到不同视角对应的三维搜索步长，取它们的交集作为下次搜索步长；沿光线搜索方向按该长度步进作为下一搜索点；判断当前搜索点是否为目标表面点，直至遍历完有效区间，得到目标三维表面模型；

视角处理模块7，用于从目标三维表面模型出发，目标表面体素点与参考视角和虚拟视角之间进行连线；以虚拟视角与参考视角之间的空间夹角作为度量，对所有参考视角进行排序，空间夹角越小，参考视角与虚拟视角越相似，选择该视角进行上色也更佳；

搜索范围确定模块8，用于在色过程中除了要考虑视角还要考虑目标在该视角下的遮挡情况，按照参考视角排序进行遮挡判断；以目标三维表面体素点与当前最优视角之间的连线，计算其与重建区域包围盒之间的交点确定搜索范围；

体速点判断模块9，用于从重建目标体素点出发向视角方向进行遍历，判断遍历三维点是否为体素点。

下面结合附图对本发明的技术方案作进一步的描述。

本发明提供的多相机联合快速光线追踪方法的系统通过多相机之间的几何映射关系，以二维距离场作为指导计算出三维空间中的可变步长，实现对光线搜索过程的加速。该加速方法可以应用在目标建模和渲染上色两个阶段。具体地，目标建模阶段首先对于从虚拟成像平面发射的搜索光线进行包围盒相交测试得到有效搜索区间，然后利用推导出的二维点和三维点之间线性关系计算出可变步长，以该步长沿光线方向搜索大大加速了搜索过程。目标渲染阶段，从目标表面体素点出发沿当前最优视角方向进行遮挡判断，同样使用距离场指导的可变步长进行搜索，可以选择出最优的无遮挡视角进行渲染上色，快速地还原出虚拟视角下的场景图像。

如图3所示，本发明提供的多相机联合快速光线追踪方法主要分为模型重建和模型渲染两大部分，具体包括如下步骤：

步骤一，本发明方法需要准备以下数据：多视角目标图像、目标分割结果和多相机内外标定参数，如图4所示。以篮球场为例，通过多相机对篮球场景进行数据采集获得一组多视角原始图像。对原始图像中的目标进行分割得到分割结果Mask

sp＝

其中，s为尺度因子，M映射矩阵。

步骤二，多视角目标分割结果将图像中的点分为背景

步骤三，从虚拟视点二维成像平面出发，发射出一簇连接光心和成像平面像素点的搜索光线：

P(t，u，v)＝P

其中，P

步骤四，一方面，在足球场、篮球场中，物体的运动区域有限。另一方面，相机阵列覆盖区域也是有限的，由于运动物体要被足够多的视角观测到。因此，重建区域的大小可以被预先知道。以篮球运动场景为例，重建区域往往被限定在篮球场或半场的大小。该区域可以被量化为一个包含所有重建体素的立方体包围盒。对发射射线进行包围盒相交测试。根据是否与包围盒相交可以将光线分为两大类：与包围盒相交的光线为有效光线，否则为无效光线。有效光线与包围盒相交于两点，近点t

P(t，u，v)＝P

步骤五，根据公式(1)可将光线遍历过程中的三维点投影到各个视角下，投影点坐标为(u

若投影点没有命中目标三维表面，则查询相应视角下的距离场D

步骤六，如图5所示，已经获得最近点P

P

等式两端同乘上各视角映射矩阵M

M

其中

联立方程组可以解得：

其中，

D

沿光线搜索方向以该距离步进，即可得到下一搜索点P

步骤七，目标三维表面体素点可能被多个参考相机观测到，且每个参考相机视角不同观测到的颜色、纹理也可能大不相同。为了得到最接近虚拟视点颜色的真实视角，需要对参考相机进行排序。本发明中以虚拟相机和真实相机相对于同一体素点的空间夹角作为度量对所有参考相机视角进行排序。除此之外，还可以依据虚拟相机和真实相机相对于同一体素点的正投影夹角或者目标三维表面法线方向对视角进行排序；

步骤八，模型渲染过程中除了需要考虑最优视角，还需要考虑目标在该视角下的遮挡情况。从目标表面体素点出发向最优视角进行遍历判断是否存在其他体素点。首先需要计算搜索射线与重建区域包围盒之间的交点，确定搜索范围；

步骤九，从重建体素点出发向当前最优视角方向进行遍历，并判断遍历三维点是否为体素点，判断依据同步骤五。若当前搜索点为体素点，则该视角下存在前遮挡目标，终止该视角下的搜索，选择最优相机排序中的下一视角重复步骤八；否则沿搜索方向继续搜索，并且使用步骤六中的映射关系计算出搜索过程中的可变步长，不断更新当前搜索点并进行判断。若一直遍历超出搜索范围都未出现前遮挡目标，则选定该视角对目标表面模型进行纹理渲染。所有体素点都完成遮挡判断和渲染上色，还原出该视角下三维场景的成像结果，如图6的目标渲染结果所示。

在本发明模型重建步骤中，所有的操作都是针对每一条发射光线独立进行，所以可以设计基于CUDA并行计算架构的数据结构，分配独立的线程对算法进行加速。同样的，在模型渲染环节，所以步骤都是针对目标三维体素点独立操作，也可使用CUDA进行并行加速。此外，还可使用Opengl-CUDA互操作架构，节约数据传输资源，利用Opengl对成像结果进行实时交互显示。

本发明充分利用多相机之间的几何关系，实现了一种快速光线追踪方法。该发明从算法优化的角度着手，推导出二维像素点和三维世界点之间的线性映射关系，以二维图像上的距离作为指导减少冗余空间的搜索，实现光线追踪算法的加速。而且，本发明设计中，所有步骤都可基于Opengl-CUDA互操作架构分配独立的线程进行并行计算，进行实时交互显示，进一步加速算法效果。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。