一种提升VR全景视频拼接质量的方法

技术领域

本发明属于图像拼接技术领域，具体涉及一种提升VR全景视频拼接质量的方法。

背景技术

VR全景是利用全景和虚拟现实技术，在互联网实现的可720度无死角观看的展现形式；就目前而言，VR全景除了在娱乐领域获得极大的成功外，在商业领域也成为了人们的焦点，被餐饮，酒店，KTV，酒吧，健身房，学校，医院，政府、景区、企业、工厂、展会等广泛应用在营销推广上

VR全景作为一种新型的视觉展示技术，成为时下最流行的全新视觉营销手段，具有强沉浸性和强交互性，可以很好的提升产品与消费者之间的沟通效果，可将商品放入到场景中进行展示，带上VR设备让客户切身体会，让营销变得更加有趣，从而提高服务品质。

目前，在虚拟现实平台内容中，VR全景视频内容占据了非常重要的位置；全景视频是当前虚拟现实技术主要的实现形式之一，它使用多个摄像机拍摄，并拼接生成360°方向上的场景，可以真实地呈现周围的实景环境；但由于人类视觉系统和相机等拍摄设备的限制，不能直接得到360°全景图像，而是需要借助专业的虚拟现实系统采集设备，利用图像拼接算法对多摄像机拍摄得到具有重叠区域的视频帧进行缝合拼接。

基于图像拼接算法的VR全景视频应用最为广泛，主要是将多幅相互间存在一定重叠区域且视角较小的图像序列进行配准和融合等操作，形成一幅包含更多信息的宽视角图像，而视频拼接算法对全景视频的拼接质量有着直接的影响。

现有VR全景视频拼接技术存在特征点匹配不够精确、拼接质量因为图像畸变而降低等问题。

发明内容

本发明的目的在于提供一种提升VR全景视频拼接质量的方法，通过提升拼接的视频图像质量，使得全景视频更为精准和有效，解决传统算法复杂度较高且配准效率低等问题，优化全景视频拼接质量。

为实现上述目的，本发明提供如下技术方案：一种提升VR全景视频拼接质量的方法，所述方法如下：

步骤一：接收多个待拼接图像；

步骤二：优化变换模型参数，以提升特征点匹配正确率；

步骤三：对待拼接图像的边缘区域被拉伸和变形的情况进行畸变校正；

步骤四：利用变换模型参数将畸变校正后的待拼接图像进行特征点匹配；

步骤五：按照特征点匹配结果进行多分辨率图像融合获取综合灰度值并通过无缝拼接以及得到全景图像，综合灰度值即为全景图像的灰度值；

步骤六：对全景图像进行色彩平衡、图像亮度调整。

作为本发明的一种优选的技术方案，所述优化变换模型参数的方法为拓扑约束优化特征匹配，具体为对每两个需要拼接在一起的所述待拼接图像执行以下步骤：

确立多个特征点；

基于特征点计算出所述待拼接图像的两个的连通矩阵；

计算两个连通矩阵的异或矩阵；

寻找异或矩阵中的非0元素；

去除异或矩阵中的非0元素对应位置的特征点；

输出最终特征点合集，实现提升特征点匹配正确率。

作为本发明的一种优选的技术方案，对待拼接图像的边缘区域被拉伸和变形的情况进行畸变校正的方法包括：

将图像转换为灰度图像；

检测图像是否存在倾斜度，若是则对图像进行倾斜校正，若否则不做操作；

通过柱面反投影算法对图像进行畸变校正。

作为本发明的一种优选的技术方案，将图像转换为灰度图像的方法为：采用MATLAB对所述图像进行灰度转换处理。

作为本发明的一种优选的技术方案，所述检测图像是否存在倾斜度的方法为：采用霍夫变换检测垂直直线进行检测。

作为本发明的一种优选的技术方案，对图像进行倾斜校正后采用霍夫变换检测垂直直线进行倾斜度确认。

作为本发明的一种优选的技术方案，所述图像融合的方法为采用多分辨率图像融合技术对自适应区域进行图像融合，具体为对R、G和B三个通道执行以下步骤：

获取所述待拼接图像的灰度信息；

通过训练好的神经网络获取每副待拼接图像的灰度权值；

计算所有待拼接图像的灰度值的加权总和，该加权总和为所述综合灰度值。

作为本发明的一种优选的技术方案，所述无缝拼接的方法为：采用Laplacian融合算法实现无缝拼接。

作为本发明的一种优选的技术方案，所述色彩平衡的方法包括：互补色平衡；冷暖平衡；纯色和花色的平衡；有色和无色的平衡；深色与浅色的平衡。

作为本发明的一种优选的技术方案，所述图像亮度调整的方法包括：使用亮度/对比度调整；使用色阶调整；使用曲线调整。

与现有技术相比，本发明的有益效果是：

传统算法直接对特征点进行提前和匹配不做其他优化处理，无法消除错误特征点，本发明有效减少了特征匹配点对过程中存在错误匹配的现象，本发明能够提升特征点匹配正确率、以及图像配准的精度，辅助提升图像拼接的质量；

本发明有效地实现了摄图像几何畸变的校正，防止图像畸变造成的拼接不准确和显示误差；

本发明通过亮度调整消除了拼接缝及光照不均造成的过渡不连续现象，从而获得高质量的无缝拼接全景图。

附图说明

图1为本发明的提升VR全景视频拼接质量的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，为本发明的第一个实施例，该实施例提供一种提升VR全景视频拼接质量的方法，包括以下步骤：

步骤一：接收多个待拼接图像；

步骤二：优化变换模型参数，以提升特征点匹配正确率，这一步目的是使得拼接点更精准，拼接准确率更高；

步骤三：对待拼接图像的边缘区域被拉伸和变形的情况进行畸变校正，防止因为图像畸变造成的拼接误差或者显示效果不理想等问题；

步骤四：利用所述变换模型参数将畸变校正后的待拼接图像进行特征点匹配；

步骤五：按照特征点匹配结果进行多分辨率图像融合获取综合灰度值并通过无缝拼接以及得到全景图像，综合灰度值即为全景图像的灰度值；

步骤六：对所述全景图像进行图像亮度调整，这一步可以让全景图像光照均匀，以解决曝光差异问题，优化拼接结果，使得全景图像更符合人眼视觉要求。

实施例2

请参阅图1，为本发明的第二个实施例，该实施例基于上一个实施例，不同的是：

优化变换模型参数的方法为拓扑约束优化特征匹配，具体为对每两个需要拼接在一起的所述待拼接图像执行以下步骤：

确立多个特征点；

基于特征点计算出所述待拼接图像的两个的连通矩阵；

计算两个连通矩阵的异或矩阵；

寻找异或矩阵中的非0元素；

去除异或矩阵中的非0元素对应位置的特征点；

输出最终特征点合集，实现提升特征点匹配正确率。

本实施例可以删除多余的错误特征点防止出现匹配错误，本实施例提到的异或矩阵中存在非0元素则代表待拼接图像之间的特征点中存在非相同连接性的特征点，也就是会造成误匹配的特征点，所以去除掉这些点可以提升特征点匹配正确率，使得拼接精度更高。

实施例3

请参阅图1，为本发明的第三个实施例，该实施例基于上一个实施例，不同的是：

对图像边缘区域被拉伸和变形的情况进行畸变校正的方法包括：

将图像转换为灰度图像；

检测图像是否存在倾斜度，若是则对图像进行倾斜校正，若否则不做操作；

通过柱面反投影算法对图像进行畸变校正。

将图像转换为灰度图像的方法为：采用MATLAB对所述图像进行灰度转换处理；

检测图像是否存在倾斜度的方法为：采用霍夫变换检测垂直直线进行检测；

对图像进行倾斜校正后采用所述霍夫变换检测垂直直线进行倾斜度确认；下面对霍夫变换检测垂直直线做一个简单介绍：霍夫变换是一种特征提取，被广泛应用在图像分析、计算机视觉以及数位影像处理；霍夫变换是用来辨别找出物件中的特征，例如：线条；其流程大致如下：给定一个物件、要辨别的形状的种类，算法会在参数空间中执行投票来决定物体的形状，而这是由累加空间里的局部最大值来决定；经典的霍夫变换是侦测图片中的直线，之后，霍夫变换不仅能识别直线，也能够识别任何形状，常见的有圆形、椭圆形；后来霍夫变换开始流行于计算机视觉界；

本实施例中是为了检测图像的倾斜度，所以采用了一条霍夫变换检测垂直直线对图像关键线条进行检测，例如用于检测图像的边框侧边是否为垂直线条。

实施例4

请参阅图1，为本发明的第四个实施例，该实施例基于上一个实施例，不同的是：

图像融合的方法为采用多分辨率图像融合技术对自适应区域进行图像融合，具体为对R、G和B三个通道执行以下步骤：

获取待拼接图像的灰度信息；

通过训练好的神经网络获取每副待拼接图像的灰度权值；

计算所有待拼接图像的灰度值的加权总和，该加权总和为所述综合灰度值；

无缝拼接的方法为：采用Laplacian融合算法实现无缝拼接；Laplacian融合算法是一种图像处理领域的常用技术，下面对于Laplacian融合算法进行简单介绍，其基本思想如下：

步骤1：两幅图像分别记为L和R，给定金字塔层数level以及二值掩模mask；

步骤2：根据给定的给定金字塔层数level构建L和R各自的拉普拉斯残差金字塔，保留高斯金字塔下采样最顶端的图像；

步骤3：通过二值掩模mask采样构建高斯金字塔；

步骤4：将L图和R图的拉普拉斯残差金字塔对应层的图像合并为一幅图像，这里是通过mask金字塔每一层的mask图实现，获取到合并后的拉普拉斯残差金字塔，再将步骤2中保留的topL和topR合并为topLR；

步骤5：以topLR为金字塔最顶端的图像，利用pyrUp()函数对topLR进行高斯上采样，得到upTopLR，并将upTopLR与步骤4中合并后的残差金字塔对应层的图像相加，重建出该层的图像；

步骤6：重复步骤5，直至重建出第0层，也就是金字塔最低端的图像，即blendImg，最后将其进行输出；

通过本实施例的技术方案可以使得图像融合拼接更为精准。

实施例5

请参阅图1，为本发明的第五个实施例，该实施例基于上一个实施例，不同的是：

色彩平衡的方法主要有以下几种：

互补色平衡：互补色是指在色环上180°对立的两种颜色；在画面中安排互补的两种颜色作为主色调，能使搭配效果非常突出，两种颜色都会被对方衬托的更明艳；我们可以根据需要，确定一种颜色作为表达主体的色调，再使用互补色进行补充和点缀，通过控制颜色的明度和饱和度，使两者主次分明；

冷暖平衡：合理地安排冷暖色调，有机地将它们结合起来，才能给观者带来视觉平衡感；

纯色和花色的平衡：一个画面要想达到视觉平衡，不能一味纯色或一味花色，需要将它们合理安排、合理搭配，让它们达到平衡、稳定的感觉，从而给观者带来愉悦的视觉体验；

有色和无色的平衡：如果画面将有色与无色组合搭配，可以让画面更加和谐，达到平衡的目的；

深色与浅色的平衡：在一个画面中，只有深色会给人沉闷和压抑的视觉感受，只有浅色则会给人轻飘飘的感觉，深色与浅色结合，能给人们带来舒适的视觉体验；

图像亮度调整的方法如下：

使用亮度/对比度调整：在图像菜单中选择亮度/对比度选项，通过拖动滑杆来调整图像的亮度；

使用色阶调整：在图像菜单中选择色阶选项，通过调整色阶来改变图像的亮度；

使用曲线调整：在图像菜单中选择曲线选项，通过调整曲线的形状来改变图像的亮度。

尽管已经示出和描述了本发明的实施例，详见上述详尽的描述，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。