一种基于图像拼接的平面物体轮廓模型的全景图方法

技术领域

本发明专利属于图像处理的技术领域，涉及三维模型构建和光学成像系统的图像拼接，适用于三维物体模型构造。

背景技术

随着网络技术的发展，网上购物逐渐替代实体店购物成为主流。在产品的购买过程中，消费者需要得到商品尽可能多的信息来衡量商品是否达到自己的需求标准，同时商人需要向消费者充分的展示自己的商品来刺激消费者的购买欲。而在产品宣传推销展示的过程中展现方式是一个十分重要的问题。到目前为止向用户展现展现商品主要有三维模型、全景图两种虚拟现实的方法。全景图制作方便但是只能允许消费者在个人视角观察大型商品内部信息或者说周围的环境，无法自由变换看到商品外表。三维模型能够直观的展现商品但是制作模型过程复杂，需要很高的技术软件和设备。本文提出一种将三维模型和全景图相结合，利用图像拼接来实现快速低成本随时随地制作三维轮廓模型的方法。

在日常生活中人们可以利用摄像机手机等移动便携设备对身边的环境或者实物进行拍摄得到电子图像或者纸质相片。在一些环境下由于各种原因导致一张图像无法覆盖全部目标内容并清晰呈现目标全部内容，这时就需要用到图像拼接技术。

在众多图像拼接方法中，通过变换矩阵变换图像是不可避免地的一个核心的步骤。在所有的图像拼接的过程中，大多数图像变换是通过单应矩阵实现的。但是单应变换矩阵使用有一定的约束性条件。单应变换矩阵在下列两种情况下使用图像拼接效果较好：

1图像拼接目标位于同一平面内，两次摄像相机位置和角度任意.

2图像拼接目标不在同一平面内但是两次摄像相机位置相对于成像距离变换不大可以近似看作相机只有摄像角度的旋转没有位置的平移。

如果不满足单应矩阵的使用条件待拼接的两张图像之间就会存在较大视差，使用单应矩阵进行图像拼接会产生重影鬼影变形畸变等问题，到目前为止没有一种完善的解决方案。图像拼接技术应用广泛，在虚拟现实领域主要应用于全景图拼接。

全景图技术是指在任一环境下摄像机对周围三百六十五度上中下三个视角拍摄十八张照片进行无缝拼接并把拼接完成的图像投影到圆柱体立方体或者球体内部模拟真实环境给观看者产生一种沉浸感。

发明内容

本发明主要提出了一种基于图像拼接的三维轮廓快速构造全景图技术。

本发明采用的技术方法主要包含以下步骤：

步骤一：根据不同目标的尺寸大小采集数量最小化的目标物体平面正视图和夹角正视图，做到交叉覆盖整个目标物体表面。

步骤二：检测夹角正视图中各平面中水平特征直线，根据直线的角度和长度来计算各平面角度以及平面夹角的角度。

步骤三：对目标物体各个平面进行图像拼接。

步骤四：根据各个平面的图像和各夹角的角度合成平面物体三维轮廓模型。

步骤五：平面物体三维轮廓模型向外三百六十度无死角进行图像拼接转换并根据原采样图和图像拼接合成图进行变换和校正，完成各角度投影图像。

步骤六：模型映射图片反馈补充采集图片优化。

本发明核心提出一种单一目标多视角大视差图像拼接方法。

上述步骤三中图像拼接步骤：

1、特征直线提取；

2、特征直线离散配准；

3、依据角度填充；

4、无缝融合。

上述步骤四步骤：

1、相邻平面对齐；

2、根据夹角正视图角度一次链接；

3、校正优化。

附图说明

图1是本发明流程图

图2为本发明角度计算估计模块的示意图

图3为本发明平面拼接重构示意图

图4为本发明过程变化图

具体实施步骤

模型搭建各模块步骤：

模块1步骤：采集图像：

1a：对于小尺寸物体拍摄目标物体各个夹角正视图。

1b：对于大尺寸物体各个夹角的夹角正视图和各个平面的平面局部正视图至少各个夹角平面各一张；以立方体为例要拍摄水平方向四个平面和四个夹角共八张图像如果尺寸过大则需要采集更多张图像直至覆盖全部侧面有重叠区域。

模块2步骤：相邻平面夹角计算估计：

2a：从平面正视图中提取特征直线，并从相应的夹角正视图中配准对应直线。

2b:根据夹角正视图中匹配直线和平面正是图中对应特征直线的长度比例以及倾角来计算该平面相对于夹角正视图的夹角角度

2c：根据夹角两个平面相对夹角正视图的角度求和得到该夹角大小。

模块3步骤：平面拼接重构：

3a：对于小尺寸物体可以通过平面两侧夹角的水平视角正视图的重合区域进行多视角大视差图像拼接来恢复该平面的正视图。

3b：使用同一平面两个夹角平视图和一张或者多张平面局部正视图进行多视角大视差图像拼接恢复平面整体正视图。

模块4步骤：模型搭建：

根据各完整平面正视图以及平面夹角构建目标物体三维轮廓模型框架:

模块5步骤：各个角度映射优化模型:

5a：根据指定角度对现有正视图图集进行拼接并按照指定角度映射转换。

5b：根据三维轮廓模型和现有拼接图片进行对照校正优化。

多角度大视差图像拼接步骤：

步骤1：采集面对目标物体平行视角的多张平面和夹角的图片。

步骤2：特征提取聚类分割目标物体：

2a：对所有图片提取特征点；

2b：由于拍照一般把目标物体放在视觉中央的特点，越靠近图像中央的像素点约有可能被包含在目标物体之内同时大部分目标物具有相似的纹理风格，根据以上条件对提取出的所有特征点进行聚类。对图像中的物体进行粗分割。把目标物体和其他背景物体分离。

2c：根据粗分割后各模块中的特征点的匹配关系，把各模块中特征点经过相应的变换后同对应的匹配点计算误差。根据误差进一步聚类目标分割成不同的平面。

步骤3：提取水平90°直线：在每张图中的匹配平面上提取与水平线近似成九十度直接的直线作为特征直线。并记录每条特征直线的x坐标。

步骤4：基于直线特征图像离散配准：以基准图像为目标按照单一方向逐一配准特征直线。若配准目标存在位置交叉视为错误匹配项。

步骤5：根据各正视图角度关系按比例填充融合：依据匹配特征直线之间的距离，以包含平面最多的正视图为基准填充对应图像区域内容。各区域尺寸依据各图对应正视图角度相对大小来确定，其中各区域包括原有区域和填充区域。