一种基于阵列式亿级像素图像感知的超高型铁塔全景监控

技术领域

本发明涉及图像处理技术领域，具体为一种基于阵列式亿级像素图像感知的超高型铁塔全景监控。

背景技术

阵列式相机通过多个小镜头代替一个大镜头的拍摄效果，其原理是通过同时控制多台相机进行拍摄的技术，相比于传统的相机来说，亿像素阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。图像配准是图像拼接的关键，图像配准旨在找出两张图像中的相同区域，以计算图像间的坐标变化，图像配准的精度直接决定着图像的拼接质量。现有技术中，通常采用对图像本身进行灰度处理、角度变换、边缘处理等方式来实现图像配准，忽略了拍摄目标和拍摄装置的移动所造成的图像偏差，导致图像拼接精度低，因此本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，解决了上述背景技术中提出的问题。

(二)技术方案

为实现以上目的，本发明提供如下技术方案：一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

优选的，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像,所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

优选的，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

s1＝|vx1-vx2|*Δt

s2＝|vd1-vd2|*Δt

其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

优选的，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：其中，表示坐标转换值，表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

优选的，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对,所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。

优选的，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

(三)有益效果

与现有技术相比，本发明提供了一种基于阵列式亿级像素图像感知的超高型铁塔全景监控，具备以下有益效果：

该基于阵列式亿级像素图像感知的超高型铁塔全景监控，通过采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。

附图说明

图1为本发明提出的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控结构流程图；

图2为本发明提出的一种基于阵列式亿级像素图像感知的超高型铁塔全景监控结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像,所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

s1＝|vx1-vx2|*Δt

s2＝|vd1-vd2|*Δt

其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：其中，表示坐标转换值，表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对,所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2-t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

综上所述，该基于阵列式亿级像素图像感知的超高型铁塔全景监控，通过采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。