一种基于时序和定位相结合的路面成像方法及系统

技术领域

本发明涉及图像采集技术领域，尤其涉及一种基于时序和定位相结合的路面成像方法及系统。

背景技术

目前图像拼接的方法，多为基于时序的图像拼接方法，也有基于GPS技术的全景成像方法，在此基础上进行图像融合。

传统的时序图像拼接算法，可分为非多尺度分解的图像融合算法和多尺度分解的图像融合算法。前者计算量小，但是融合后过渡区域明显，视觉效果较差；后者过渡区域柔和，视觉效果较好，但是抗噪声能力差。基于GPS技术的全景成像方法，主要应用于测绘、地质、林业、电力、城市规划、道路设计等相关行业的航空摄影测量工作，但是图片的拼接效率低。

图像拼接技术目前开始广泛应用于城市道路，包括沥青路面、水泥混凝土路面和砌块路面等类型的机动车道的路面成像。但是，由于城市道路路面特点是采集的图像相似性高、特征点少、配准难度高，一旦图片拼接方法不对，路面成像的出错率就高，因而，如何在保证有效性的情况下，减少路面成像的出错率是本领域亟待解决的技术问题。

发明内容

本发明提供一种提高路面成像效果的基于时序和定位相结合的路面成像方法及系统。

本申请公开了一种路面成像方法，包括步骤：

对待成像路面的所有车道，以单一车道为单位，分别拍摄一组连续的照片，并记录每张照片的位置坐标点信息；

单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

以位置坐标点信息为图片识别码，将位置坐标点串联起来，形成道路图片框架；

将路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片。

可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤之前还包括步骤：对拍摄得到的照片进行畸变纠正。

可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤包括：

将相邻的两幅纠片后的照片分别作为参考图像和待配准图像；

使用sift特征提取算法、surf特征提取算法、harris角点特征提取算法、ORB特征提取算法中的至少一种，对参考图像和待配准图像进行特征点提取的工作，以获取考图像和待配准图像重复部分的特征点和兴趣点；

基于特征点和兴趣点，将单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片。

可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤包括：

以单一车道对应的一组连续的照片的前两张照片确定道路走向；

从第三张照片起，计算每张照片与前一张照片的当前走向，与道路走向的角度偏移量；

若角度偏移量小于等于30％，则单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

否则，将单一车道的一组连续照片以当前走向对应的两个照片为分界，划分为两组连续照片；每组连续照片分别采用时序拼接法拼接为一幅路段照片。

可选的，所述位置坐标点信息为GPS定位坐标点。

可选的，所述路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片的步骤包括：

路段照片根据图片识别码，定位到道路图片框架中；

并对每两幅路段照片的连接处，利用线性融合的方法根据路段照片之间的重叠区域范围对路段照片进行融合，形成待成像路面的全景图片。

可选的，所述路段照片根据图片识别码，定位到道路图片框架中步骤之后还包括：相邻的两幅路段照片之间，基于最靠近的两个照片的GPS定位坐标点，通过GPS拼接法拼接。

可选的，所述照片是通过道路巡查车上的高分辨率摄像头通过垂直拍摄方式拍摄得到的，连续拍摄的两张照片之间具有重叠部分，且重叠率大于等于30％。

可选的，在拍摄每一张照片时，所述道路巡逻车处于慢速行驶状态或者停止状态。

本申请还公开了一种路面成像系统，用于执行本申请任意公开的一种路面成像方法，包括：

照片采集设备，所述照片采集设备包括摄像头和地址定位装置，用于对待成像路面的所有车道，以单一车道为单位，分别拍摄一组连续的照片，并记录每张照片的位置坐标点信息；

时序拼接模块，用于将单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

道路图片框架构成模块，用于以位置坐标点信息为图片识别码，将位置坐标点串联起来，形成道路图片框架；

定位拼接模块，用于将路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片。

可选的，所述时序拼接模块，道路图片框架构成模块和定位拼接模块集成在一个图片处理器中；所述道路巡逻车上设置设置有至少两个地址定位装置，用于生成所述位置坐标点信息；所述摄像头通过可调节支架设置在所述道路巡查车上。

本申请的路面成像方法，针对单一车道的一组连续照片采用时序拼接方法，提高了路段照片的合成效率，保证了路面成像的时效性，而在路段照片与路段照片之间，则采用位置坐标点信息作为图片识别码，将不同路段的路段照片，拼接在一起，克服时序拼接法在路段与路段交界处拼接效果差的问题，减少图片拼接的出错率；通过道路图片框架将时序拼接法，和定位拼接法进行融合，快速精确的获取路面全景图片，在提高时效性的同时，又保证准确度。

附图说明

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1-1是A路的P1路面照片；

图1-2是A路的P2路面照片；

图2-1是B路的P3路面照片；

图2-2是B路的P4路面照片；

图3是道路巡查车巡行路线；

图4是基于时序的图片拼接效果图；

图5是基于GPS的图片拼接效果图；

图6是本申请第一实施例一种路面成像方法的流程图；

图7是本申请第二实施例一种路面成像方法的流程图；

图8是本申请第三实施例一种路面成像方法的流程图；

图9是本申请第四实施例的一种路面成像方法的流程图；

图10是本申请第五实施例的一种路面成像方法的流程图；

图11是本申请一种路面成像系统的示意图；

其中，10、照片采集设备；11、摄像头；12、地址定位装置；20、时序拼接模块；30、道路图片框架构成模块；40、定位拼接模块。

具体实施方式

需要理解的是，这里所使用的术语、公开的具体结构和功能细节，仅仅是为了描述具体实施例，是代表性的，但是本申请可以通过许多替换形式来具体实现，不应被解释成仅受限于这里所阐述的实施例。

在本申请的描述中，术语“第一”、“第二”仅描述目的，而不能理解为指示相对重要性，或者隐含指明所指示的技术特征的数量。由此，除非另有说明，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；“多个”的含义是两个或两个以上。术语“包括”及其任何变形，意为不排他的包含，可能存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

另外，“中心”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系的术语，是基于附图所示的方位或相对位置关系描述的，仅是为了便于描述本申请的简化描述，而不是指示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，或是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

路面全景成像技术，对于测绘、地质、林业、电力、城市规划、道路设计等相关行业的测量工作均有着重要的意义。

例如，城市道路的路面情况，若是能够准确的成像，对于道路的修复工作，有很好的帮助。

图1-1是A路的P1路面照片，图1-2是A路的P2路面照片，图2-1是B路的P3路面照片，图2-2是B路的P4路面照片。

其中，图1-1与图1-2为某路段A的两张图片，角度略微差，但经过图像纠片，能快速进行图片拼接，图片相似度极高；图2-1与2-2为某路段B的两张图片，图片清晰显示病害，但很难界定图2-1与2-2是否是一个路段的两个病害。这就要求不同的图片之间要进行拼接，现有的图片拼接方法主要有两种，一种是时序拼接法，一种是基于GPS定位拼接法，但两者均具有自己的缺点。

(1)时序拼接法的缺点

目前常用的图像拼接是时序拼接法，将连续拍摄的两张照片进行头尾拼接。但是，如果道路巡查车拍摄的时候调转方向，那么拼接转角处的图片将会非常困难。

图3是道路巡查车巡行路线，图4是基于时序的图片拼接效果图，参考图3和图4可知，该道路巡查车在这条路的南段拍了P1-P6六张照片，北段拍了P7-P12六张照片，如果按照时序的方式进行拼接，在掉头处的图像拼接将不再连贯，出现拼接错误。

在现实场景中，P6与P7应该是纵向拼接，即P7拼在P6上方，依次往左为P8、P9、P10、P11、P12。如果按照时序拼接就会出现横向顺序拼接的情况，P1-P6是A路段南段，P7-P12是A路段北段，但是方向反了。道路图像没有办法按照实际情况还原拼接。

(2)GPS拼接法的缺点

图5是基于GPS的图片拼接效果图，参考图5可知，如果利用GPS信息进行拼接，一张图片要与周围相邻的至少4张图片进行融合。如图5，G2跟G1、G3、G11、G12之间就会有大量重叠的区域，导致图片拼接的效率降低。

对此，本申请的发明人对于路面成像方法进行了改进。

下面参考附图和可选的实施例对本发明作进一步说明。

图6是本申请第一实施例一种路面成像方法的流程图，如图6所示，本申请公开了一种路面成像方法，包括步骤：

S1:对待成像路面的所有车道，以单一车道为单位，分别拍摄一组连续的照片，并记录每张照片的位置坐标点信息；

S2:单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

S3:以位置坐标点信息为图片识别码，将位置坐标点串联起来，形成道路图片框架；

S4:将路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片。

本申请的路面成像方法，针对单一车道的一组连续照片采用时序拼接方法，提高了路段照片的合成效率，保证了路面成像的时效性，而在路段照片与路段照片之间，则采用位置坐标点信息作为图片识别码，将不同路段的路段照片，拼接在一起，克服时序拼接法在路段与路段交界处拼接效果差的问题，减少图片拼接的出错率；通过道路图片框架将时序拼接法，和定位拼接法进行融合，快速精确的获取路面全景图片，在提高时效性的同时，又保证准确度。其中，具体的，该位置坐标点信息是在拍摄时，按下快门的瞬间生成的。

图7是本申请第二实施例一种路面成像方法的流程图，参考图7，结合图6可知，本实施例可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤S2之前还包括步骤S12：对拍摄得到的照片进行畸变纠正。道路巡查车以及道路养护车等拍摄的照片多为梯形或菱形，对待拼接的图像进行畸变校正，一般纠正为正俯视图片以便后续图片拼接之用，当然，具体纠正所得根据实际需求决定。

在步骤S2之前，先对照片进行畸变纠正，可以提高照片的拼接效果，而在步骤S4中，需要将路段照片，基于地址坐标点信息进行拼接融合，为了提高拼接融合的效果，也需要对路段照片进行特殊处理，具体的：

图8是本申请第三实施例一种路面成像方法的流程图，参考图8，结合图6和图7可知，本实施例可选的，所述路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片的步骤S4包括：

S41:路段照片根据图片识别码，定位到道路图片框架中；

S43:并对每两幅路段照片的连接处，利用线性融合的方法根据路段照片之间的重叠区域范围对路段照片进行融合，形成待成像路面的全景图片。在两图连接处，因为亮度、灰色等原因使得两图交界处的过渡有缝隙，所以需要特定的处理解决这种不自然，线性融合的方法可以很好的改善这一问题。

具体的，所述路段照片根据图片识别码，定位到道路图片框架中步骤S41之后还包括步骤S42：相邻的两幅路段照片之间，基于最靠近的两个照片的GPS定位坐标点，通过GPS拼接法拼接。本实施例的这种方式，在路段照片和路段照片之间仅有两张照片相靠近，而不会如正常的GPS拼接法一般至少有四张照片拼接在一起的情况，让图像拼接变得高效，减少中间图片与四周重复拼接的过程，提高了拼接效率。

基于时序的图片拼接方法大同小异，但是选择依然广泛，只要能够满足本申请的需求，都可以应用于本申请，如下，基于一种可行性的拼接方法进行介绍：

图9是本申请第四实施例的一种路面成像方法的流程图，参考图9，结合图6-图8可知，可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤S2包括：

S21:将相邻的两幅纠片后的照片分别作为参考图像和待配准图像；

S22:使用sift特征提取算法、surf特征提取算法、harris角点特征提取算法、ORB特征提取算法中的至少一种，对参考图像和待配准图像进行特征点提取的工作，以获取考图像和待配准图像重复部分的特征点和兴趣点；

S23:基于特征点和兴趣点，将单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片。

图10是本申请第五实施例的一种路面成像方法的流程图，本实施例可选的，所述单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片的步骤包括：

S201:以单一车道对应的一组连续的照片的前两张照片确定道路走向；

S202:从第三张照片起，计算每张照片与前一张照片的当前走向，与道路走向的角度偏移量；

S203:若角度偏移量小于等于30％，则单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

S204:否则，将单一车道的一组连续照片以当前走向对应的两个照片为分界，划分为两组连续照片；每组连续照片分别采用时序拼接法拼接为一幅路段照片。偏移量小于等于30，可以认为仍然在同一条道路上(即哪怕道路的名字已经变换，只要偏移量小，则可以认为仍然处于同一单一车道上)；而超过30时，则认为已经不在一条单一道路上了(同理，哪怕在命名上，仍然处于同一道路上，但是道路弯曲程度较大时，在本申请中，该道路将被划分为多个单一车道)。

其中，所述位置坐标点信息为GPS定位坐标点。当然，也可以为北斗定位坐标点，只要适用即可。其中，该步骤S21-步骤S23可以应用于步骤S203和步骤S204的以得到路段照片。

基于上述的特征提取算法，可以很好的找到特征点，基于特征点进行图片拼接，可以达到较好的拼接效果，特征是本申请的照片是基于同一车道的一组连续照片进行拼接时，可以达到良好的图片拼接效果。

进一步的，图8和图9所示的拼接并不完全局限于时序拼接只能用于单一车道的一组连续照片拼接，而GPS定位拼接则仅能用于路段照片的拼接。

当本申请的车道为笔直车道或者弯曲程度较小的车道时，采用步骤S21-步骤S23，基于时序进行拼接。当两个不同的车道，处于同一方向上，且相连接时，这两个路段照片，也可以采用基于时序的图片拼接方法进行拼接，只需要在进行照片采集时，一块采集即可。

而若是，单一车道的弯曲程度较大，或者由多段不同方向的路段组成时，其中，每个笔直或弯曲程度较小的路段，基于时序进行图片拼接，得到对应统一车道的多个小路段照片，此时，视这个车道内的每一个小路段为一个单一车道；而拐点处，则采用基于地址坐标点信息的拼接方法来将同一车道的不同的小路段照片定位到道路图片框架中，拼接融合得到整个车道的路段照片。

本实施例可选的，所述照片是通过道路巡查车上的高分辨率摄像头通过垂直拍摄方式拍摄得到的，连续拍摄的两张照片之间具有重叠部分，且重叠率大于等于30％。重叠部分可以选30％的重叠比例，以保证采集到的照片拼接之后，不会造成路段照片的遗漏。

为了提高照片的采集效果，以及地址坐标点信息的准确度，可选的，在拍摄每一张照片时，所述道路巡逻车处于慢速行驶状态或者停止状态。

图11是本申请一种路面成像系统的示意图，参考图11，结合图6-图10可知，本申请还公开了一种路面成像系统100，包括：

照片采集设备10，所述照片采集设备包括摄像头11和地址定位装置11，用于对待成像路面的所有车道，以单一车道为单位，分别拍摄一组连续的照片，并记录每张照片的位置坐标点信息；

时序拼接模块20，用于将单一车道对应的一组连续的照片，采用时序拼接法拼接为一幅路段照片；

道路图片框架构成模块30，用于以位置坐标点信息为图片识别码，将位置坐标点串联起来，形成道路图片框架；

定位拼接模块40，用于将路段照片根据图片识别码，定位到道路图片框架中，形成待成像路面的全景图片。

其中，该照片采集设备10可以是道路巡查车、无人机等，该地址定位装置，可以是GPS定位装置，也可以是北斗定位装置，或者其他可行的定位装置。

本实施例可选的，所述时序拼接模块，道路图片框架构成模块和定位拼接模块集成在一个图片处理器中。该图片处理器，可以是一个单独的处理器，该单独的处理器可以是放在道路巡查车上的，通过有线或无线与摄像头和地址定位装置连接，也可以设置在固定的地方，通过网络与道路巡查车信号连接。时序拼接模块，道路图片框架构成模块和定位拼接模块可以是软件，也可以是硬件存在的模块。

本实施例可选的，所述道路巡逻车上设置设置有至少两个地址定位装置，用于生成所述位置坐标点信息。两个地址定位装置可以是同一种定位系统，例如均是GPS定位，也可以是一种是GPS定位系统，一种是北斗定位系统，以保证不管在哪个地方，都可以保证定位的准确度。

本实施例可选的，所述摄像头通过可调节支架设置在所述道路巡查车上。该可调节支架，包括高度调节机构，角度调节机构，还可以包括前后调节机构以及左右调节机构，以保证摄像头采集到最适用的照片。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本方案中涉及到的各步骤的限定，在不影响具体方案实施的前提下，并不认定为对步骤先后顺序做出限定，写在前面的步骤可以是在先执行的，也可以是在后执行的，甚至也可以是同时执行的，只要能实施本方案，不相互冲突的步骤可以均在一次路面成像的操作中使用，都应当视为属于本发明的保护范围。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。