图像处理装置、图像处理方法及图像处理程序

技术领域

本发明涉及一种图像处理装置、图像处理方法及图像处理程序，尤其涉及一种进行多个图像的对位的技术。

背景技术

由于隧道和桥梁等结构物会随着时间的推移而劣化，因此需要一种能够准确诊断结构物的健全度的诊断方法。作为这种诊断方法，提出了获取结构物的图像并基于该图像进行结构物的诊断的方法。例如，已经提出了获取结构物的可见光图像来进行诊断的方法和获取红外图像来进行诊断的方法。根据可见光图像，能够在混凝土、砂浆、瓷砖等结构物中检测裂纹、剥离等表面缺陷，并且根据红外图像，能够检测浮起等内部缺陷。还提出了同时获取可见光图像和红外图像来进行诊断的方法。例如，在专利文献1中记载了一种方法，其中，利用普通摄像机和红外摄像机获取与结构物有关的可见光图像数据和红外图像数据，通过重叠这些图像数据来制成混合图像，并通过该混合图像来诊断结构物。

以往技术文献

专利文献

专利文献1：日本特开2012-098170号公报

发明内容

发明要解决的技术课题

在基于可见光图像和红外图像两者来进行诊断的情况下，如上述专利文献1那样，经常重叠可见光图像和红外图像，但是在重叠时，分别反映在可见光图像和红外图像的对象物上的各点的位置存在偏差。具体而言，由于普通摄像机和红外摄像机的视场角和摄像位置等不同，因此由各摄像机拍摄的对象物上的各点在各图像中的位置存在偏差。针对该问题，在上述专利文献1中公开了以在可见光图像和红外图像上所拍摄的对象物上的基准点的位置一致的方式，对可见光图像和红外图像实施变形校正以及根据需要的缩尺校正。但是，即使以基准点的位置一致的方式对图像进行了几何校正，可见光图像和红外图像上的基准点以外的点的位置也不一定一致。即，不一定能消除可见光图像和红外图像之间的位置偏差。

这样，在现有技术中，在将多个图像建立对应关联时有可能残留位置偏差。另外，在结构物中存在浮起等内部缺陷的部位，经常会看到在与其相同的部位或相邻的部位也存在裂纹或剥离等表面缺陷的情况，因此在基于红外图像来进行浮起等内部缺陷的诊断时，同时基于可见光图像来进行裂纹或剥离等表面缺陷的诊断，从而能够判别伴随这种裂纹或剥离的浮起和不伴随裂纹或剥离的浮起。并且，在基于红外图像的浮起等内部缺陷的诊断中存在误检测较多的问题，但能够误检测的部位大多能够基于可见光图像而从结构物表面的状态进行判别。因此，在基于红外图像诊断浮起等内部缺陷时，通过同时使用可见光图像，能够提高浮起等内部缺陷的诊断性能(判别伴随裂纹或剥离的浮起和不伴随裂纹或剥离的浮起、或减少误检测(判别))。但是，在可见光图像和红外图像存在位置偏差的情况下，在通过使用上述的可见光图像来提高性能方面可能会出现问题。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够降低将多个图像建立对应关联时的位置偏差的图像处理装置、图像处理方法及图像处理程序。

用于解决技术课题的手段

为了实现上述目的，本发明的第1方式所涉及的图像处理装置具备处理器，所述图像处理装置中，处理器获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示对象物的表面上的基准点的位置的信息，根据所获取的第1图像、第2图像及信息，将与表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值建立对应关联。

另外，在第1方式以及以下各方式中，第1图像和第2图像“在不同的波长带拍摄”不仅包括波长带完全不重复的情况，还包括波长带的一部分重复且一部分不同的情况。并且，即使波长带相同，也包括分光灵敏度特性不同而峰值灵敏度波长不同的情况(也包括实质上被视为“不同的波长带”的情况)。

第2方式所涉及的图像处理装置在第1方式中，信息是基于第1图像和第2图像获取的信息。

第3方式所涉及的图像处理装置在第1方式或第2方式中，至少一个基准点是存在于对象物的端部、弯曲部、边界中的任一处的点。

第4方式所涉及的图像处理装置在第1方式至第3方式中的任一方式中，信息是基于由距离测量单元测量出的距离获取的信息。

第5方式所涉及的图像处理装置在第1方式至第4方式中的任一方式中，处理器根据信息(表示基准点位置的信息)来估计非基准点的位置。

第6方式所涉及的图像处理装置在第1方式至第5方式中的任一方式中，处理器根据信息来估计表面的形状，根据所估计的形状来估计非基准点的位置。

第7方式所涉及的图像处理装置在第6方式中，处理器将形状估计为由三个基准点规定的平面的集合。

第8方式所涉及的图像处理装置在第6方式或第7方式中，处理器将形状估计为表面是预先确定的形状的面。

第9方式所涉及的图像处理装置在第8方式中，处理器将形状估计为表面是平面。

第10方式所涉及的图像处理装置在第8方式中，处理器将形状估计为表面是圆筒面。

第11方式所涉及的图像处理装置在第1方式至第10方式中的任一方式中，处理器根据第1图像和第2图像中的至少一个图像的值，判别对象物的表面。

第12方式所涉及的图像处理装置在第1方式至第11方式中的任一方式中，处理器至少生成将与非基准点对应的第1图像的值和第2图像的值重叠在同一像素位置上的数据，和/或至少将与非基准点对应的第1图像的值和第2图像的值重叠在同一像素位置上并显示在显示装置上。

第13方式所涉及的图像处理装置在第1方式至第12方式中的任一方式中，处理器获取利用包含可见光的波长带的至少一部分的波长带的光拍摄的图像作为第1图像和第2图像中的一个图像，获取利用包含红外线的波长带的至少一部分的波长带的光拍摄的图像作为第1图像和第2图像中的另一个图像。

第14方式所涉及的图像处理装置在第1方式至第13方式中的任一方式中，处理器获取拍摄了混凝土结构物作为对象物的第1图像和第2图像。

为了实现上述目的，本发明的第15方式所涉及的图像处理方法是由处理器执行的图像处理方法，其中，获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示对象物的表面上的基准点的位置的信息，根据所获取的第1图像、第2图像及信息，将与表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值建立对应关联。

根据第15方式，与第1方式相同地，能够降低将多个图像建立对应关联时的位置偏差。另外，第15方式所涉及的图像处理方法也可以进一步执行与第2方式至第14方式相同的处理。

为了实现上述目的，本发明的第16方式所涉及的图像处理程序是使处理器执行的图像处理程序，其中，获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示对象物的表面上的基准点的位置的信息，根据所获取的第1图像、第2图像及信息，将与表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值建立对应关联。

根据第16方式，与第1方式、第15方式相同地，能够降低将多个图像建立对应关联时的位置偏差。另外，第16方式所涉及的图像处理程序也可以是进一步执行与第2方式至第14方式相同的处理的程序。另外，作为本发明的方式，也可以举出记录有这些方式的程序的计算机可读取的代码的非临时性记录介质。

发明效果

如上所述，根据本发明所涉及的图像处理装置、图像处理方法及图像处理程序，能够降低将多个图像建立对应关联时的位置偏差。

附图说明

图1是示意性地表示摄像系统及摄像对象物的表面的图。

图2是表示通过几何校正而使得基准点和非基准点一致的例子的图。

图3是表示通过几何校正而使得非基准点不一致的例子的图。

图4是表示通过几何校正而使得非基准点不一致的例子的另一图。

图5是示意性地表示摄像系统及摄像对象物的表面的另一图。

图6是表示通过几何校正而使得非基准点不一致的例子的又一图。

图7是表示通过几何校正而使得非基准点不一致的例子的又一图。

图8是表示通过几何校正而使得非基准点不一致的例子的又一图。

图9是表示实施方式所涉及的图像处理系统的结构的图。

图10是表示作为混凝土结构物的一例的桥梁的图。

图11是表示处理部的功能结构的图。

图12是表示图像处理方法的步骤的流程图。

图13是表示在对象物的表面设定基准点的情况的图。

图14是表示图13中的可见光图像和红外图像的放大图。

图15是表示在可见光图像和红外图像中确定了基准点的例子的图。

图16是表示提取对象物的表面的边界作为基准点的情况的图。

图17是表示基于空间特征判别所连接的区域的结果的例子的图。

图18是表示基于平行投影模型的非基准点的配置情况的示意图。

图19是表示估计可见光图像和红外图像的值的结果的例子的图。

图20是表示将可见光图像的值和红外图像的值重叠在同一图像位置的结果的例子的图。

图21是表示将重叠数据设为表形式的例子的图。

图22是表示可见光图像、红外图像及重叠图像的例子的图。

具体实施方式

以下，参考附图对本发明的实施方式所涉及的图像处理装置、图像处理方法及图像处理程序的实施方式进行详细说明。

首先，详细说明将多个图像建立对应关联时的位置偏差的问题，特别是在基于红外图像诊断浮起等内部缺陷时也同时使用可见光图像时，由于这样的位置偏差产生的问题。在基于可见光图像和红外图像两者来进行诊断的情况下，经常重叠可见光图像和红外图像，但是在重叠时，分别反映在可见光图像和红外图像的对象物上的各点的位置存在偏差。具体而言，由于普通摄像机和红外摄像机的视场角和摄像位置等不同，因此由各摄像机拍摄的对象物上的各点在各图像中的位置存在偏差。针对该问题，即使以在可见光图像和红外图像上所拍摄的对象物上的基准点的位置一致的方式，对可见光图像和红外图像实施变形校正以及缩尺校正，即，以基准点的位置一致的方式对图像进行了几何校正，可见光图像和红外图像上的基准点以外的点的位置也不一定一致。即，不一定能消除可见光图像和红外图像之间的位置偏差。

这样，在将多个图像建立对应关联时有可能残留位置偏差。另外，“将多个图像建立对应关联”是指将与对象物上的各点对应的多个图像的值建立对应关联。并且，“多个图像的位置偏差”如上所述，是指与对象物上的各点对应的多个图像中的位置存在偏差，这意味着将与对象物上的各点对应的多个图像的值错误地建立了对应关联。即，第1图像和第2图像的位置偏差意味着与对象物表面的同一点对应的第1图像中的位置和第2图像中的位置存在偏差，同时意味着与对象物表面的其他点对应的第1图像中的位置和第2图像中的位置错误地相同。即，错误地将“在对象物表面与其他点对应的第1图像的值、第2图像的值”视为“与同一点对应的第1图像的值、第2图像的值”而建立对应关联。即使以使与对象物上的基准点对应的多个图像的值正确地建立对应关联的方式对多个图像进行了几何校正，也未必能够使与对象物上的基准点以外的点对应的多个图像的值正确地建立对应关联。另外，在结构物中存在浮起等内部缺陷的部位，经常会看到在与其相同的部位或相邻的部位也存在裂纹或剥离等表面缺陷的情况，因此在基于红外图像来进行浮起等内部缺陷的诊断时，同时基于可见光图像来进行裂纹或剥离等表面缺陷的诊断，从而能够判别伴随这种裂纹或剥离的浮起和不伴随裂纹或剥离的浮起。并且，在基于红外图像的浮起等内部缺陷的诊断中存在误检测较多的问题，而在解决该问题上使用可见光图像是有效的。具体而言，尽管结构物的内部不存在浮起等内部缺陷，但在结构物被修补的情况下、在结构物的表面附着有游离石灰等异物的情况下、在结构物的表面存在颜色不均(霉菌、苔藓、剥离剂、水影响等)、接缝、高低差、熔渣、砂纹、锈汁、锈迹、漏水、表面凹凸的情况下等，在红外图像中存在表面温度(实际和/或表观表面温度)与周围不同而可能导致误检测的部位，但这些部位大多能够基于可见光图像而从结构物表面的状态进行判别。因此，在基于红外图像诊断浮起等内部缺陷时，通过同时使用可见光图像，能够提高浮起等内部缺陷的诊断性能(判别伴随裂纹或剥离的浮起和不伴随裂纹或剥离的浮起、或减少误检测(判别))。但是，在可见光图像和红外图像存在位置偏差的情况下，难以通过使用上述可见光图像来提高性能。

[课题的详细情况]

接着，详细说明即使以使对象物的表面上的基准点的位置一致的方式对图像进行了几何校正，基准点以外的点的位置也不一致的问题。另外，在以下说明中，将可见光图像(利用包含可见光的波长带(波长400nm～800nm左右)的至少一部分的波长带的光拍摄的图像，以下相同)的摄像系统和红外图像(利用包含红外线的波长带(700nm～1mm左右)的至少一部分的波长带的光拍摄的图像)的摄像系统中的任一方称为摄像系统1，将另一方称为摄像系统2。

[对象物的表面为直线(平面)的情况]

[非基准点的位置一致的情况]

图1是在xy坐标空间中示意性地表示摄像系统1、摄像系统2及摄像对象物的表面的图。另外，摄像对象的实际空间是三维的，但是在图1中为了进行说明而设为二维。在图1中，摄像系统1的光学中心为xy坐标系的原点，光轴与y轴一致，摄像系统1的坐标系由坐标(x，y)表示(以下，将摄像系统1的坐标系也称为坐标系1)。并且，摄像系统2的坐标系是使坐标系1在x方向上平行移动BX，在y方向上平行移动BY，进而旋转了角度θ的坐标系，由坐标(x2，y2)表示(以下，将摄像系统2的坐标系也称为坐标系2)。摄像系统2的光学中心与坐标系(x2，y2)的原点一致，光轴与y2轴一致。F是摄像系统1和摄像系统2的焦距，将各摄像系统的摄像面假想地表示在从各光学中心向前方距离f的位置。从光学中心观察，在摄像对象的空间中将从对象物表面的各点反射、放射的光的强度投影到摄像面而得的图像成为摄像图像。

如图1所示，将对象物的表面设为直线，在其表面上以等间隔d考虑点P[0]、P[1]......P[N]，考察各点的摄像系统1的摄像面(以下，将摄像系统1的摄像面也称为摄像面1)以及摄像系统2的摄像面(以下，将摄像系统2的摄像面也称为摄像面2)中的位置关系。在此，将焦距f设为1。首先，如以下的式(1)所示，坐标系1的坐标(x，y)在摄像面1中投影到以下的坐标xp。

[数式1]

xp＝x/y......(1)

并且，坐标系1的坐标(x，y)能够通过以下的式(2a)～(2d)转换为坐标系2的坐标(x2，y2)，以下，能够通过式(2e)投影到摄像面2中的坐标x2p。另外，式(2a)、(2b)表示坐标系的平行移动，式(2c)、(2d)表示旋转，θ以逆时针方向为正。

[数式2]

xs＝x-BX......(2a)

[数式3]

ys＝y-BY......(2b)

[数式4]

x2＝xs*cos(θ)+ys*sin(θ)......(2c)

[数式5]

y2＝-xs*sin(θ)+ys*cos(θ)......(2d)

[数式6]

x2p＝x2/y2......(2e)

接着，若将点P[0]、P[1]......P[N]的坐标系1中的坐标分别设为(x[0]，y[0])......(x[N]，y[N])，则这些坐标由以下的式(3a)、(3b)表示。在此，i表示0、1......N。并且，α是与x轴的正方向所成的角度，以逆时针方向为正。

[数式7]

x[i]＝x[0]+i*d*cos(α)......(3a)

[数式8]

y[i]＝y[0]+i*d*sin(α)......(3b)

对于各个点P[0]、P[1]......P[N]，通过将式(3a)、(3b)的x[i]、y[i]代入式(1)，能够求出摄像面1中的坐标xp[0]、xp[1]......xp[N]。并且，对于各个点P[0]、P[1]......P[N]，通过将式(3a)、(3b)的x[i]、y[i]代入式(2a)～(2d)及式(2e)，能够求出摄像面2中的坐标x2p[0]、x2p[1]......x2p[N]。

对于几个例子示出了通过上式求出点P[0]......P[N]的摄像面1中的坐标xp[0]......xp[N]以及摄像面2中的坐标x2p[0]......x2p[N]并进行比较的结果。首先，图2中示出了x[0]＝-2m、y[0]＝10m、d＝2m、α＝20度、N＝10、BX＝4m、BY＝0m、θ＝0度的结果。在图2的(a)部分示出坐标系1和坐标系2、以及点P[0]......P[10]的配置，在该图的(b)部分中，以□(四边形符号)表示摄像面1中的坐标xp[0]......xp[10]，以○(圆形符号)表示摄像面2中的坐标x2p[0]......x2p[10]。在此，假设以点P[0]和点P[10]为基准点，以使摄像面1中的坐标xp[0]及xp[10]与摄像面2中的坐标x2p[0]及x2p[10]一致的方式对各摄像图像进行几何校正的情况，以使坐标xp[0]及x2p[0]例如成为-1，使坐标xp[10]及x2p[10]例如成为1的方式对各点的坐标进行了校正。另外，以下将该校正称为标准化。并且，将与摄像面1对应的摄像图像称为摄像图像1，将与摄像面2对应的摄像图像称为摄像图像2。从图2可知，标准化的坐标xp[0]......xp[10]与坐标x2p[0]......x2p[10]一致。即，可知通过以点P[0]和点P[10]为基准点，以基准点的位置一致的方式对摄像图像1和摄像图像2进行几何校正，从而基准点以外的点的位置也一致。另外，以下将基准点以外的点称为非基准点。

[非基准点的位置不一致的情况(之一)]

接着，将坐标系1和点P[0]......P[10]的配置保持与图2相同，仅改变坐标系2，具体而言，将BX＝4m、BY＝4m、θ＝0度的结果示于图3。图3的视角与图2相同。从图3可知，标准化的坐标xp[1]......xp[9]与坐标x2p[1]......x2p[9]不一致。即，可知即使以点P[0]和点P[10]为基准点，以使基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

[非基准点的位置不一致的情况(之二)]

接着，将坐标系1和点P[0]......P[10]的配置保持与图2相同，仅改变坐标系2，具体而言，将BX＝4m、BY＝4m、θ＝20度的结果示于图4。图4的视角与图2相同。从图4可知，与图3同样地，标准化的坐标xp[1]......xp[9]和坐标x2p[1]......x2p[9]不一致，即，即使以点P[0]和点P[10]为基准点的位置，以使基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

同样地，将坐标系1和点P[0]......P[10]的配置保持与图2相同，仅改变坐标系2，具体而言，在BX＝4m、BY＝0m、θ＝20度的情况下、BX＝0m、BY＝4m、θ＝0度的情况下以及BX＝0m、BY＝4m、θ＝20度的情况下，也是坐标xp[1]......xp[9]和坐标x2p[1]......x2p[9]不一致即非基准点的位置不一致的结果(省略图示)。

由上可知，在对象物的表面为直线的情况下，除了摄像系统1和摄像系统2的光轴平行且在光轴的方向上不存在位置偏差(在与光轴垂直的方向上排列摄像系统1和摄像系统2)的情况以外，即使以对象物的表面上的基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

在此，由于难以使摄像系统1和摄像系统2的光轴完全平行并且完全不存在位置偏差，因此认为无论如何非基准点的位置都不一致。

[对象物的表面为曲线(曲面)的情况]

[非基准点的位置不一致的情况(之一)]

接着，在对象物的表面为曲线的情况下，同样地考察对象物的表面上的各点的摄像面1和摄像面2(摄像图像1和摄像图像2)中的位置关系。图5中示意性地示出了在xy坐标空间中的摄像系统1、摄像系统2及摄像对象物的表面。由于只有对象物的表面与图1不同，因此仅对对象物的表面进行说明。在图5中，对象物表面是中心(xc，yc)(坐标系1中的坐标)、半径r的圆弧。在圆弧上的角度α的位置考虑点P[0]，并且从点P[0]起以角度β的间隔等间隔地考虑P[1]......P[N]。各点的坐标系1中的坐标(x，y)由以下的式(4a)、(4b)表示。在此，i表示0、1......N。并且，α是与x轴的负方向所成的角度，以顺时针方向为正。并且，β也以顺时针方向为正。通过将式(4a)、(4b)的x[i]、y[i]代入式(1)，能够求出摄像面1中的坐标xp[0]......xp[N]。并且，通过将式(4a)、(4b)的x[i]、y[i]代入式(2a)～(2d)及式(2e)，能够求出摄像面2中的坐标x2p[0]......x2p[N]。

[数式9]

x[i]＝xc-r*cos(α+i*β)......(4a)

[数式10]

y[i]＝yc+r*sin(α+i*β)......(4b)

设xc＝5m、yc＝5m、r＝10m、α＝10度、β＝7度、N＝10、BX＝4m、BY＝0m、θ＝0度，求出点P[0]......P[10]的摄像面1中的坐标xp[0]......xp[10]以及摄像面2中的坐标x2p[0]......x2p[10]并进行比较的结果示于图6。图6的视角与图2至图4相同。从图6可知，标准化的坐标xp[1]......xp[9]和坐标x2p[1]......x2p[9]不一致，即，即使以点P[0]和点P[10]为基准点，以使位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

[非基准点的位置不一致的情况(之二)]

接着，将坐标系1和点P[0]......P[10]的配置保持与图6相同，仅改变坐标系2，具体而言，将BX＝4m、BY＝4m、θ＝0度的结果示于图7。图7的视角与图6相同。从图7可知，标准化的坐标xp[1]......xp[9]与坐标x2p[1]......x2p[9]不一致。即，可知即使以点P[0]和点P[10]为基准点，以使基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

[非基准点的位置不一致的情况(之三)]

接着，将坐标系1和点P[0]......P[10]的配置保持与图6相同，仅改变坐标系2，具体而言，将BX＝4m、BY＝4m、θ＝20度的结果示于图8。图8的视角与图6相同。从图8可知，标准化的坐标xp[1]......xp[9]和坐标x2p[1]......x2p[9]不一致，即，即使以点P[0]和点P[10]为基准点，以使位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

同样地，将坐标系1和点P[0]......P[10]的配置保持与图6相同，仅改变坐标系2，具体而言，在BX＝4m、BY＝0m、θ＝20度的情况下、BX＝0m、BY＝4m、θ＝0度的情况下以及BX＝0m、BY＝4m、θ＝20度的情况下，也是坐标xp[1]......xp[9]和坐标x2p[1]......x2p[9]不一致即非基准点的位置不一致的结果(省略图示)。

由上可知，在对象物的表面为曲线的情况下，即使以对象物的表面上的基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

由上可知，无论对象物的表面是直线还是曲线，即使以对象物的表面上的基准点的位置一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

另外，在图1和图5中，为了说明而将摄像对象的空间设为二维，但摄像对象的实际空间是三维的。可知，即使将摄像对象的空间设为三维，将对象物的表面设为平面或曲面，在表面上考虑基准点和非基准点，同样地求出摄像系统1和摄像系统2的摄像面上的基准点和非基准点的坐标并且以基准点的坐标一致的方式进行标准化，摄像系统1和摄像系统2的标准化后的非基准点的坐标也不一致，即，即使以基准点的坐标一致的方式对摄像图像1和摄像图像2进行了几何校正，非基准点的位置也不一致。

鉴于上述情况，本申请发明人进行了深入研究，得到了通过以下方法解决上述课题的构思。

(1)获取从不同的位置拍摄同一对象物的可见光图像和红外图像(“在不同的波长带拍摄的二维图像”的一例)。

(2)获取在对象物表面上作为基准的点(基准点)的位置信息。

(3)根据基准点的对象物表面上的位置，估计与对象物表面上的基准点以外的非基准点对应的可见光图像和红外图像的值。

以下进行具体说明。

[图像处理系统的整体结构]

图9是表示实施方式所涉及的图像处理系统的整体结构的图。如图9所示，在图像处理系统10中，图像处理装置20(图像处理装置)、服务器500、数据库510及摄像机600(摄像装置)经由网络NW连接。图像处理系统10可以使用个人计算机、平板终端、智能手机等设备(信息终端)来构成。

[图像处理装置的结构]

图像处理装置20具备处理部100(处理器)、记录部200、显示部300及操作部400，这些各部相互连接而收发必要的信息。这些各部可以容纳在一个框体中，也可以容纳在独立的框体中。并且，各要素也可以配置在分开的位置并经由网络连接。

在图像处理装置20中，例如获取图10所示的桥梁710(混凝土结构物的一例)的图像，进行损伤或变形的检测、图像的对位等处理。桥梁710具有栏杆712、地板720(仅示出一部分)、梁722及桥墩730。另外，在本发明的实施方式中，“第1图像和第2图像的对位”是指在对象物表面使与同一点对应的第1图像的值和第2图像的值建立对应关联。

[处理部的结构]

图11是表示处理部100的功能结构的图。处理部100具备图像获取部102、基准点确定部103、位置信息获取部104、非基准点位置估计部106、图像值估计部108、重叠数据生成部110、损伤检测部111、显示控制部112、记录控制部114及通信控制部116，进行可见光图像和红外图像的获取、表示基准点位置的信息的获取、非基准点的位置的估计、图像值的估计、可见光图像和红外图像之间的对应关联、重叠数据的生成和显示等处理。这些各部进行的处理的详细情况将在后面叙述。

上述处理部100的功能能够使用各种处理器(processor)及记录介质来实现。各种处理器例如还包括作为执行软件(程序)来实现各种功能的通用的处理器的CPU(CentralProcessing Unit：中央处理器)、作为专用于图像处理的处理器的GPU(GraphicsProcessing Unit：图形处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等作为在制造后可变更电路结构的处理器的可编程逻辑器件(Programmable LogicDevice：PLD)。各功能可以由一个处理器来实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA或CPU和FPGA的组合、或CPU和GPU的组合)来实现。并且，也可以通过1个处理器来实现多个功能。更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。

在上述的处理器或电路执行软件(程序)时，将能够由执行的软件的计算机(例如，构成处理部100的各种处理器或电路、和/或它们的组合)读取的代码记录在ROM或闪存等非临时性记录介质(存储器)中，计算机参考该软件。记录在非临时性记录介质中的软件包括用于执行本发明的实施方式所涉及的图像处理方法的图像处理程序以及在执行图像处理程序时使用的数据(表示基准点位置的信息的数据、用于非基准点的位置的估计的数据、对象物的表面形状的数据等)。代码可以记录在各种光磁记录装置、半导体存储器等非临时性记录介质(包括记录部200)中，而不是ROM中。在执行时，根据需要使用记录在记录部200等记录装置中的信息。并且，在执行时，例如RAM(Random Access Memory(随机存取存储器)；存储器)被用作临时性存储区域。

另外，也可以通过网络上的服务器(处理器)来实现处理部100的功能的一部分或全部，图像处理装置20可以进行数据的输入、通信控制、结果的显示等。在这种情况下，包括网络上的服务器在内构建应用程序服务提供商(Application Service Provider)型系统。

[记录部的结构]

记录部200(记录装置、存储器、非临时性记录介质)由CD(Compact Disk：光盘)、DVD(Digital Versatile Disk：数字多用光盘)、硬盘(Hard Disk)、各种半导体存储器等非临时性记录介质及其控制部构成，记录可见光图像、红外图像、可见光图像与红外图像的重叠数据及重叠图像、表示基准点或非基准点的位置的信息、对象物表面(三维表面)的形状数据、损伤信息等。也可以在记录部200中记录用于执行本发明的实施方式所涉及的图像处理方法的图像处理程序以及执行图像处理程序时使用的数据。

[操作部的结构]

操作部400包括键盘410及鼠标420，用户能够通过这些器件来进行本发明的实施方式所涉及的图像处理所需的操作。可以通过使用触摸面板型的器件，将显示器310用作操作部。

[显示装置]

显示部300具备显示器310(显示装置)。显示器310例如是液晶显示器等器件，能够显示所获取的图像或处理结果。

[服务器和数据库]

在数据库510中记录可见光图像、红外图像等信息，服务器500控制与图像处理装置20的通信。图像处理装置20能够获取记录在数据库510中的信息。

[摄像机的结构]

摄像机600(摄像装置、摄像系统)具备：利用包含可见光的波长带的至少一部分的波长带的光来拍摄对象物(被摄体)的可见光摄像机610；及利用包含红外线的波长带的至少一部分的波长带的光来拍摄对象物的红外摄像机620。通过摄像机600，可以从不同的位置拍摄同一对象物而得到可见光图像、红外图像(在不同的波长带拍摄的多个二维图像)。摄像机600可以安装在摇摄和/或可倾斜的云台上。并且，摄像机600可以安装在可移动的车辆、机器人、飞行物体(无人机等)上。

另外，假定在可见光摄像机610和红外摄像机620中坐标系的关系(表示原点位置和坐标系方向的关系的参数值)是已知的，被存储在记录部200等存储器中。例如，将可见光摄像机610和红外摄像机620的位置和方向固定在预先确定的位置和方向上进行摄像，将根据得到的可见光图像和红外图像计算出的参数存储在存储器中即可。例如，在许多红外摄像机中还内置有可见光的摄像机，在用红外摄像机拍摄红外图像时，可以同时用可见光摄像机拍摄可见光图像。或者，也可以通过另外的测定装置来确定可见光摄像机610和红外摄像机620的摄像的位置和方向。可以应用GPS或Wi-Fi定位来确定摄像位置，并且可以应用陀螺仪传感器、加速度传感器等公知的方法来确定摄像方向。处理部100(处理器)可以根据需要使用所存储的信息。

[图像处理的步骤]

图12是表示实施方式所涉及的图像处理的步骤(图像处理方法的各步骤)的流程图。

[1.可见光图像和红外图像的获取]

图像获取部102(处理器)获取从不同的位置分别拍摄了同一对象物的可见光图像和红外图像(步骤S100：图像获取处理、图像获取工序)。图像获取部102可以从摄像机600、数据库510及记录部200获取图像。并且，图像获取部102可以获取例如拍摄了混凝土结构物作为对象物的可见光图像和红外图像。在此，如上所述，设为可知可见光图像和红外图像的坐标系的关系(摄像位置和摄像方向的关系)。

以下，为了便于说明，有时将可见光图像记载为第1图像，将红外图像记载为第2图像，但只要是在不同的波长带拍摄的多个二维图像，可以将任意图像作为第1图像或第2图像来处理。

另外，以下说明对可见光图像和红外图像分别获取一个图像的情况，但也可以如在“变形例”一项中后述的那样，针对各图像获取多个图像。

[损伤检测]

损伤检测部111(处理器)根据可见光图像和红外图像检测损伤(变形、缺陷)。检测的项目例如是损伤的位置、数量、大小、形状、类型、程度等。并且，损伤的类型例如是裂纹、剥离、漏水、浮起、空洞、腐蚀、钢筋露出等。损伤检测部111可以使用公知的方式(例如，基于图像的局部特征量的方法)来检测损伤。并且，损伤检测部111也可以使用由深层学习等机器学习构成的已学习模型(例如，各种神经网络)来检测损伤。

[2.表示基准点位置的信息的获取]

基准点确定部103和位置信息获取部104(处理器)从所获取的图像中获取表示基准点位置的信息(步骤S110：基准点位置信息获取处理、基准点位置信息获取工序)。该处理包括：可见光图像和红外图像中的基准点的确定(确定处理、确定工序)；及表示对象物表面上的基准点位置的信息的获取(获取处理、获取工序)。图13是表示求出对象物表面SS上的基准点RP的位置的情况的示意图，图14是图13中的可见光图像I1和红外图像I2的放大图。另外，在图13和图14中，为了简化说明，只示出了对象物的一个表面。并且，在图14中，对象物的表面以外的部分显示为黑色。并且，在图14中，用白色圆形标记表示在可见光图像I1和红外图像I2中确定的基准点。以下，进行详细说明。

[2.1基准点的确定]

基准点确定部103首先在可见光图像和红外图像中确定基准点。例如，基准点确定部103可以在预先在对象物的表面上确定能够由可见光图像和红外图像两者确定的标记(例如，铝箔等金属箔)而拍摄的可见光图像和红外图像中，确定该标记的位置。

或者，基准点确定部103也可以根据可见光图像和红外图像的信号值的空间分布来确定并提取基准点。作为该方法，可以使用通过立体摄像机等求出两个图像的对应点的公知的图像相关法。即，在可见光图像和红外图像中，分别一边改变坐标一边提取所确定尺寸的区域来评价相关性，求出相关性(相似性)最高的区域的坐标作为对应点即可。此时，基准点确定部103仅将可见光图像和红外图像的相关性(相似性)为所确定的值以上的对应点作为基准点来确定并提取。可见光图像和红外图像是不同类型的图像，但存在能够基于相关(相似性)确定为基准点的部位。例如，可以将对象物表面的端部或弯曲的部位(弯曲部)确定为基准点。例如，如上所述，在图14中，可以将可见光图像11和红外图像I2中用白色圆形标记表示的部位确定为基准点。图15是表示在拍摄了混凝土结构物(例如，图10所示的桥梁710)的可见光图像(图15的(a)部分)和红外图像(该图的(b)部分)中确定了基准点的例子的图。在图15所示的例子中，基准点确定部103可以基于相关性(相似性)将例如由圆形标记包围的部位确定为基准点。另外，由于在可见光图像和红外图像中信号值的高低的关系有时也相反，因此基准点确定部103优选评价相关值的绝对值作为相关性(相似性)。基准点确定部103在可见光图像和红外图像中确定基准点时，可以得到与基准点对应的可见光图像的值和红外图像的值。即，在步骤S110中可以得到与基准点对应的可见光图像的值和红外图像的值。另外，与基准点对应的可见光图像的值例如是指与基准点对应的RGB(RedGreen Blue)值。并且，与基准点对应的红外图像的值例如是指与基准点对应的IR(infrared)值。

[2.2表示基准点位置的信息的获取]

接着，位置信息获取部104针对各个基准点，根据可见光图像和红外图像中的位置求出对象物表面上的位置(摄像对象的三维空间中的位置)。根据图像上的基准点的位置，能够在该图像的摄像系统的坐标系中确定有基准点的方向。如已经说明的那样，将对象物表面的各点沿光学中心的方向投影到摄像面而得的图像是摄像图像。因此，图像上的基准点的位置是将对象物表面上的基准点沿光学中心的方向投影到摄像面而得的位置。因此，在连接光学中心和摄像面的基准点的直线方向上存在对象物表面上的基准点。由于可见光图像的摄像系统(的坐标系)和红外图像的摄像系统(的坐标系)的位置和方向的关系是已知的，因此位置信息获取部104可以求出能够根据可见光图像中的基准点的位置确定的方向(例如在图13的示意图的情况下，连接可见光图像I1的摄像系统的光学中心01和摄像面IS1上的基准点的直线(实线)的方向)与能够根据红外图像中的基准点的位置确定的方向(例如在图13的示意图的情况下，连接红外图像I2的摄像系统的光学中心O2和摄像面IS2上的基准点的直线(虚线)的方向)的交叉点(在摄像对象的三维空间中交叉的点；例如图13的示意图的情况下，实线与虚线交叉的点，由四个圆形标记表示的点)，作为对象物表面上的基准点的位置(例如图13的示意图的情况下，对象物表面SS上的基准点RP的位置)。从图1、图5、图13、图14的示意图可以容易地理解上述说明。

当基于可见光图像和红外图像的相关性(相似性)确定并提取基准点时，还可以提取对象物表面的边界作为基准点。例如，在图15所示的可见光图像和红外图像的情况下，不仅提取对象物表面的端部或弯曲的部位(弯曲部)，还提取除此以外的边界的部位作为基准点。除了由图15的圆形标记包围的部位以外，在图16中还用虚线的圆形标记(椭圆形符号)示出在对象物表面的边界上作为相关性(相似性)高的部位而被提取的部位。在图16中，边界为直线，当通过图像相关法提取可见光图像(或红外图像)的边界处的确定尺寸的区域并评价与红外图像(或可见光图像)的确定尺寸的区域的相关性(相似性)时，沿着边界在多个区域的相关性(相似性)变高。在对象物表面的边界为曲线的情况下，沿着曲线在各个部位的相关性(相似性)变高。无论如何，不仅是对象物表面的端部，除此以外的边界(直线或曲线)也可以被提取为相关性(相似性)高的部位。

这样，优选至少一个基准点是存在于对象物的端部、弯曲的部位(弯曲部)、边界中的任一处的点。另外，位置信息获取部104(处理器)也可以对可见光图像和红外图像中的至少一方(第1图像和第2图像中的至少一方)实施强调对象物的端部、弯曲部、边界中的一个以上的强调处理，并使用实施了强调处理的图像来执行基准点位置信息获取处理(基准点位置信息获取工序)。

在本发明的实施方式中，将能够在对象物的表面确定为同一部位的可见光图像中的部位和红外图像中的部位称为“基准点”。对于上述说明的对象物表面的端部，其端部的一个部位可以在可见光图像和红外图像中确定为同一部位。而且，对于上述说明的对象物表面的边界，也能够将该边界上的各部位在可见光图像和红外图像中确定为同一部位。因此，在本发明的实施方式中，无论是对象物表面的端部还是边界，作为能够确定为“在对象物的表面上是同一部位”的部位，称为“基准点”。同样地，无论是对象物表面上的一个部位(点)也是线上连续的多个部位(线)，都称为“基准点”。但是，根据基准点是一个部位(点)还是线上的多个部位(线)，根据可见光图像和红外图像中的基准点的位置来求出对象物表面上的基准点的位置的方法稍有不同，因此需要分别进行区分(基准点是一个部位的情况和线上的多个部位的情况)。

在基准点为一个部位(点)的情况下，如已经说明的那样，位置信息获取部104可以求出连接可见光图像的摄像系统的坐标系的原点(光学中心)和摄像面上的基准点的直线、与连接红外图像的摄像系统的坐标系的原点(光学中心)和摄像面上的基准点的直线的交叉的点，作为对象物表面上的基准点的位置。

在基准点为线上的多个部位(线)的情况下，位置信息获取部104可以求出连接可见光图像(或红外图像)的摄像系统的坐标系的原点(光学中心)和摄像面上的线上的一点的基准点的直线、与包含红外图像(或可见光图像)的摄像系统的坐标系的原点(光学中心)和摄像面上的线的面(由连接坐标系的原点和摄像面上的线上的各个基准点的直线构成的面)交叉的点，作为该一点的基准点的对象物表面上的位置。在基准点为线上的多个部位(线)的情况下，通过该方法，能够针对线上的各个基准点求出在对象物表面上的位置。

在基准点为直线上的多个部位的情况下，位置信息获取部104需要通过上述说明的后者的方法，即，通过求出与一个图像的直线上的一点对应的直线、和与另一个图像的直线对应的面的交叉点的方法，来求出直线上的各个基准点的对象物表面上的位置。另一方面，在基准点为曲线上的多个部位的情况下，位置信息获取部104只要能够确定可见光图像和红外图像中的曲线上的各部位，就可以通过前者的方法，即，通过求出与一个图像的曲线上的一点对应的直线、和在另一个图像的曲线上与确定为相同于该一点的一点对应的直线的交叉点的方法，来求出曲线上的各个基准点的对象物表面上的位置。另外，作为后者的替代方法，也可以求出包含一个图像的摄像系统的坐标系的原点(光学中心)和摄像面上的线的面、与包含另一个图像的摄像系统的坐标系的原点(光学中心)和摄像面上的线的面交叉的线，作为各图像的线的基准点的对象物表面上的位置。

[3.非基准点的位置的估计]

非基准点位置估计部106(处理器)根据对象物表面(三维表面)上的基准点的位置(根据表示基准点位置的信息)，估计对象物表面(三维表面)上的基准点以外的点即非基准点的位置(步骤S120：非基准点位置估计处理、非基准点位置估计工序)。该处理包括：根据对象物表面(三维表面)上的基准点的位置来估计对象物表面(三维表面)的形状的处理(形状估计处理、形状估计工序)；及根据所估计的对象物表面(三维表面)的形状来估计非基准点的位置的处理(位置估计处理、位置估计工序)。以下，进行详细说明。

[3.1对象物表面(三维表面)的形状的估计]

为了估计对象物表面上的非基准点的位置，需要根据表示基准点位置的信息来估计对象物表面(三维表面)的形状。被三个基准点包围的局部的三角形区域中的形状可以通过由这三个基准点的位置唯一地确定的平面近似。因此，非基准点位置估计部106在通过以下的(1)形成最初的三角形平面之后，通过(2)反复形成与已经形成的三角形平面连接的其他三角形平面，从而能够通过将三角形平面连接而形成的形状(由三个基准点规定的平面的集合)来近似对象物表面的形状。

(1)首先从对象物表面上的多个基准点提取彼此的距离最近的三个基准点(三个基准点的任意两个间的距离中最远的距离最接近的三个基准点)，形成三角形平面。

(2)从已经形成的三角形的顶点的各两个基准点提取下一个最接近的基准点(在距两个基准点各自的距离内，较远一方的距离最接近的基准点)，形成三角形平面。

在此，从可见光图像的摄像系统和红外图像的摄像系统观察，在各三角形平面的内侧不可能存在其他基准点。即，在由可见光图像的摄像系统的光学中心和各三角形构成的三角锥、以及由红外图像的摄像系统的光学中心和各三角形构成的三角锥的内部，不可能存在其他基准点。因此，非基准点位置估计部106排除这种三角形平面，对于由三个基准点形成的全部三角形平面，以在其内侧不存在其他基准点的方式形成各个三角形平面。

另外，在步骤S110(表示基准点位置的信息的获取)中确定且提取的基准点中不仅包含对象物表面的端部等一个部位(点)的基准点，还包含连续存在于对象物表面的边界等线上的多个部位(线)的基准点的情况下，非基准点位置估计部106优选根据基准点是点还是线来改变形成三角形平面的规则。具体而言，非基准点位置估计部106优选相对于点的基准点，以该基准点成为顶点的方式形成三角形平面，相对于线的基准点，以该基准点(线)成为一边的方式形成三角形平面。在此，在线为曲线的情况下，该曲线为一边的平面不一定是三角形，而且不一定为平面，但非基准点位置估计部106可以包含这样的面而形成、连接来估计对象物表面的形状。

对象物表面不一定在可见光图像和红外图像的整个范围内连接，有时也包含因阴影等而使表面不连续的部分。例如，图15(和图16)所示的可见光图像和红外图像还包含对象物表面不连续的部分。基于这种不连续的部分中的基准点形成的三角形平面作为对象物表面形状的近似是错误的。因此，为了在这种情况下也正确地估计表面形状，非基准点位置估计部106优选在可见光图像和红外图像中判别对象物表面的所连接的各区域，根据各所连接的区域的边界和内侧的基准点，在所连接的区域内形成三角形平面并连接来估计对象物表面的形状。非基准点位置估计部106可以根据可见光图像和红外图像的信号值、以及边缘或纹理等空间特征，判别所连接的区域。

在此，由于可见光图像通常由在可见光的波长区域中将三种不同波长区域中的反射强度分布分别图像化而得的RGB图像(红色、绿色、蓝色的波长带中的图像)构成，因此非基准点位置估计部106可以根据RGB图像的信号值以及各个图像的边缘或纹理等空间特征来判别所连接的区域。例如，如图15(和图16)所示，在对象物为混凝土结构物的情况下，非基准点位置估计部106首先从可见光图像的各像素中提取可视为混凝土表面的像素组。例如，在各像素的RGB信号值包含在可视为混凝土表面的RGB值的确定的范围内的情况下，提取各像素作为可视为混凝土表面的像素组。在提取像素组之后，非基准点位置估计部106根据各像素的RGB信号值以及空间特征来更精细地区分像素组。接着，非基准点位置估计部106通过形态学膨胀运算来填补各个像素组并且使其膨胀。最后，非基准点位置估计部106可以使用动态轮廓法将膨胀后的各个像素组收缩到最佳区域，将各个像素组所对应的区域确定为所连接的区域。非基准点位置估计部106可以应用Snakes、Leve1 set法等作为动态轮廓法。

但是，在可见光图像中，即使对象物表面不连续，也存在夹着该不连续的边界的各区域的RGB信号值接近而难以确定不连续的边界的情况，另一方面，在红外图像中，夹着该不连续的边界的各区域的温度不同，有时边界也明确。因此，非基准点位置估计部106优选基于可见光图像和红外图像两者来确定所连接的区域。用于确定所连接的区域(区分并确定夹着不连续的边界的各区域)的方法包括Mean Shift法、Graph Cuts法等许多方法。非基准点位置估计部106也可以应用其任一方法来确定所连接的区域。非基准点位置估计部106也可以根据用户的操作来确定用于确定所连接的区域的方法。

非基准点位置估计部106也可以应用机器学习的方法来确定所连接的区域。例如，可以使用CNN(Convolutional Neural Network：卷积神经网络)、FCN(fully convolutionnetwork：全卷积网络)、U-net(Convolutional Networks for Biomedical ImageSegmentation：用于生物医学图像分割的卷积网络)、Seg Net(A Deep ConvolutionalEncoder-Decoder Architecture for Image Segmentation：用于图像分割的深度卷积编解码器架构)等方法来确定。

确定所连接的区域的方法只要是基于可见光图像和红外图像的特征的方法即可，没有特别限定，非基准点位置估计部106可以应用其中任一种方法。用于确定的可见光图像的类型(信号值的类型)不限于3种(RGB)，可以是1种或2种，也可以是4种以上。

另外，对象物表面的所连接的各区域由可见光图像和红外图像的摄像系统(的坐标系)中的方向的区域来定义。具体而言，对于可见光图像和红外图像中的每一个，由连接所对应的摄像系统的坐标系的原点(光学中心)和摄像面上所连接的区域的各像素的直线方向的区域(即，由连接所对应的摄像系统的坐标系的原点和摄像面上所连接的区域的边界的各像素的直线包围的方向的区域)来定义。在此，将从可见光图像和红外图像中的每一个求出的方向的区域内重叠的区域(内侧的区域)视为对象物表面的所连接的区域(在可见光图像和红外图像中的任一个中都发现了不连续的边界时，为了限定由该边界连接的区域)。

[3.1(1)通过自由曲面的拟合来估计对象物表面(三维表面)的形状]

由于可见光图像和红外图像是不同类型的图像，因此在[2.表示基准点位置的信息的获取]中，能够确定为对象物表面上的同一部位的基准点的数量较少。即，由于是不同类型的图像，因此在根据图像的相关性(相似性)来确定基准点的情况下，即使在对象物表面上是同一部位，图像的信号值的空间分布相似的部位也较少。另外，在此，所谓可见光图像和红外图像是不同类型的图像，表示可见光图像和红外图像是由分别在不同的波长区域具有灵敏度的摄像机拍摄的图像。并且，即使预先在对象物的表面上确定能够由可见光图像和红外图像两者确定的标记，其数量也较少。因此，如上所述，在判别可见光图像和红外图像中对象物表面的所连接的各区域的情况下，也可以不是形成并连接三角形的面，而是根据所连接的区域的边界以及内侧的全部基准点的位置，估计该区域中的对象物表面的形状。具体而言，也可以将贝塞尔曲面或B样条曲面等自由曲面与所连接的区域的边界以及内侧的基准点拟合来估计表面形状(此时，拟合的曲面不一定需要通过所有的基准点)。在此，在进行曲面拟合之前，可以将对象物表面的所连接的各区域进一步分割为平滑地连接的各区域(如果在对象物表面存在倾斜度急剧变化的部位，则也可以在该倾斜度急剧变化的部位为边界来分割区域)。通过已经说明的根据可见光图像和红外图像的信号值以及边缘或纹理等空间特征进行判别的方法，能够判别对象物表面的所连接的各区域，并且也能够判别更细致、平滑地连接的各区域(也能够判别由倾斜度急剧变化的部位划分的各区域)。

[3.1(2)通过特定形状的面的拟合来估计对象物表面(三维表面)的形状]

根据对象物的不同，有时会预先知道表面形状(知道是预先确定的形状的面)，例如对象物为混凝土结构物时，大多预先知道。例如，图15(和图16)的例子那样，表面多为平面。并且是隧道的情况下，表面多为圆筒面。这样，在预先知道对象物的表面形状的情况下，非基准点位置估计部106优选预先确定不是自由曲面而是平面、圆筒面、球面等表示表面形状的函数，在对象物表面的各个(平滑地)连接的区域中，以最适合该区域的边界以及内侧的基准点的位置的方式，优化拟合该函数的参数来估计表面形状。例如，在预先知道对象物的表面是平面的情况下，非基准点位置估计部106也可以在对象物表面的各个(平滑地)连接的区域中，以最适合该区域的边界以及内侧的基准点的位置的方式拟合平面来估计表面形状。例如在图13的示意图的情况下，由于预先知道对象物的表面SS是平面，因此非基准点位置估计部106在对象物表面SS的(平滑地)所连接的区域中，以最适合该区域的边界的四个基准点RP的位置的方式拟合平面来估计对象物表面SS的形状。并且，例如在预先知道对象物的表面是圆筒面的情况下，非基准点位置估计部106也可以拟合圆筒面来估计对象物的表面形状。

关于图15(和图16)的例子，图17示出根据可见光图像的信号值以及边缘或纹理等空间特征来判别对象物(混凝土结构物)表面的平滑地连接的各区域的结果的例子。在图17中，(a)部分所示的区域的表面与其他区域的表面不连续(不连接)，(b)部分、(c)部分及(d)部分所示的各区域的表面虽然连续(虽然连接)但不平滑地连接(由倾斜度急剧变化的部位划分)。由于预先知道本对象物(混凝土结构物)的表面是平面，因此非基准点位置估计部106在对象物表面的图17所示的各区域中，以最适合图15和图16所示的点的基准点以及线的基准点的对象物表面上的位置的方式拟合平面来估计表面形状。

在对象物表面的形状(预先确定的形状)为平面的情况下，只要至少三个基准点(不在同一直线上的基准点)在其表面上，则非基准点位置估计部106就能够估计表面形状。并且，在对象物表面的形状为球面的情况下，只要至少四个基准点(不在同一平面上的基准点)在其表面上，就能够估计表面形状。并且，在对象物表面的形状为圆筒面的情况下，至少五个基准点在其表面上，就能够估计表面形状。

当对象物表面的形状由预先确定的函数表示时，根据该函数的参数(独立的参数)的数量，确定优化拟合该函数的参数以估计表面形状所需的最小基准点的数量。当然，基准点的数量越多，表面形状估计的精度(拟合的精度)越高。

另外，在可见光图像的摄像系统(坐标系)和红外图像的摄像系统(坐标系)与对象物表面的位置或方向的关系存在制约的情况下，非基准点位置估计部106能够基于更少的基准点来估计对象物的表面形状。例如，在对象物表面为平面的情况下，例如在可见光图像和红外图像的任一坐标系与对象物表面(平面)所成的两个角度中确定了一个角度的情况下(在可见光图像和红外图像的任一坐标系中，在用极坐标的两个角度θ、φ表示对象物表面(平面)的法线矢量的方向时确定了一个角度(θ和φ中的任意一个)的情况下)，只要至少两个基准点在其表面上，就能够估计表面形状。

并且，例如在确定了可见光图像和红外图像的任一坐标系与对象物表面(平面)所成的角度的情况下(是在可见光图像和红外图像的任一坐标系中，确定了对象物表面(平面)的法线矢量的方向的情况，也包括对象物表面与坐标系的任一面平行的情况)，只要至少一个基准点在其表面上，就能够估计表面形状。

并且，例如在对象物表面为圆筒面的情况下，例如在可见光图像和红外图像的任一坐标系与对象物的圆筒面的轴方向所成的两个角度中确定了一个角度的情况下(在可见光图像和红外图像的任一坐标系中，在用极坐标的两个角度θ、φ表示对象物的圆筒面的轴方向时确定了一个角度(θ和φ中的任意一个)的情况下)，只要至少四个基准点在其表面上，就能够估计表面形状。

并且，例如在确定了可见光图像和红外图像的任一坐标系与对象物的圆筒面的轴方向所成的角度的情况下(是在可见光图像和红外图像的任一坐标系中，确定了对象物的圆筒面的轴方向的情况，也包括圆筒面的轴与坐标系的任一轴平行的情况)，只要至少三个基准点在其表面上，就能够估计表面形状。

并且，例如在可见光图像和红外图像的任一坐标系的任一轴与对象物的圆筒面的轴一致的情况下，只要至少一个基准点在其表面上，则能够估计表面形状。

也可以根据设计图或CAD数据(CAD：Computer-Aided Design，计算机辅助设计)来掌握对象物表面的形状(上述的“预先确定的形状”)。并且，也可以使用根据拍摄对象物的图像制作而成的三维模型。

[3.2非基准点的位置的估计]

对于通过上述方法估计的对象物表面(三维表面)的形状，非基准点位置估计部106可以通过各种方法来配置非基准点。例如，也可以与可见光图像(或红外图像)的各像素对应地配置非基准点。在此，“与可见光图像(或红外图像)的各像素对应地配置非基准点”是指在连接可见光图像(或红外图像)的摄像系统的坐标系的原点(光学中心)、和与可见光图像(或红外图像)对应的摄像面上的各像素的坐标的直线方向上配置非基准点，即，基于透视投影模型(中心投影模型)配置非基准点。并且，“配置”是指确定与各个非基准点对应的直线(即，尚未估计对象物表面上的非基准点的位置)。

此外，非基准点位置估计部106也可以在使摄像面更宽的基础上，在从摄像面上的各像素的坐标到与光轴(坐标系的z轴)平行的直线方向上配置非基准点，即，基于平行投影模型(正射投影模型)来配置非基准点。基于平行投影模型的图像称为正交图像(orthoimage，orthophoto)。即，非基准点位置估计部106也可以与正交图像的各像素对应地配置非基准点。平行投影模型可以更准确地表示对象物的形状而不失真(可以相对于对象物更等间隔地配置非基准点)。

并且，非基准点位置估计部106可以根据与可见光图像的摄像系统(的坐标系)和红外图像的摄像系统(的坐标系)不同的摄像系统(的坐标系)，基于透视投影模型或平行投影模型来配置非基准点。即，可以在任意的位置和方向的摄像系统(坐标系)中基于透视投影模型或平行投影模型来配置非基准点。

图18是表示在图13所示的示意图中基于平行投影模型(正射投影模型)的非基准点的配置情况的示意图。在图18中，非基准点的摄像面被确定为S0，非基准点配置在从摄像面S0上的各像素的坐标向与光轴(非基准点的坐标系的z轴)平行的直线(虚线所示的直线)的方向上。另外，在图18中，为了便于说明，稀疏地示出了与各个非基准点对应的直线。并且，图18还示出了根据表示基准点RP的位置的信息来估计的对象物表面SS。

以下，将基于非基准点的摄像系统(坐标系)称为非基准点的摄像系统(坐标系)。

如上述说明那样估计了对象物表面的形状之后，针对根据非基准点的摄像系统(坐标系)配置的各个非基准点，非基准点位置估计部106求出所对应的方向的直线与所估计的对象物表面的交点的位置作为对象物表面上的非基准点的位置。在通过连接三角形平面的形状来近似对象物表面的情况下，对于各个非基准点，判定所对应的方向的直线通过内侧的三角形，求出该三角形平面与直线的交点的位置即可。此时，如已经说明的那样，在判别对象物表面的所连接的区域的情况下，仅在对象物表面的所连接的区域内估计表面的形状(形成了三角形平面)。因此，有时与非基准点对应的方向的直线与所估计的对象物表面(三角形平面)不相交。在这种情况下，非基准点位置估计部106不需要求出该方向的非基准点的位置，只在对象物表面的所连接的区域内求出非基准点的位置即可。判别对象物表面的所连接的各区域或更平滑地连接的各区域，根据各区域的边界以及内侧的全部基准点的位置，拟合自由曲面、预先确定的形状的面来估计各区域中的表面形状的情况下，也同样地，对于各个非基准点，求出所对应的方向的直线与所估计的对象物表面的交点的位置即可。在图18的示意图中，对于基于平行投影模型(正射投影模型)配置的各个非基准点，求出所对应的直线(虚线所示的直线)与根据基准点RP的位置来估计的对象物表面SS的交点的位置作为对象物表面SS上的非基准点的位置NRP。

另外，为了通过上述方法求出对象物表面上的非基准点的位置，非基准点位置估计部106需要事先将对象物表面上的基准点的位置以及作为对象物表面的形状而估计的各个面转换为非基准点的坐标系。在以下的说明中，到处都需要可见光图像的坐标系与非基准点的坐标系的转换、以及红外图像的坐标系与非基准点的坐标系的转换。但是，在以下的说明中，适当省略这种坐标转换的说明(因为可见光图像的坐标系与非基准点的坐标系的位置和方向的关系、及红外图像的坐标系与非基准点的坐标系的位置和方向的关系是已知的，因此显示能够进行这些坐标系的转换)。

[4.可见光图像与红外图像的对应关联]

图像值估计部108(处理器)根据所获取的第1图像、第2图像及表示基准点位置的信息，估计与对象物的三维表面上的非基准点对应的可见光图像(第1图像)的值的红外图像(第2图像)的值，并将它们建立对应关联(步骤S130：对应关联处理、对应关联工序)。由于有两种估计图像值的方法，因此按顺序进行说明。另外，如已经说明的那样，在步骤S110中在可见光图像(第1图像)和红外图像(第2图像)中确定基准点时，得到与基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值。

[4.1估计与非基准点对应的图像的值的方法(之一)]

第一个方法是，针对各个非基准点，投影到可见光图像的摄像面来估计所对应的可见光图像的值，并且投影到红外图像的摄像面来估计所对应的红外图像的值的方法。图像值估计部108在将非基准点的摄像系统(坐标系)中的对象物表面上的非基准点的坐标转换为可见光图像的摄像系统(坐标系)中的坐标之后，在可见光图像的摄像系统的光学中心(坐标系的原点)的方向上投影到可见光图像的摄像面，根据可见光图像的摄像面上的非基准点的坐标，通过对包围该坐标的可见光图像的像素的值进行插值运算，能够估计该坐标中的可见光图像的值(第1图像的值)。同样地，图像值估计部108可以将非基准点的坐标投影到红外图像的摄像面，来估计该坐标中的红外图像的值(第2图像的值)。通过以上方法，图像值估计部108可以针对各个非基准点估计所对应的可见光图像和红外图像的值。

[4.2估计与非基准点对应的图像的值的方法(之二)]

第二个方法是，将可见光图像的各像素和红外图像的各像素投影到对象物表面，估计与各个非基准点对应的可见光图像和红外图像的值的方法。如已经说明的那样，将对象物表面的各点沿光学中心的方向投影到摄像面而得的图像是摄像图像。因此，图像值估计部108可以求出从可见光图像的摄像系统的光学中心(坐标系的原点)通过可见光图像的摄像面的各像素的坐标的直线与所估计的对象物表面的交点的位置，作为将可见光图像的各像素投影对象物表面的位置。对于各个非基准点，可以根据包围该位置的可见光图像的各像素的位置和值，通过插值运算来估计对象物表面上的非基准点的位置中的可见光图像的值(第1图像的值)。同样地，图像值估计部108也可以估计对象物表面上的非基准点的位置中的红外图像的值(第2图像的值)。通过以上方法，对于各个非基准点，可以估计所对应的可见光图像和红外图像的值。

另外，在将非基准点与可见光图像(或红外图像)的各像素对应地配置的情况下，图像值估计部108当然可以原样采用可见光图像(或红外图像)的各像素的值作为与各个非基准点对应的可见光图像(或红外图像)的值。

[4.3估计结果的例子]

图19是表示对图18的示意图所示的非基准点的摄像面S0上的各像素中的可见光图像和红外图像的值进行估计的结果的图。具体而言，是表示针对与摄像面S0上的各像素对应的各个非基准点，基于对象物表面上的位置NRP以及图14(和图13)所示的可见光图像I1和红外图像I2，通过上述方法估计所对应的可见光图像和红外图像的值的结果的图。图19的(a)部分表示可见光图像的值的估计结果，该图的(b)部分表示红外图像的值的估计结果(图中的灰色的浓度表示图像的值，周边的黑色区域表示对象物表面以外的区域)。另外，在图19中，还包含图18所示的摄像面S0上的各像素内与基准点RP对应的像素中的可见光图像和红外图像的值而示出。

[5.重叠数据/重叠图像的生成和显示]

重叠数据生成部110(处理器)和显示控制部112(显示控制部)生成将与包含非基准点的各点对应的可见光图像的值(第1图像的值)和红外图像的值(第2图像的值)重叠在同一像素位置上的数据，和/或将显示在显示器310(显示装置)上，该重叠图像是将与包含非基准点的各点对应的可见光图像的值(第1图像的值)和红外图像的值(第2图像的值)重叠在同一像素位置上而得到的(步骤S140：数据生成处理/数据生成工序、显示处理/显示工序)。“包含非基准点的各点”是指在各点中至少包含非基准点，也可以包含其他基准点或除此以外的点。重叠两种图像的方法有公知的各种方法，重叠数据生成部110可以使用其中任一种方法。

图20是表示在图19所示的例子中，将可见光图像的值和红外图像的值重叠在同一图像位置的结果(重叠图像)的例子的图。在图20的例子中，重叠数据生成部110对与包含非基准点的各点对应的可见光图像的值和红外图像的值进行加权平均。具体而言，重叠数据生成部110对可见光图像乘以权重0.4，对红外图像乘以权重0.6进行相加，从而生成重叠图像。即，重叠图像的值＝0.4×可见光图像的值+0.6×红外图像的值。显示控制部112可以在显示器310上显示该图像。另外，权重的值不限于此，可以适当地设定。

图21是表示将重叠数据设为表形式的例子的图。在图21的例子中，重叠数据生成部110针对基准点(P1)和非基准点(P2、P3)，将对象物上的位置、可见光图像上的对应点的值及红外图像上的对应点的值建立对应关联，针对对象物上的点(基准点或非基准点)，能够掌握可见光图像和红外图像中所对应的点的图像的值。

图22是表示可见光图像、红外图像及重叠图像的例子的图。图22的(a)部分～(c)部分分别示出针对对象物的同一部分的可见光图像、红外图像及重叠图像。在可见光图像中清晰地显示出对象物的表面损伤(裂纹CR)，在红外图像中清晰地显示出对象物的内部损伤(空洞CAV)。因此，根据本发明的实施方式，通过如上所述正确对位的重叠图像，能够观察对象物的同一点的表面和内部损伤的情况。而且，如上所述，能够判别对象物内部的损伤中伴有裂纹或剥离等表面损伤的损伤和不伴有裂纹或剥离等表面损伤的损伤。并且，虽然在图22中没有明示，但如上所述，在红外图像中表面温度与周围不同的部位内，能够判别起因于对象物表面的修补痕迹、游离石灰等异物的附着、颜色不均(霉菌、苔藓、剥离剂、水影响等)、接缝、高低差、熔渣、砂纹、锈汁、锈迹、表面凹凸等的部位(因对象物表面的状态等而导致周围与实际和/或表观表面温度不同，在对象物内部损伤的诊断中成为误检测的部位)和起因于对象物内部损伤的部位。如本发明的实施方式那样，通过在对象物表面使与同一点(非基准点)对应的第1图像的值与第2图像的值正确地建立对应关联，能够降低将多个图像建立对应关联时的位置偏差。另外，在本发明的实施方式中，也可以不一定使第1图像的点与第2图像的点建立对应关联。根据本发明的实施方式，特别是在基于红外图像诊断浮起等内部缺陷时也同时使用可见光图像时，通过降低可见光图像和红外图像的位置偏差，能够提高浮起等内部缺陷的诊断性能。

记录控制部114(处理器)可以在记录部200中记录图20至图22中例示的重叠数据和/或重叠图像。

[6.变形例]

[6.1获取多个可见光图像和红外图像的情况]

在上述实施方式中，说明了图像获取部102(处理器)在步骤S100(图像获取处理、图像获取工序)中针对可见光图像和红外图像中的每一个获取一个图像的情况，但图像获取部102也可以获取分别在不同的位置和/或方向上拍摄的多个图像。在这种情况下，在步骤S110(基准点位置信息获取处理、基准点位置信息获取工序)中，位置信息获取部104(处理器)能够在多个可见光图像和红外图像中确定并提取同一基准点(既可以预先在对象物的表面上确定标记，也可以根据图像的信号值的空间分布来确定基准点)。

例如，在根据图像信号值的空间分布来确定基准点的情况下，作为该方法使用图像相关法的情况下，位置信息获取部104例如在多个可见光图像和红外图像中摄像的位置和/或方向接近的各两个图像彼此之间通过图像相关法来确定并提取基准点之后，能够根据在各图像中确定并提取的基准点的位置(坐标)的关系，在多个可见光图像和红外图像中确定并提取同一基准点。然后，位置信息获取部104(处理器)针对各个基准点，根据多个可见光图像和红外图像中的位置，能够(与可见光图像和红外图像分别为一个的情况相比)更高精度地求出对象物表面上的位置。针对各个基准点，在根据多个可见光图像和红外图像中的位置求出对象物表面上的位置的情况下，位置信息获取部104(处理器)只要求出与各图像中的位置对应的各个直线(基准点为点基准点的情况)或者各个面(基准点为线基准点的情况)最集中的(交叉的)点(或线)作为该基准点的对象物表面上的位置即可。

另外，在步骤S100中，在针对可见光图像和红外图像中的每一个获取多个图像的情况下，在步骤S120之后针对可见光图像和红外图像中的每一个选定一个图像，图像值估计部108通过已经说明的方法来估计与各个非基准点对应的可见光图像和红外图像像的值，生成和/或重叠显示由重叠数据生成部110和显示控制部112重叠的数据即可。或者，在步骤S120中判别对象物表面的所连接的各区域或平滑地连接的各区域时，非基准点位置估计部106可以在多个可见光图像和红外图像中，根据信号值以及边缘或纹理等空间特征来判别各区域，在多个可见光图像和红外图像中的每一个中判别的各方向的区域内，将重叠的区域(内侧的区域)视为对象物表面的所连接的区域或平滑地连接的区域。并且，在步骤S130中针对各个非基准点估计所对应的可见光图像和红外图像的值时，图像值估计部108可以针对各个非基准点，从多个可见光图像中的每一个中分别求出所对应的值，将这些值的平均值作为与该非基准点对应的可见光图像的值来求出。同样地，图像值估计部108也可以从多个红外图像中的每一个中分别求出所对应的值，将这些值的平均值作为与该非基准点对应的红外图像的值来求出。

当在步骤S100中针对可见光图像和红外图像中的每一个获取在不同的位置和/或方向上拍摄的多个图像时，不一定需要知道各图像的摄像的位置和/或方向的关系。在这种情况下，图像获取部102(处理器)可以通过应用SfM(Structure from Motion：运动恢复结构；多视点立体照片测量)技术来求出各图像的摄像的位置和方向。并且，利用Visual SLAM(Simultaneous Localization and Mapping：即时定位与地图构建)技术也同样可以求出各图像的摄像的位置和方向。目前，已经研究和提出了使用多个摄像图像来估计摄像的位置和方向的技术，并且可以使用其中任一技术来求出。

在[2.表示基准点位置的信息的获取]～[4.可见光图像与红外图像的对应关联]中，为了转换基准点、非基准点等摄像图像中的位置(摄像面上的位置)与对象物表面上的位置，实际上需要与可见光图像和红外图像的各摄像系统相关的各种参数(透镜失真的校正参数等)。假设这些位置转换所需的参数被预先记录在存储器中，并且基于这些参数来进行上述转换。

[6.2基于距离测量装置的基准点的位置信息的获取]

在步骤S110(基准点位置信息获取处理、基准点位置信息获取工序)中，位置信息获取部104也可以不进行基于基准点确定部103的可见光图像和红外图像中的基准点的确定，而另外通过距离测量方法(距离测量单元、距离测量装置)来直接在对象物表面设定各个基准点，并且求出该位置。作为距离测量单元，例如可以使用利用立体图像或激光光线测量距离的装置。距离测量方法(距离测量单元、距离测量装置)是例如LiDAR(LightDetection And Ranging：光探测和测距)、立体摄像机、TOF(Time Of Flight：飞行时间)摄像机、超声波传感器等传感器。在这种情况下，位置信息获取部104可以在对象物表面设定各个基准点，并且求出与各个基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值。具体而言，距离测量系统(的坐标系)、可见光图像的摄像系统(的坐标系)及红外图像的摄像系统(的坐标系)的位置和方向的关系是已知的。因此，如果通过距离测量方法在对象物表面设定各个基准点(以及求出其位置)，则位置信息获取部104可以求出这些基准点的可见光图像(第1图像)中的位置(投影到可见光图像(第1图像)的摄像面的位置)以及红外图像(第2图像)中的位置(投影到红外图像(第2图像)的摄像面的位置)。因此，位置信息获取部104可以求出与这些基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值。或者，也可以不是由位置信息获取部104求出与各个基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值，而是在步骤S130(对应关联处理、对应关联工序)中，由图像值估计部108估计与非基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值时，同时求出与基准点对应的可见光图像(第1图像)的值和红外图像(第2图像)的值。另外，在利用立体摄像机进行距离测量的情况下，可见光图像也可以是由立体摄像机拍摄的图像。

[6.3应用于其他图像]

本发明的实施方式所要解决的课题不限于可见光图像和红外图像，与图像的类型无关地发生。即，在“以使基准点的位置一致的方式对从不同的位置拍摄同一对象物的不同的类型的两个图像进行几何校正”的情况下，“基准点以外的非基准点的位置偏移”的课题与图像的类型无关地发生。除了可见光图像、红外图像之外，上述课题还出现在例如近红外图像、紫外线图像、荧光图像等任何图像中。因此，无论图像的类型如何，本发明的实施方式都是有效的。另外，这里“不同的类型的两个图像”表示由在不同波长区域具有灵敏度的摄像机拍摄的各图像。“在不同波长区域具有灵敏度”不仅包括对于完全不重复的各个波长区域具有灵敏度的情况，还包括对一部分重复且一部分不同的各个波长区域具有灵敏度的情况。并且，即使在相同波长区域具有灵敏度的情况下，也包括各灵敏度的分光特性(分光灵敏度特性)不同、灵敏度最大的波长(峰值灵敏度波长)不同的情况(也包括实质上认为对“不同的波长区域”具有灵敏度的情况)。并且，“图像”表示由摄像机拍摄的二维图像。并且，“非基准点的位置偏移”是指如已经说明的那样，与对象物表面的同一点(非基准点)对应的两个各图像中的位置偏移，同时，与对象物表面的其他点(非基准点)对应的两个各图像中的位置错误地相同。即，意味着在对象物表面将与其他点(非基准点)对应的两个各图像的值错误地视为与同一点(非基准点)对应的两个各图像的值而建立了对应关联。当然，在“以使基准点的位置一致的方式对从不同的位置拍摄同一对象物的相同类型的两个图像进行几何校正”的情况下，也会产生上述课题。然而，在两个图像为不同类型的情况下，在对象物表面能够确定为同一部位的基准点的数量较少，上述课题显著，本发明的实施方式特别有效。

如上所述，本发明的第1方式所涉及的图像处理装置具备处理器，所述图像处理装置中，处理器获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示基准点的位置的信息，所述基准点是对象物的三维表面上的基准点，并且是成为第1图像和第2图像的对位基准的点，根据所获取的第1图像、第2图像及信息，估计与三维表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值并且建立对应关联。

如第1方式那样，通过在对象物表面使与同一点(非基准点)对应的第1图像的值与第2图像的值正确地建立对应关联，能够降低将多个图像建立对应关联时的位置偏差。另外，在第1方式中，也可以不一定使第1图像的点与第2图像的点建立对应关联。

第2方式所涉及的图像处理装置在第1方式中，信息是基于第1图像和第2图像获取的信息。

第3方式所涉及的图像处理装置在第1方式或第2方式中，至少一个基准点是存在于对象物的端部、弯曲部、边界中的任一处的点。

第4方式所涉及的图像处理装置在第1方式至第3方式中的任一方式中，信息是基于由距离测量单元测量出的距离获取的信息。作为距离测量单元，例如可以使用利用立体图像或激光光线测量距离的装置。

第5方式所涉及的图像处理装置在第1方式至第4方式中的任一方式中，处理器根据信息(表示基准点位置的信息)来估计非基准点的位置。

第6方式所涉及的图像处理装置在第1方式至第5方式中的任一方式中，处理器根据信息来估计三维表面的形状，根据所估计的形状来估计非基准点的位置。

第7方式所涉及的图像处理装置在第6方式中，处理器将形状估计为由三个基准点规定的平面的集合。第7方式考虑到对象物表面(三维表面)的形状可以用平面来近似。

第8方式所涉及的图像处理装置在第6方式或第7方式中，处理器将形状估计为三维表面是预先确定的形状的面。根据对象物的不同，有时能够在某种程度上预先掌握三维表面的形状，在第8方式中，在这种情况下进行对“预先确定的形状的面”的拟合。在第8方式中，例如通过估计表示“预先确定的形状的面”的方程式的参数，可以估计对象物表面(三维表面)的形状。

第9方式所涉及的图像处理装置在第8方式中，处理器将形状估计为三维表面是平面。在第9方式中，例如可以估计表示平面(“预先确定的形状的面”的一方式)的方程式的参数。

第10方式所涉及的图像处理装置在第8方式中，处理器将形状估计为三维表面是圆筒面。在第10方式中，例如可以估计表示圆筒面(“预先确定的形状的面”的一方式)的方程式的参数。

第11方式所涉及的图像处理装置在第1方式至第10方式中的任一方式中，处理器根据第1图像和第2图像中的至少一个图像的值，判别对象物的表面。在第11方式中，例如可以判别对象物的表面是相连的还是不连续的。

第12方式所涉及的图像处理装置在第1方式至第11方式中的任一方式中，处理器至少生成将与非基准点对应的第1图像的值和第2图像的值重叠在同一像素位置上的数据，和/或至少将与非基准点对应的第1图像的值和第2图像的值重叠在同一像素位置上并显示在显示装置上。根据第12方式，通过精确地建立了对应关联的数据和/或图像，用户可以在不同的波长带中观察同一对象物的表面上的同一点。

第13方式所涉及的图像处理装置在第1方式至第12方式中的任一方式中，处理器获取利用包含可见光的波长带的至少一部分的波长带的光拍摄的图像作为第1图像和第2图像中的一个图像，获取利用包含红外线的波长带的至少一部分的波长带的光拍摄的图像作为第1图像和第2图像中的另一个图像。由于包含可见光的波长带的至少一部分的波长带适于观察对象物的表面情况，并且包含红外线的波长带的至少一部分的波长带适于观察对象物的内部情况，因此根据第13方式，可以将用于观察对象物的表面和内部的图像正确地建立对应关联。由此，基于利用包含红外线的波长带的至少一部分的波长带的光拍摄的图像来诊断浮起等对象物内部的缺陷，同时基于利用包含可见光的波长带的至少一部分的波长带的光拍摄的图像来观察对象物表面的情况时，可以将各图像正确地建立对应关联，从而提高浮起等对象物内部缺陷的诊断性能。

第14方式所涉及的图像处理装置在第1方式至第13方式中的任一方式中，处理器获取拍摄了混凝土结构物作为对象物的第1图像和第2图像。混凝土结构物例如是桥梁、道路、水坝、建筑物等，根据第14方式，可以通过正确地建立了对应关联的多个图像来观察混凝土结构物的情况。

本发明的第15方式所涉及的图像处理方法由具备处理器的图像处理装置执行，所述图像处理方法中，处理器获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示基准点的位置的信息，所述基准点是对象物的三维表面上的基准点，并且是成为第1图像和第2图像的对位基准的点，根据所获取的第1图像、第2图像及信息，估计与三维表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值并且建立对应关联。

根据第15方式，与第1方式相同地，能够降低将多个图像建立对应关联时的位置偏差。另外，第15方式所涉及的图像处理方法也可以进一步执行与第2方式至第14方式相同的处理。

本发明的第16方式所涉及的图像处理程序使具备处理器的图像处理装置执行图像处理方法，所述图像处理程序中，处理器获取第1图像和第2图像，所述第1图像和第2图像是从不同的位置拍摄同一对象物的图像并且是在不同的波长带拍摄的二维图像，获取表示基准点的位置的信息，所述基准点是对象物的三维表面上的基准点，并且是成为第1图像和第2图像的对位基准的点，根据所获取的第1图像、第2图像及信息，估计与三维表面上的基准点以外的点即非基准点对应的第1图像的值和第2图像的值并且建立对应关联。

根据第16方式，与第1方式、第15方式相同地，能够降低将多个图像建立对应关联时的位置偏差。另外，第16方式所涉及的图像处理程序也可以是进一步执行与第2方式至第14方式相同的处理的程序。另外，作为本发明的方式，也可以举出记录有这些方式的程序的计算机可读取的代码的非临时性记录介质。

以上，对本发明的实施方式及其他例子进行了说明，但本发明并不限定于上述方式，能够进行各种变形。

符号说明

1-坐标系，2-坐标系，10-图像处理系统，20-图像处理装置，100-处理部，102-图像获取部，103-基准点确定部，104-位置信息获取部，106-非基准点位置估计部，108-图像值估计部，110-重叠数据生成部，111-损伤检测部，112-显示控制部，114-记录控制部，116-通信控制部，200-记录部，300-显示部，310-显示器，400-操作部，410-键盘，420-鼠标，500-服务器，510-数据库，600-摄像机，610-可见光摄像机，620-红外摄像机，710-桥梁，712-栏杆，720-地板，722-梁，730-桥墩，α-角度，β-角度，θ-角度，CR-裂纹，CAV-空洞，I1-可见光图像，I2-红外图像，IS1-摄像面，IS2-摄像面，RP-基准点，NRP-非基准点，NW-网络，O1-光学中心，O2-光学中心，S0-摄像面，SS-表面，d-等间隔，r-半径，x2p-坐标，xp-坐标，S100～S140-图像处理方法的各步骤。