红外热图像分析装置、红外热图像分析方法及程序
文献发布时间:2024-01-17 01:26:37
技术领域
本发明涉及一种红外热图像分析装置、红外热图像分析方法及程序。
背景技术
已知有如下技术:使用用红外摄像机拍摄混凝土等结构物时所获取的红外热图像来判别包含于结构物中的浮起、裂缝等破损部和无损部。若在结构物具有破损部,则破损部的表面温度和无损部的表面温度会产生温度差。因此,若在红外热图像中局部地存在与周围不同的温度部分,则能够判别为在该部位的内部具有破损部。
另一方面,因结构物的形状、结构物周边的环境等,结构物表面上的受热量或散热量会局部地不同,因此结构物的表面温度有时会产生温度梯度。若这样的温度梯度存在于结构物的表面,则无损部与破损部的判别变得困难。另外,结构物表面上的受热量或散热量的局部差异除了结构物的形状或结构物周边的环境以外,还有可能因结构物表面的颜色或粗糙度、凹凸、导热率或辐射率的局部差异而产生。
针对该课题,专利文献1公开了如下内容:制作对红外热图像以规定像素数进行移动平均所得的平均温度分布图像,运算红外热图像与平均温度分布图像的相同像素的温度差并制作温度差图像,并且显示温度差图像。
以往技术文献
专利文献
专利文献1:日本专利第5140892号公报
发明内容
发明要解决的技术课题
当结构物具有倾斜度不同的多个面时,在该结构物的表面上,因阳光等的影响而在各个面上平均温度和温度梯度的方向及倾斜度不同。若不区分如此平均温度及温度梯度不同的各个面而对红外热图像进行平滑化来取差分,则不同的面的边界会被误检测为破损部。并且,存在如下问题:由于在用于平滑化的像素范围中会包含其他面,因此无法准确地减小温度梯度。
本发明是鉴于这样的情况而完成的,其目的在于提供一种能够准确地减小温度梯度的红外热图像分析装置、红外热图像分析方法及程序。
用于解决技术课题的手段
第1方式所涉及的红外热图像分析装置为具备处理器的红外热图像分析装置,其中,处理器进行如下处理:获取拍摄检查对象的结构物所得的结构物表面的第1红外热图像;针对至少一个区域获取区分与第1红外热图像对应的结构物表面的区域的区域信息;根据区域信息和第2红外热图像推断至少一个区域中的温度梯度;及从第1红外热图像中减小温度梯度的影响。
在第2方式所涉及的红外热图像分析装置中,处理器根据包含拍摄结构物所得的可见光图像的与结构物有关的信息来获取区域信息。
在第3方式所涉及的红外热图像分析装置中,处理器根据包含拍摄结构物所得的第1红外热图像或第2红外热图像中的至少一方的与结构物有关的信息来获取区域信息。
在第4方式所涉及的红外热图像分析装置中,处理器根据包含测量至结构物为止的距离所得的数据的与结构物有关的信息来获取区域信息。
在第5方式所涉及的红外热图像分析装置中,处理器根据包含结构物的图纸数据的与结构物有关的信息来获取区域信息。
在第6方式所涉及的红外热图像分析装置中,处理器比其他区域的第2红外热图像更优先适用区域中的第2红外热图像来推断区域中的温度梯度。
在第7方式所涉及的红外热图像分析装置中,处理器在优先适用中对区域和其他区域赋予不同的权重来对第2红外热图像进行平滑处理。
在第8方式所涉及的红外热图像分析装置中,处理器在优先适用中沿着区域的边界在不包含其他区域的范围中延伸来对第2红外热图像进行平滑处理。
在第9方式所涉及的红外热图像分析装置中,处理器优先适用区域的周边区域中的第2红外热图像来推断区域中的温度梯度。
在第10方式所涉及的红外热图像分析装置中,当将从区域内的像素至区域的边界上的各像素为止的距离中最小的距离设为从各像素至边界为止的距离且将至边界为止的距离最大的像素中的距离设为从中心至边界为止的距离时,所述周边区域是至少包含至边界为止的距离为从中心至边界为止的距离的1/2以下的像素的区域。
在第11方式所涉及的红外热图像分析装置中,处理器通过热模拟来推断区域中的温度梯度。
在第12方式所涉及的红外热图像分析装置中,处理器在减小温度梯度的影响时,从第1红外热图像中减去温度梯度,或者第1红外热图像除以温度梯度。
在第13方式所涉及的红外热图像分析装置中,第1红外热图像、第2红外热图像及区域信息所根据的与结构物有关的信息中的至少一个在不同的时刻获取。
在第14方式所涉及的红外热图像分析装置中,第1红外热图像、第2红外热图像及区域信息所根据的与结构物有关的信息中的至少一个为合并多个图像或信息所得的图像或信息。
在第15方式所涉及的红外热图像分析装置中,处理器在有阳光的时刻获取第1红外热图像和第2红外热图像。
在第16方式所涉及的红外热图像分析装置中,结构物表面包含多个倾斜度不同的面或不连续的面中的至少一方。
在第17方式所涉及的红外热图像分析装置中,处理器将从第1红外热图像中减小温度梯度的影响所得的温度梯度减小图像显示于显示装置。
在第18方式所涉及的红外热图像分析装置中,处理器将经图像处理的温度梯度减小图像显示于显示装置。
在第19方式所涉及的红外热图像分析装置中,第1红外热图像和第2红外热图像为相同的红外热图像。
第20的方式所涉及的红外热图像分析方法包括:获取拍摄检查对象的结构物所得的结构物表面的第1红外热图像;针对至少一个区域获取区分与第1红外热图像对应的结构物表面的区域的区域信息;根据区域信息和第2红外热图像推断至少一个区域中的温度梯度;及从第1红外热图像中减小温度梯度的影响。
第21方式所涉及的用于使计算机执行的程序使计算机执行如下处理:获取拍摄检查对象的结构物所得的结构物表面的第1红外热图像;针对至少一个区域获取区分与第1红外热图像对应的结构物表面的区域的区域信息;根据区域信息和第2红外热图像推断至少一个区域中的温度梯度;及从第1红外热图像中减小温度梯度的影响。
发明效果
根据本发明的红外热图像分析装置、红外热图像分析方法及程序,能够准确地减小温度梯度。
附图说明
图1是表示红外热图像分析装置的硬件结构的一例的框图。
图2是表示由CPU实现的处理功能的框图。
图3是表示存储于存储部的信息等的图。
图4是表示使用红外热图像分析装置的红外热图像分析方法的流程图。
图5是用于说明模拟了结构物的试验体组的立体图。
图6是拍摄试验体组所得的红外热图像。
图7是拍摄试验体组所得的可见光图像。
图8是区分并决定4个试验体的上表面的结果的图。
图9是表示温度梯度推断步骤中的处理的第1方式的图。
图10是表示温度梯度推断步骤中的处理的第2方式的图。
图11是表示温度梯度推断步骤中的处理的第3方式的图。
图12是用于说明红外热图像的周边区域的图。
图13是表示温度梯度图像的图。
图14是表示温度梯度减小图像的图。
图15是表示基于以往技术的温度梯度减小图像的图。
图16是用于说明根据区域信息进行热模拟而推断温度梯度的方法的图。
具体实施方式
以下,按照附图对本发明所涉及的红外热图像分析装置、结构物的检查支援方法及程序的优选的实施方式进行说明。在说明书中,温度分布为由无损部和破损部引起的温度差(温度变化),温度梯度为不是温度分布的温度差(温度变化)。
如上所述,本发明人发现具有如下问题,并达到了本发明:若对红外热图像进行平滑化来取差分,则不同的面的边界被误检测为破损部,由于在用于平滑化的像素范围中包含其他面,因此无法准确地减小温度梯度。
并且,结构物的各个面上的平均温度及温度梯度的差异,不仅在结构物直接受到阳光时产生,也有可能在间接地受到阳光时产生。并且,不仅是阳光,也有可能因受到来自结构物周边的包含红外线的任意光的反射光或辐射光而产生(即,有可能不分昼夜都会产生)。并且,当结构物的表面具有颜色或粗糙度或凹凸或导热率或辐射率不同的多个区域时,因各个区域中的受热量或散热量的差异,有可能同样地产生各个区域中的平均温度及温度梯度的差异,有可能发生相同的问题。并且,在结构物的表面具有阳光或除此以外的光照射的区域和未照射的区域的情况下,也会因各个区域中的受热量的差异,同样有可能产生各个区域中的平均温度及温度梯度的差异,有可能发生相同的问题。并且,即使结构物的表面均匀,若在其一部分具有因高低差、凹陷、中断部、不同部件等而受热量或散热量局部地不同的部位,则以此处为起点而有可能产生方向不同的温度梯度,有可能发生相同的问题。并且,当结构物具有倾斜度不同的多个面时,将来自三维结构物表面的红外热辐射沿红外摄像机的摄影方向二维地投影所得的图像原本就是红外热图像,因此红外热图像中的结构物表面的各个面中的温度梯度的方向及倾斜度当然会根据结构物表面和摄影方向的角度而不同,平均温度也有可能不同,因此若不区分这些面而对红外热图像进行平滑化来取差分,则发生上述问题。当然,也有成为其他面的阴影的面,在该情况下,三维地不连续的面在红外热图像中相邻地连续,因此若不区分这些面而对红外热图像进行平滑化来取差分,则发生上述问题。
如以上说明的那样,当结构物具有多个不同倾斜度的面或不连续的面(由成为阴影的面、高低差、凹陷、中断部、不同部件等隔开的各个面等)、多个不同的颜色、粗糙度、凹凸、导热率或辐射率的区域、阳光或除此以外的光照射的区域和未照射的区域等时,有可能产生各个区域中的平均温度及温度梯度的差异,因此若不区分这些区域而对红外热图像进行平滑化来取差分,则有可能发生各个区域的边界被误检测为破损部,并且无法准确地减小温度梯度的问题。该问题有可能不分昼夜都会产生。本发明人发现上述问题,进而涉及到了各实施方式。
[红外热图像分析装置的硬件结构]
图1是表示实施方式所涉及的红外热图像分析装置的硬件结构的一例的框图。
作为图1所示的红外热图像分析装置10,能够使用计算机或工作站。本例的红外热图像分析装置10主要由输入输出接口12、存储部16、操作部18、CPU(Central ProcessingUnit:中央处理器)20、RAM(Random Access Memory:随机存取存储器)22、ROM(Read OnlyMemory:只读存储器)24及显示控制部26构成。红外热图像分析装置10上连接有显示装置30,在CPU20的指令下,通过显示控制部26的控制在显示装置30上进行显示。显示装置30例如由监视器构成。
输入输出接口12(图中的输入输出I/F)能够向红外热图像分析装置10输入各种数据(信息)。例如,经由输入输出接口12输入存储于存储部16的数据。
CPU(处理器)20读出存储于存储部16或ROM24等中的各种程序并展开到RAM22中来进行计算,由此总括控制各部。并且,CPU20读出存储于存储部16或ROM24中的程序并使用RAM22进行计算来进行红外热图像分析装置10的各种处理。
图1所示的红外摄像机32拍摄作为检查对象的结构物36,并获取结构物表面的红外热图像。可见光摄像机34拍摄作为检查对象的结构物36,并获取结构物36的可见光图像。
红外热图像分析装置10能够经由输入输出接口12从红外摄像机32获取红外热图像。并且,红外热图像分析装置10能够经由输入输出接口12从可见光摄像机34获取可见光图像。所获取的红外热图像及可见光图像例如能够存储于存储部16。
图2是表示由CPU20实现的处理功能的框图。
CPU20作为信息获取部51、区域获取部53、温度梯度推断部55、温度梯度减小部57及信息显示部59发挥作用。在后面进行各部的具体处理功能的说明。信息获取部51、区域获取部53、温度梯度推断部55、温度梯度减小部57及信息显示部59为CPU20的一部分,因此也可以说CPU20执行各部的处理。
返回到图1,存储部(存储器)16为由硬盘装置、闪存等构成的存储器。在存储部16存储有操作系统、执行红外热图像分析方法的程序等、使红外热图像分析装置10进行工作的数据及程序。并且,存储部16存储在以下说明的实施方式中使用的信息等。另外,使红外热图像分析装置10进行工作的程序可以记录在未图示的外部记录介质中而分发,并通过CPU20从该记录介质安装。或者,使红外热图像分析装置10进行工作的程序可以以能够从外部访问连接于网络的服务器等的状态存储,并根据请求通过CPU20下载到存储部16,安装及执行。
图3是表示存储于存储部16的信息等的图。存储部16由CD(Compact Disk:光盘)、DVD(Digital Versatile Disk:数字通用光盘)、硬盘(Hard Disk)、各种半导体存储器等非临时性记录介质及其控制部构成。
存储部16主要存储红外热图像101及可见光图像1.03。
红外热图像101为由红外摄像机32拍摄的图像,且为检测从结构物36辐射的红外辐射能量并将该红外辐射能量转换为温度而示出结构物表面的温度分布的图像。可见光图像103为由可见光摄像机34拍摄的图像,且为示出来自结构物36表面的可视光的反射强度的分布的图像。通常,可见光图像由将在可视光的波长区域中三种不同波长区域中的反射强度分布分别图像化所得的RG B图像构成,即,按每个像素具有颜色信息(RGB信号值)。在本例中,也设为具有颜色信息。并且,在本例中,设为红外热图像101和可见光图像103不存在位置偏移。
图1所示的操作部18包括键盘及鼠标,用户能够经由这些器件使红外热图像分析装置10进行所需要的处理。通过使用触摸面板型的器件,显示装置30能够作为操作部发挥作用。
显示装置30例如为液晶显示器等器件,能够显示由红外热图像分析装置10得到的结果。
图4是表示使用红外热图像分析装置10的红外热图像分析方法的流程图。
首先,信息获取部51获取拍摄检查对象的结构物所得的结构物表面的第1红外热图像(第1红外图像获取步骤:步骤S1)。在本例中,第1红外热图像为存储于存储部16的红外热图像101。通过信息获取部51从存储部16获取红外热图像101。
接着,区域获取部53根据与结构物有关的信息,针对至少一个区域获取区分与第1红外热图像对应的结构物表面的区域的区域信息(区域获取步骤:步骤S2)。在本例中,与结构物有关的信息为存储于存储部16的可见光图像103。由信息获取部51从存储部16获取可见光图像103。区域获取部53根据可见光图像103针对至少一个区域获取区分与作为第1红外热图像的红外热图像101对应的结构物表面的区域的区域信息。
接着,温度梯度推断部55根据区域信息和第2红外热图像推断至少一个区域中的温度梯度(温度梯度推断步骤:步骤S3)。在本例中,第2红外热图像为存储于存储部16的红外热图像101。因此,第1红外热图像和第2红外热图像为相同的红外热图像101。作为第2红外热图像的红外热图像101在第1红外图像获取步骤(步骤S1)中已被获取。温度梯度推断部55根据区域信息和红外热图像101推断至少一个区域中的温度梯度。在此,所推断出的温度梯度的信息只要能够在其后的温度梯度减小步骤中从第1红外热图像中减小温度梯度的影响,则可以为任何方式的信息。例如,可以为温度梯度的图像,也可以为能够导出温度梯度的数式,也可以为能够导出温度梯度的处理与数据的套组(set)。
另外,以下有时不特意区分第1红外热图像和第2红外热图像而简称为“红外热图像”。
接着,温度梯度减小部57从第1红外热图像中减小温度梯度的影响(温度梯度减小步骤:步骤S4)。在本例中,从作为第1红外热图像的红外热图像101中减小温度梯度的影响。温度梯度减小部57能够获取温度梯度减小图像。
接着,信息显示部59将温度梯度减小图像显示于显示装置30(信息显示步骤:步骤S5)。信息显示部59还能够将经图像处理的温度梯度减小图像显示于显示装置30。
如上所述,本例的红外热图像分析装置10从根据可见光图像103获取的区域信息和红外热图像101推断温度梯度,并从红外热图像101中减小温度梯度的影响。
在红外热图像分析方法中,只要在温度梯度减小步骤(步骤S4)之前,则第1红外图像获取步骤(步骤S1)和温度梯度推断步骤(步骤S3)的实施顺序无关紧要。
以下,关于各步骤,举出将本发明适用于模拟了结构物36的试验体的例子作为具体例而进行说明。
<第1红外图像获取步骤>
由信息获取部51执行第1红外图像获取步骤(步骤S1)。信息获取部51获取存储于存储部16的拍摄检查对象的结构物36所得的结构物表面的红外热图像101作为第1红外热图像。另外,当在存储部16未存储有红外热图像101时,信息获取部51从外部获取红外热图像101。例如,信息获取部51能够经由输入输出接口12通过网络获取红外热图像101,并且,信息获取部51能够经由输入输出接口12从红外摄像机32获取红外热图像101。
图5是用于说明模拟了结构物36的试验体组4()的立体图。试验体组40包括4个试验体41、42、43、44。各试验体41、42、43、44为混凝土制的长方体块,其隔开间隔地配置于瓦楞纸45上。
在试验体44中距上表面为深度1cm的位置形成有模拟的浮起(空洞),在试验体41中距上表面为深度2cm的位置形成有模拟的浮起(空洞),在试验体43中距上表面为深度3cm的位置形成有模拟的浮起(空洞)。试验体组40在晴朗的白天配置于室外,阳光从左上方照射。由红外摄像机32拍摄试验体组40的红外热图像。
图6为由红外摄像机32拍摄的红外热图像101,由信息获取部51作为第1红外热图像而被获取。在红外热图像101中,各像素的温度在图6中以灰度显示。图6的(A)是实际拍摄试验体组40所得的红外热图像101,图6的(B)是在图6的(A)的红外热图像101中追加了表示温度梯度的方向的箭头的图。
从图6的(A)的红外热图像101可知,如图6的(B)所示,在4个试验体41、42、43及44的上表面上产生了从左向右下降的倾斜度的温度梯度(箭头A)。该温度梯度是因来自左上方的阳光而产生的,其起因于在上表面与左侧面的边界附近从左侧面的方向的热流入。
另一方面,从图6的(A)的红外热图像101可知,如图6的(B)所示,在4个试验体41、42、43及44的左侧面上产生了从上向下下降的倾斜度的温度梯度(箭头B)。该温度梯度起因于在左侧面与上表面的边界附近从上表面的方向的热流入。
能够理解,在4个试验体41、42、43及44的任一面上均产生了温度梯度,其起因于在与其他面的边界附近从其他面的方向的热流入。
温度梯度的方向根据试验体41、42、43及44的各个面而不同。并且,由于试验体41、42、43及44的各个面的基于阳光的受热量不同,因此各个面的平均温度也不同,并且在各个面与其他面的边界附近从其他面的方向的热流入量也不同,其结果,成为温度梯度的倾斜度也不同的状态。
<区域获取步骤>
区域获取步骤(步骤S2)由区域获取部53执行。最初,在本例中,信息获取部51获取存储于存储部16的拍摄检查对象的结构物36所得到结构物表面的可见光图像103。另外,当在存储部16未存储有可见光图像103时,信息获取部51从外部获取可见光图像103。例如,信息获取部51能够经由输入输出接口12通过网络获取可见光图像103,并且,信息获取部51能够经由输入输出接口12从可见光摄像机34获取可见光图像103。
图7是由可见光摄像机34拍摄试验体组40所得的可见光图像103。如上所述,可见光图像103按每个像素具有RGB信号值。
区域获取部53根据所获取的可见光图像103的RGB信号值及边缘或纹理等空间特征信息来获取区分结构物表面的各个区域的区域信息。
区域获取部53在可见光图像103的各像素中例如提取可以看作混凝土表面的像素组。当各像素的RGB信号值例如包含于可以看作混凝土表面的RGB值的规定范围时,提取各像素作为可以看作混凝土表面的像素组。
区域获取部53在提取像素组之后,根据各像素的RGB信号值及空间特征进一步细分像素组,对各个像素组通过形态学膨胀运算进行填充,且使其膨胀,最后,对于膨胀的各像素组,使用活动轮廓法使其收缩到最佳区域来决定各个像素组对应的区域。作为活动轮廓法,能够适用Snakes(活动轮廓)、Level set(水平集)法等。
区域获取部53根据可见光图像103的RGB信号值及空间特征信息,能够在结构物表面上将倾斜度不同的面或不连续的面中的至少一方视为不同的区域来加以区分。并且,区域获取部53能够将结构物表面的颜色、粗糙度、凹凸、有无阳光中的任一个不同的区域视为不同的区域来加以区分。另外,不连续的面包括由成为阴影的面、高低差、凹陷、中断部、不同部件等隔开的各个面等。
区域获取部53通过执行上述处理来获取区分结构物表面的各个区域的区域信息。
然而,在可见光图像103中,存在区域内的各像素的RGB信号值与区域周边的各像素的RGB信号值接近而难以决定区域的边界的情况。例如,在图7中,在4个试验体41、42、43及44中,试验体43的RGB信号值接近周围的瓦楞纸45的信号值而难以决定试验体43的右侧边界。
另一方面,在图6的(A)所示的红外热图像101中,试验体43与瓦楞纸45的温度差(信号值之差)明显大,边界被明确地表示。在这样的情况下,区域获取部53还能够根据可见光图像103和红外热图像101双方来决定最佳区域并获取区域信息。
存在仅靠可见光图像难以决定区域的情况,例如结构物的阳光未照射的成为背阴的部位的摄影或夜间摄影的情况等,在该情况下,优选根据可见光图像和红外热图像双方决定区域。
若结构物在其结构物表面包含修复材料(修复痕迹)等导热率或红外线辐射率不同的区域,则在该区域中有时因受热量或散热量与周围的混凝土区域不同而平均温度及温度梯度不同。关于导热率或红外线辐射率不同的区域,在可见光图像中,有时难以决定区域,优选根据红外热图像来决定区域。另外,当适用红外热图像作为获取区域信息时的与结构物有关的信息时,包含第1红外热图像或第2红外热图像中的任一方即可。
用于区分并决定区域的方法有MeanShift(均值漂移)法、Graph Cuts(图切割)法等很多方法。可以适用其中任一种方法来决定区域。也可以适用机器学习来决定区域。例如,可以使用CNN(Convolutional Neural Networ k:卷积神经网络)、FCN(Fullyconvolution network:全卷积网络)、U-net(Convolutional Networks for BiomedicalImage Segmentation:用于生物医学图像分割的卷积网络)、SegNet(A DeepConvolutional Encoder-Dec oder Architecture for Image Segmentation:用于图像分割的深度卷积编解码器架构)等方法来决定区域。只要为基于可见光图像及红外热图像的特征的方法,则不受特别限定,可以适用其中任一种方法。
区域获取部53仅获取所需数量(区域Ar(i);i=1、2、3、……N)的区分结构物表面的区域的区域信息。
图8是区域获取部53根据可见光图像103及红外热图像101的特征将4个试验体41、42、43及44的上表面区分为4个区域而获取的结果的区域信息105的图。区域Ar(1)、Ar(2)、Ar(3)及Ar(4)表示与试验体41、42、43及44的各上表面对应的区域。在本例中,对区域Ar(1)、Ar(2)、Ar(3)及Ar(4)这4个区域执行温度梯度推断步骤及温度梯度减小步骤。
<温度梯度推断步骤>
温度梯度推断步骤(步骤S3)由温度梯度推断部55执行。温度梯度推断部55从所获取的区域Ar(i)的红外热图像推断区域Ar(i)的温度梯度。在本例中,对区域Ar(1)、Ar(2)、Ar(3)及Ar(4)这4个区域分别推断温度梯度。
作为推断温度梯度的方法,能够举出若干个例子。温度梯度推断部55例如能够对红外热图像施加规定像素数的平滑滤波器而导出全局的温度变化的图像并推断为温度梯度。
此时,温度梯度推断部55比除区域Ar(i)以外的区域即平均温度及温度梯度(方向和/或倾斜度)与区域Ar(i)不同的区域更优先适用区域Ar(i)中的红外热图像而推断温度梯度。
图9是表示温度梯度推断步骤中的处理的第1方式的图。图9示出以关注像素(用黑色像素表示)为中心的11×11像素(121像素)的平滑滤波器的例子。在区域Ar(i)的边界附近,适用不超出边界的范围的平滑滤波器,温度梯度推断部55执行平滑处理。用灰色表示区域Ar(i)的超出边界的范围。在该情况下,滤波器系数设定为使不超出边界的区域Ar(i)的范围内的合计成为“1”。在图9中,设定“1/73”的滤波器系数。另外,在121像素的滤滤器的情况下,当滤波器的所有像素不超出边界时,其系数设定为“1/121”。
另外,即使在如高斯滤波器那样根据像素位置改变滤波器系数的情况下,也能够通过以其合计值成为1的方式将各滤波器系数设为常数倍来对应。在此,根据高斯滤波器是指按照高斯分布函数,越接近关注像素,越增大滤波器系数的滤波器。
图10是表示温度梯度推断步骤中的处理的第2方式的图。如图10所示,温度梯度推断部55在区域Ar(i)的边界附近,使平滑滤波器在区域Ar(i)的范围内沿着边界延伸并进行平滑处理。在该情况下,无论关注像素的位置如何,滤波器的像素数都不会改变,因此滤波器系数恒定。在本例中,11×1 l像素(121像素)的平滑滤波器沿着区域的边界延伸,并设定“1/121”的滤波器系数。在图10中,仅在一部分像素显示有“1/121”的滤波器系数。
接着,对温度梯度推断步骤中的处理的第3方式进行说明。如上所述,当结构物表面由受热量或散热量不同的多个区域构成时,在各个区域中,起因于来自边界附近相邻的其他区域的热流入或热流出而产生温度梯度。另外,受热量或散热量不同的多个区域中包含由多个不同倾斜度的面构成的情况、由多个不同的颜色、粗糙度、凹凸、有无阳光、导热率及红外线辐射率的区域构成的情况。
这表示边界附近成为温度梯度的起点。在由高低差、凹陷、中断部、不同部件等隔开的不连续的各个区域中,边界附近也同样成为温度梯度的起点。从该现象能够理解,在各个区域中可以根据边界附近的红外热图像来推断温度梯度。
与根据区域整体的红外热图像推断温度梯度的方法相比,该方法不受由区域内的破损部产生的温度分布(并非温度梯度的温度变化)的影响,因此优选。
根据图11对温度梯度推断步骤中的处理的第3方式进行说明。
图11的(A)是试验体41的上表面的区域Ar(1)的红外热图像106。红外热图像106为根据区域信息105从试验体组40的红外热图像101中仅提取试验体41的上表面的区域Ar(1)所得的图像。在此,红外热图像106成为在其后导出的温度梯度图像107的原图像,因此优选为对红外热图像101进行平滑化所得的图像。然而,平滑化并不是必须的。
图11的(B)是针对图8所示的区域信息105的区域Ar(1)以规定宽度提取了边界周边所得的图像。因此,在图11的(B)中,仅示出区域Ar(1)的周边区域。
图11的(C)是根据图11的(A)的红外热图像106和图11的(B)的提取了边界周边的区域信息来仅提取区域Ar(1)的周边区域的红外热图像所得的图像。
图11的(D)是通过插值运算从图11的(C)的周边区域的红外热图像导出的温度梯度图像107。在此,为了从周边区域的红外热图像连续地(平滑地)插值至二阶导数,适用样条插值。如上所述,通过从周边区域推断温度梯度,在温度梯度的推断中能够减少受到存在于区域内的无损部和破损部的温度分布(温度差)的影响。另外,插值运算并不受特别限定,还能够适用除样条插值以外的插值运算。例如,可以为线性插值。
接着,根据图12对图11的(B)及(C)中的周边区域进行说明。图12的(A)是用于说明从区域Ar(i)的红外热图像的各像素至边界为止的距离L及从区域Ar(i)的中心至边界为止的距离La的图,图12的(B)是用于说明区域Ar(i)的周边区域的图。
如图1 2所示,将从包含于区域Ar(i)内的红外热图像中的像素Px至区域的边界上的各像素为止的距离中最小的距离设为从像素Px至边界为止的距离L。将从各像素Px至边界为止的距离L中最大的距离L设为从中心至边界为止的距离La。在区域Ar(i)内,将由至边界为止的距离L小于从中心至边界为止的距离La的像素Px构成的区域定义为周边区域。在图12的(B)中以点图案显示由至边界为止的距离L为从中心至边界为止的距离La的1/2以下的像素Px构成的周边区域ER。并且,还示出由1/8以下的像素Px构成的周边区域。在此,作为温度梯度推断步骤中的处理的第3方式,在图11的例子中,对仅根据周边区域的红外热图像(或平滑化的红外热图像)推断温度梯度的方法进行了说明,但不一定仅根据周边区域的红外热图像进行推断,只要优先适用周边区域的红外热图像而推断温度梯度即可。例如,在通过插值运算从区域Ar(i)的周边区域的红外热图像导出区域Ar(i)的温度梯度时,在区域Ar(i)中,可以通过插值运算从不仅包含周边区域还包含其他区域(除周边区域以外的区域)的区域的红外热图像导出温度梯度,在该情况下,可以对周边区域的红外热图像赋予比其他区域更大的权重来进行插值,也可以适用比其他区域更多的周边区域的像素,例如将除周边区域以外的区域的像素设为稀疏并进行插值。优选至少优先适用至边界的距离L为从中心至边界为止的距离La的1/2以下的周边区域的红外热图像而推断温度梯度。进一步优选至少优先适用至边界的距离L为从中心至边界为止的距离La的1/4以下的周边区域的红外热图像而推断温度梯度。进一步优选至少优先适用至边界的距离L为从中心至边界为止的距离La的1/8以下的周边区域的红外热图像而推断温度梯度。另外,至边界为止的距离L的最小值成为相当于1像素的距离。
如上所述,在温度梯度推断步骤中,由温度梯度推断部55推断温度梯度。
图13表示在温度梯度推断步骤中导出的温度梯度图像107。如图13所示,在温度梯度推断步骤中导出的温度梯度图像107包含与4个试验体41、42、43及44的各上表面的区域Ar(1)、Ar(2)、Ar(3)及Ar(4)对应的温度梯度图像107A、107B、107C及107D。
<温度梯度减小步骤>
温度梯度减小步骤(步骤S4)由温度梯度减小部57执行。温度梯度减小部57从作为第1红外热图像的红外热图像101中减小温度梯度的影响。例如,温度梯度减小部57根据温度梯度图像107从红外热图像101中减小温度梯度的影响。
温度梯度减小部57在减小温度梯度的影响时,可以从红外热图像101中减去温度梯度,或者红外热图像101除以温度梯度。
当从红外热图像101中减去温度梯度时,可以从红外热图像101的各像素的值减去温度梯度图像107的各像素的值。并且,当红外热图像101除以温度梯度时,可以将红外热图像101的各像素的值除以温度梯度图像107的各像素的值。在此,作为各像素的值,例如能够适用温度。
在温度梯度减小步骤中,温度梯度减小部57例如从图6所示的红外热图像101中减去图13所示的温度梯度图像107而导出图14所示的温度梯度减小图像109。
<信息显示步骤>
信息显示步骤(步骤S5)由信息显示部59执行。信息显示部59将图14所示的温度梯度减小图像109显示于显示装置30(参考图1)。
如图14所示,在温度梯度减小步骤中导出的温度梯度减小图像109包含与4个试验体41、42、43及44的各上表面的区域Ar(1)、Ar(2)、Ar(3)及Ar(4)对应的温度梯度减小图像109A、109B、109C及109D。
在温度梯度减小图像109A中,由2cm深度的浮起引起的高温部分被可视化,在温度梯度减小图像109C中,由3cm深度的浮起引起的高温部分被可视化。能够理解,温度梯度减小图像109中减小了温度梯度的影响。
将对试验体组40的红外热图像101适用以往技术而减小温度梯度所得的图像示于图15。如图15所示,在以往技术中,不区分试验体的平均温度及温度梯度不同的各个面而对红外热图像进行平滑化来取差分,因此误检测出各个面的边界。此外,能够理解,即使减小温度梯度,由2cm深度的浮起、3cm深度的浮起引起的高温部分也无法可视化。此外,试验体组40的4个试验体41、42、43、44的表面分别不连续,但在红外热图像101中相邻且连续,因此还可知在以往技术中因不区分这些面而对红外热图像进行平滑化来取差分,从而误检测出各个面的边界。
接着,对其他优选的实施方式进行说明。
在上述区域获取步骤(步骤S2)中,对根据可见光图像103及红外热图像101获取区域信息的情况进行了说明。
只要为能够获取区域信息的数据,区域获取部53就可以使用任何数据获取区域信息。作为数据,能够适用通过测量结构物而获取的数据、关于结构物而制作的数据等。
例如,作为通过测量结构物而获取的数据,能够使用为了获取用于区分不同倾斜度的面和/或不连续的面的区域信息而通过LIDAR(Light Detection And Ranging:光探测和测距)等测量距离所得的数据。LIDAR通过测量向结构物表面的各点照射激光束并反射而来为止的时间来测量至结构物表面的各点为止的距离。区域获取部53能够根据测量至结构物表面的各点为止的距离所得的数据来获取区域信息。测量距离的方法并不限定于LIDAR。例如,也可以利用T0F(Time Of Flight:飞行时间)摄像机或立体摄像机等测量距离。根据测量至结构物表面的各点为止的距离所得的数据,能够获取区分结构物表面上的不同倾斜度的各个面和/或不连续的各个面的区域信息。并且,距离测量的坐标系与红外摄像机32的坐标系的关系为已知,因此在红外热图像中,还能够确定与结构物表面的各个面对应的区域。
并且,作为关于结构物而制作的数据,能够使用为了获取区域信息而成为检查对象的结构物的图纸数据。图纸数据包含图纸及CAD(computer-aided design:计算机辅助设计)数据。区域获取部53通过另外的方法来确定红外摄像机32的位置及摄影方向(姿势),由此,能够根据结构物的图纸数据,在从上述位置朝向上述方向拍摄所得的红外热图像中确定结构物的不同倾斜度的各个面和/或不连续的各个面的区域。另外,红外摄像机32的各种参数是已知的。
红外摄像机32的位置的确定中能够适用Wi-Fi测位、声波测位等。并且,摄影方向的确定中能够适用陀螺仪传感器等公知的方法。通过适用基于SLAM(SimultaneousLocalization and Mapping:即时定位与地图构建)这样的各种传感器测量的自定位推断技术,也能够确定红外摄像机32相对于作为检查对象的结构物的位置及摄影方向(姿势)。
并且,在上述区域获取步骤(步骤S2)中,对可见光图像103具有颜色信息(RGB信号值)即由三种图像(RGB图像)构成的情况进行了说明,但可见光图像的种类也可以为一种,也可以为两种,并且,也可以为四种以上。根据由任意种类的图像构成的可见光图像103及红外热图像101,能够获取区域信息。
并且,在上述区域获取步骤(步骤S2)中,对根据可见光图像103及红外热图像101作为与结构物有关的信息获取区域信息的情况进行了说明,但也可以不使用与结构物有关的信息而直接获取区域信息。例如,可以如下:与第1红外热图像对应的区域信息存储于存储部16,首先,信息获取部51从存储部16获取区域信息,接着,区域获取部53直接接收该区域信息。或者,当区域信息未存储于存储部16时,区域获取部53可以从外部获取区域信息。例如,可以如下:首先,信息获取部51经由输入输出接口12通过网络获取区域信息,接着,区域获取部53直接接收该区域信息。
在上述区域获取步骤(步骤S2)中,如已说明的那样,在结构物表面上,倾斜度不同的各个面或不连续的各个面中的至少一方分别被视为不同的区域而被区分。并且,在结构物表面上,颜色、粗糙度、凹凸、有无阳光、导热率、红外线辐射率中的任一个不同的各个区域被视为不同的区域而被区分。另外,在不连续的各个面中包括由成为阴影的面、高低差、凹陷、中断部、不同部件等隔开的各个面等。
在上述温度梯度推断步骤(步骤S3)中,在推断区域Ar(i)的温度梯度时,仅使用区域Ar(i)的红外热图像。在图9中,对区域Ar(i)的超出边界的范围的平滑滤波器的系数适用“0”。在图10中,使平滑滤波器在区域Ar(i)的范围内沿着边界延伸。
然而,也可以不将推断区域Ar(i)的温度梯度时使用的红外热图像严格地仅限于区域Ar(i)。在区域Ar(i)的边界附近,若区域Ar(i)与隔着边界而相邻的区域的温度分布的差异不大,则即使包含一些超出边界的相邻的区域的像素(相邻像素)而推断出区域Ar(i)的温度梯度,也几乎不会影响到所推断出的区域Ar(i)的温度梯度,而能够减小温度梯度的噪声。
例如,为了在提取图11的(C)的区域Ar(1)的边界附近的红外热图像之前减小红外热图像的噪声,优选对红外热图像进行平滑化,但此时可以包含一些超出区域Ar(1)的边界而相邻的区域的像素。总之,只要优先适用区域Ar(i)的红外热图像而推断区域Ar(i)的温度梯度即可。优先适用区域Ar(i)的红外热图像是指,比其他区域的红外热图像适用更多区域Ar(i)的红外热图像和/或对区域Ar(i)的红外热图像赋予比其他区域的红外热图像更大的权重后适用。
另外,如已说明的那样,所推断出的温度梯度的信息只要能够在其后的温度梯度减小步骤中从第1红外热图像中减小温度梯度的影响,则可以为任何方式的信息。并且,温度梯度的推断方法不仅可以通过第2红外热图像的平滑化或插值来进行,还可以通过预先确定用于表达温度梯度的数理模型并以由模型表达的温度梯度与第2红外热图像匹配的方式将模型的参数最优化的方法来进行。作为其简单的方法,可以通过预先确定表示温度梯度的函数并以该函数与第2红外热图像最匹配的方式将函数的参数最优化的方法来推断温度梯度。
或者,可以通过根据区域信息进行热模拟(热传导、辐射、对流的模拟)并以通过模拟导出的温度梯度与第2红外热图像最匹配的方式将模拟的参数最优化的方法来推断温度梯度。在该方法的情况下,首先,根据可见光图像、红外热图像、通过LIDAR等测量至结构物为止的距离所得的数据、图纸数据之类的与结构物有关的信息来获取区域信息。接着,在该区域信息的设定下,各种各样地变更并设定热模拟用的各种参数来实施热模拟。通过热模拟(基于有限元法(FEM(Finite Element Method))或FDTD(Finite-difference time-domain method:有限差分时域法)法等的结构物内部的热传导、结构物表面上的辐射或对流热传递、阳光加热等的模拟)而再现各个区域中的温度梯度。然后,将通过热模拟而再现的各个区域中的温度梯度与第2红外热图像中的各个区域的温度变化进行比较,采用最匹配时的温度梯度即可。在此,将基于模拟的温度梯度与第2红外热图像的温度变化进行比较时,可以以第2红外热图像的温度的平均值与模拟一致的方式缩放(scaling)基于模拟的温度梯度即可。
最优化的各种参数根据要区分的区域的种类而不同。例如,当区分不同的颜色、粗糙度、凹凸的区域时,将各个区域的导热率或辐射率作为参数。当区分阳光或除此以外的光(例如,从结构物周边的反射和/或辐射光)照射的部位和未照射的部位时,将各个区域中的基于阳光或除此以外的光的受热量作为参数。当区分即使为均匀的面但其一部分由高低差、凹陷、中断部等划分的各个区域时,将这些高低差、凹陷、中断部的高度、深度、宽度之类的几何学形状或中断部部位的热流量等作为参数。
区域信息的内容也根据要设定的区域的种类而不同。例如,当将不同的颜色、粗糙度、凹凸的区域设定为不同的区域时,作为各个区域信息,设定结构物表面上的二维区域的信息(大小、形状、位置)即可。当将多个倾斜度不同的面或不连续的面设定为不同的区域时,需将包含这些多个面的三维结构设定为区域信息。当设定由高低差、凹陷、中断部等划分的各个区域时,若能够获取这些三维结构作为区域信息,则将三维结构设定为区域信息(并不作为最优化的参数)。当使用可见光图像或红外热图像作为与结构物有关的信息时,能够从图像导出结构物表面的三维结构,但有时难以导出小的高低差、凹陷、中断部等三维结构。另一方面,当通过LIDAR等测量距离所得的数据或图纸数据作为与结构物有关的信息时,能够获取包括小的高低差、凹陷、中断部在内的三维结构的信息。
区域信息优选尽可能设定在宽范围内,以便至少再现与第2红外热图像对应的结构物表面的各个区域的温度梯度。当使用图纸数据作为与结构物有关的信息时,能够将作为检查对象的结构物整体的结构设定为区域信息。
在进行热模拟时,期望测量并确定结构物本身的导热率或辐射率、外部气温、阳光的方向或加热量等能够通过另外的方法测量并确定的参数,并将其设定为固定参数。例如,能够以规定的时间间隔(例如1小时间隔)测量拍摄了检查对象的结构物的当天及其前一天的外部气温,在模拟中将其作为固定参数而输入。并且,作为结构物本身的导热率或辐射率,能够设定一般的混凝土的导热率和辐射率。
另外,为了进行热模拟,区域信息当然需为准确地反映了结构物表面上的各个区域的大小、形状、位置的信息。当将多个倾斜度不同的面或不连续的面设定为不同的区域时,需为准确地反映了这些三维结构的信息。(但是,为了进行模拟,未必一定需要准确地知道各个区域的大小、形状、位置、三维结构,只要其相对关系与实际匹配即可)。即,在准确地反映了检查对象的结构物表面上的实际的各个区域的大小、形状、位置以及三维结构的条件下进行热模拟而导出温度梯度,且在与第2红外热图像进行比较时,将结构物表面上的各个区域与第2红外热图像中的各个区域建立对应关系而进行比较。同样地,在从第1红外热图像中减小温度梯度的影响时,将结构物表面上的各个区域与第1红外热图像中的各个区域建立对应关系而减小影响。即,根据与结构物有关的信息而获取的区域信息为准确地反映了结构物表面上的各个区域的大小、形状、位置以及三维结构的信息,并且也是与这些区域对应的第1红外热图像及第2红外热图像中的区域的信息。因此,结构物表面上的各个区域与第1红外热图像及第2红外热图像中的各个区域需建立对应关系。当根据测量至结构物为止的距离所得的数据获取区域信息时,如已说明的那样,能够建立对应关系。当根据图纸数据获取区域信息时,如已说明的那样,也能够通过另外的方法确定红外摄像机32的位置及摄影方向来建立对应关系。当根据可见光图像、红外热图像获取区域信息时(设为可见光图像和红外热图像中不存在位置偏移),例如能够通过三角测量的原理根据在两个以上的不同视点拍摄的可见光图像测量从拍摄各个可见光图像所得的可见光摄像机34至结构物表面的各点为止的距离,因此能够建立对应关系。两个以上的不同视点的可见光图像能够通过基于两台以上的不同视点的可见光摄像机34的拍摄或使用一台可见光摄像机34改变视点而拍摄结构物表面的相同部位来获取。但是,当使用一台可见光摄像机34时,需通过另外的方法来确定各个视点的摄影位置及摄影方向。或者,即使在使用一台可见光摄像机的情况下,通过适用SfM(Structure from Motion(多视点立体摄影测量))技术,能够仅根据各个视点的摄影图像来推断各个视点的摄影的位置及摄影方向,并且能够推断各个视点的至结构物表面的各点为止的距离,因此能够建立对应关系。或者,通过另外的方法例如图纸数据或另外的测量来确定结构物表面整体的实际大小或形状,能够根据可见光图像中的该结构物表面整体的大小或形状来建立对应关系。即,通过结构物表面整体的实际大小或形状与可见光图像中的大小或形状的比较,能够确定从拍摄了可见光图像的可见光摄像机34至结构物表面的各点为止的距离,因此能够建立对应关系。同样地,通过另外的方法来确定结构物表面上的多个特征部位的实际大小或形状,也能够建立对应关系。或者,通过相对于结构物表面将可见光摄像机34固定于特定的位置例如正对的位置来进行拍摄,也能够建立对应关系。
上述的根据区域信息进行热模拟来推断温度梯度的方法在破损部大且横跨多个区域时有效。在图16中示出破损部大且横跨两个区域的例子。图16的(A)示出可见光图像,图16的(B)将黑色作为背景而用白色示出可见光图像中的破损部。并且,图16的(C)示出红外热图像。可知破损部大且横跨结构物表面的上面和侧面这两个区域。
接着,对与上述不同的获取第1红外热图像、第2红外热图像及区域信息所根据的与结构物有关的信息(也称为获取信息组)的变形例进行说明。区域信息所根据的与结构物有关的信息中包含第1红外热图像、第2红外热图像、可见光图像及测量数据等。
获取信息的第1变形例为使用不同的红外热图像作为第1红外热图像和第2红外热图像的情况。例如,在将红外摄像机搭载于无人机等移动体并使其靠近结构物表面进行拍摄时,需要这样的获取信息的变形例。当用搭载于移动体的红外摄像机靠近结构物表面进行拍摄时,摄影范围内的结构物表面均匀,另一方面,产生了温度梯度,有时成为该温度梯度的起点的与其他区域的边界会存在于摄影范围外。
在此,结构物表面均匀是指表面的倾斜度恒定且不包含不连续的面。不包含不连续的面是指不包含由阴影、高低差、凹陷、中断部、不同部件等引起的不连续的面。并且,表示表面的颜色、粗糙度、凹凸、有无阳光、导热率或红外线辐射率也恒定。
在该情况下,用红外摄像机从远处拍摄结构物而获取第2红外热图像。同样地,用可见光摄像机从远处拍摄结构物,并从可见光图像获取区域信息。或者,可以代替可见光摄像机而从通过LIDAR等测量的数据获取区域信息。从这些区域信息和第2红外热图像推断各个区域的温度梯度。
用红外摄像机近拍推断出温度梯度的各个区域而获取第1红外热图像。能够在推断了温度梯度的范围中提取近拍的范围(拍摄了第1红外热图像的范围),从第1红外热图像中减小所提取的温度梯度的影响。
与由破损部产生的温度分布相比,温度梯度为全局的温度变化,因此根据如此从远处拍摄的第2红外热图像,也能够推断温度梯度。
获取信息的第2变形例为合并多个红外热图像及多个可见光图像的情况。在第2变形例中,直至包含至少一个区域的边界为止合并多个近拍的可见光图像而获取区域信息。根据区域信息,从合并多个红外热图像所得的红外热图像推断至少一个区域的温度梯度。从合并的红外热图像中减小温度梯度。在第2变形例中,第1红外热图像和第2红外热图像为相同的红外热图像。也可以代替可见光图像而从通过LIDAR等测量的数据获取区域信息。
获取信息的第3变形例为合并多个红外热图像而未合并可见光图像的情况。根据从远处用可见光摄像机拍摄的可见光图像来获取区域信息。针对各个区域,用红外摄像机进行近拍,并且直至包含边界为止合并多个红外热图像。从合并的红外热图像和区域信息推断温度梯度。从合并的红外热图像中减小温度梯度。在第3变形例中,第1红外热图像和第2红外热图像为相同的红外热图像。也可以代替可见光图像而从通过LIDAR等测量的数据获取区域信息。
如以上说明的那样,能够使用不同的第1红外热图像、第2红外热图像及区域信息所根据的与结构物有关的信息、多个第1红外热图像、第2红外热图像及区域信息所根据的与结构物有关的信息来进行区域信息的获取和/或温度梯度的推断。
在这些方法的情况下,需利用另外的方法来确定摄影系统相对于各自拍摄时作为检查对象的结构物的位置及摄影方向(姿势)。能够通过适用使用各种传感器(加速度传感器、陀螺仪传感器等)的公知的方法或作为自定位推断技术的SLAM技术来确定。
用于第1红外图像获取步骤、区域获取步骤及温度梯度推断步骤的第1红外热图像、第2红外热图像及与结构物有关的信息未必一定全部为在相同的时刻拍摄的图像或测量的数据。也可以使用在各个步骤中在不同的时刻拍摄的图像(第1红外热图像、第2红外热图像、可见光图像)或测量的数据(通过LIDAR等测量的数据),并且也可以合并在多个时刻拍摄的图像或测量的数据后使用。但是,在任何方式中,均需推断第1红外热图像中的温度梯度,并使用在适合减小其影响的时刻拍摄的第2红外热图像。如已说明的那样,当结构物的表面具有多个不同倾斜度的面或不连续的面、多个不同的颜色、粗糙度、凹凸、导热率或辐射率的区域、阳光或除此以外的光(包括红外线)照射的区域和未照射的区域等时,有可能产生各个区域中的平均温度及温度梯度的差异,由此有可能发生无法准确地减小温度梯度的问题或误检测的问题。为了解决该问题,本发明区分各个区域而推断温度梯度,减小其影响。在此,各个区域中的平均温度及温度梯度的差异有可能不分昼夜都会产生,但随着时期(时刻)而发生变化。因此,需使用在适当的时刻拍摄的第2红外热图像,以使各个区域中的平均温度及温度梯度在第1红外热图像和第2红外热图像中变得相似。另外,通过使用在白天有阳光的时刻拍摄的图像作为第2红外热图像,能够推断由白天的阳光产生的温度梯度。
当使用可见光图像作为与结构物有关的信息并在夜间进行可见光图像的摄影时,需通过用可视光的照明来照亮检查对象的结构物的方法、使用可见光摄像机的闪光功能的方法等来确保拍摄所需要的可视光的光量。
接着,对信息显示步骤(步骤S5)中的优选方式进行说明。如上所述,信息显示部59将温度梯度减小图像和/或经图像处理的温度梯度减小图像显示于显示装置30。
信息显示部59能够单独显示由温度梯度减小部57导出的温度梯度减小图像。并且,也能够将导出温度梯度减小图像时适用的摄影图像(第1红外热图像、第2红外热图像、可见光图像)与温度梯度减小图像一同以并置、重叠、埋入等方式进行显示。
也能够对温度梯度减小图像进行加工(图像处理)。在白天摄影的情况下,在温度梯度减小图像中,能够仅将值为规定的阈值以上的像素视为破损部而进行显示。在夜间摄影的情况下,在温度梯度减小图像中,能够仅将值为规定的阈值以下的像素视为破损部而进行显示。
也能够以规定的阈值进行二值化。在白天摄影的情况下,能够将阈值以上的像素组视为破损部而进行显示,在夜间摄影的情况下,能够将阈值以下的像素组视为破损部而进行显示。通过设定多阶段的阈值,可以进行3值化、4值化......而加工并显示为一定程度上还可知破损部的温度分布(温度差)。此外,可以加工成从温度分布可知破损水平。温度梯度减小图像的加工(图像处理)由CPU20执行。
能够将温度梯度减小图像存储并积蓄在存储部16等。通过存储并积蓄温度梯度减小图像,能够调查随时间的变化。并且,在白天摄影的情况下,能够从温度梯度减小图像获取规定的阈值以上的值的总和值等破损的定量值并进行显示和存储。在夜间摄影的情况下,能够获取规定的阈值以下的值的总和值等破损的定量值并进行显示和存储。
在上述实施方式的红外热图像分析装置中,能够由另外的装置获取所需要的摄影图像或测量数据。并且,红外热图像分析装置也可以组装于拍摄摄影图像的装置(红外摄像机、可见光摄像机等)中。
上述实施方式的程序可以通过专用的分析程序来实施,并且,实施的装置无关紧要。例如,也能够利用个人电脑来实施。并且,实施各步骤的装置或程序可以为一体,也可以分离。
如上所述,本实施方式获取区分作为检查对象的结构物表面的区域的区域信息,根据区域信息和红外热图像推断温度梯度,并从红外热图像中减小温度梯度的影响。由此,在由平均温度及温度梯度不同的多个区域构成的结构物表面的红外热图像中,能够准确地减小各区域的温度梯度的影响,破损部和无损部的判别精度提高。
<其他>
在上述说明中,对信息获取部51获取存储于存储部16的信息的方式进行了说明,但并不限定于此。例如,当在存储部16未存储有所需要的信息时,信息获取部51可以经由输入输出接口12从外部获取信息。具体而言,信息获取部51从红外热图像分析装置10的外部获取经由输入输出接口12输入的信息。
在上述实施方式中,执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(Central Process ing Unit:中央处理单元)、FPGA(FieldProgrammable Gate Array:现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、ASIC(Application SpecificIntegrated Circuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器(例如,多个FPGA或CPU与FPGA的组合)构成。并且,多个处理部能够由一个处理器构成。作为由一个处理器构成多个处理部的例子,第1,有如下方式:如以用户端或服务器等计算机为代表那样,以一个以上的CPU与软件的组合构成一个处理器,该处理器作为多个处理部发挥作用。第2,有如下方式:如以片上系统(System On Chip:SoC)等为代表那样,使用由一个IC(Integrated Circuit:集成电路)芯片实现包含多个处理部的整个系统的功能的处理器。如此,各种处理部使用一个以上的上述各种处理器作为硬件结构而构成。
另外,更具体而言,这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。
上述各结构及功能能够通过任意的硬件、软件或两者的组合来适当实现。例如,对用于使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机,也能够适用本发明。
以上,关于本发明的例子进行了说明,但本发明并不限定于上述实施方式,当然能够在不脱离本发明的宗旨的范围进行各种变形。
符号说明
10-红外热图像分析装置,12-输入输出接口,16-存储部,18-操作部,20-CPU,22-RAM,24-ROM,26-显示控制部,30-显示装置,32-红外摄像机,34-可见光摄像机,36-结构物,40-试验体组,41-试验体,42-试验体,43-试验体,44-试验体,45-瓦楞纸,51-信息获取部,53-区域获取部55-温度梯度推断部,57-温度梯度减小部,59-信息显示部,101-红外热图像,103-可见光图像,105-区域信息,106-红外热图像,107-温度梯度图像,107A-温度梯度图像,107B-温度梯度图像,107C-温度梯度图像,109-温度梯度减小图像,109A-温度梯度减小图像,109B-温度梯度减小图像,109C-温度梯度减小图像,L-距离,La-距离,Px-像素,S1-步骤,S2-步骤,S3-步骤,S4-步骤,S5-步骤。
- 热图像处理装置、红外线拍摄装置、热图像处理方法以及热图像处理程序
- 基于红外热图像分析的石化区火源检测方法、系统及应用