钢结构涂层状态的检查与评估方法及系统

背景技术

1.领域

本公开涉及一种用于检查和评估结构的涂层状态的技术，并且更具体地，涉及一种能够通过检查涂覆在结构上的涂层的状态来评估耐久性的检查和评估涂层状态的方法及其系统。

2.相关技术的描述

通常，例如，出于诸如防止腐蚀的各种目的，可以在钢结构等的表面上喷涂。关于结构的安全性，检查和评估结构的涂层的厚度和/或劣化状态的操作是检查结构的耐久性并确保安全性所必需的过程。

为了通过测量涂层的厚度来检查结构的耐久性，已经开发了使用超声波的设备。然而，设备只能测量3至5mm内的局部区域，并且检查结果可能根据使用者的技术水平而变化，从而检查结果可能缺乏客观性。

此外，已经开发了视觉检查和使用视觉相机的基于人工智能的检查技术，用于检测和分类涂层的劣化状态。视觉检查显示检查结果的可靠性低，因为可能涉及检查员的主观性。使用视觉相机的基于人工智能的检查技术可以仅检测涂层表面的劣化而不检测涂层内部的劣化。换句话说，大多数技术可以仅检测和区分发生在结构表面上的腐蚀和分层。

涂层的劣化具有各种特征或类型。劣化可分为腐蚀、分层、开裂(checking)和粉化。取决于劣化的特征，对结构的安全性的影响可以不同，并且针对安全性采取的动作也可以不同。因此，需要准确地识别出检测到的劣化的类型，而不是仅仅检测涂层的劣化。

发明内容

本公开的目的是提供一种检查和评估涂层状态的方法及其系统，其能够通过同时使用热成像系统和视觉系统来可视化和量化结构的整个区域上的涂层的厚度，可以全面有效地检测涂层内部和外部可能发生的各种特性的劣化，按特性对劣化进行分类，根据检查结果评估涂层状态，并自动创建相关报告。

本公开要实现的目的不限于上述目的，并且可以在不脱离本公开的实质和范围的情况下进行各种扩展。

根据本公开的实施例的一个方面，一种检查和评估涂层状态的方法是一种用于检查涂覆有涂层的检查目标钢结构的涂层状态的方法。检查和评估涂层状态的方法包括：通过使用视觉相机拍摄钢结构表面的期望区域来获取多个视觉图像；通过加热钢结构的期望区域并使用热成像相机拍摄钢结构的表面的加热的期望区域来获取多个热图像；通过根据时空积分坐标转换(TSICT)算法进行坐标转换，分别将动态状态下的热图像和视觉图像预处理重构为静态状态下的时空积分的热图像和时空积分的视觉图像；通过将时空积分的视觉图像与时空积分的热图像叠加来生成叠加图像；通过将叠加图像输入到通过基于人工神经网络预先学习多个学习叠加图像而构建的基于人工智能的涂层劣化检测模型，来检测涂覆于钢结构的涂层的劣化；通过将根据检测到的涂层劣化的位置确定的涂层劣化区域的图像输入到涂层劣化分类模型中，通过特性对钢结构涂层的劣化进行分类；通过处理涂层劣化区域的图像来量化劣化区域的尺寸；通过将通过特性对涂层劣化进行分类的结果与量化结果相结合来生成涂层劣化检查结果；通过基于涂层厚度检查算法从时空积分热图像中测量的热能进行分析，从而检查钢结构涂层的厚度；并且通过基于预定的涂层评价标准对涂层的劣化状态检查结果和涂层的厚度检查结果进行综合评价来计算涂层等级。

在示例实施例中，预定涂层评估标准可以包括正常状态下的钢结构的表面的图像、钢结构的构件信息、规格和降雪量中的至少一个。

在示例实施例中，该方法可以进一步包括通过将计算出的涂层等级和与钢结构有关的附加信息相结合，自动创建用于钢结构的状态评估报告。

在示例实施例中，状态评估报告的自动创建可以包括：通过使用计算出的涂层等级和与钢结构有关的附加信息作为输入变量来评估钢结构的耐久性能；评估钢结构的安全性能和使用性能；通过将钢结构的耐久性能评估结果与钢结构的安全性评估结果和使用性能评估结果相结合，计算出钢结构的综合评估得分和综合评估等级；并根据预定的报告创建方案自动创建钢结构和涂层的综合状态评估报告。

在示例实施例中，可以根据涂层劣化的特性将涂层劣化分类为腐蚀、分层、开裂和粉化。

在示例实施例中，可以在将视觉相机、热源和热成像相机一起安装在无人移动体上并且相对于钢结构的表面移动的同时拍摄期望区域。

在示例实施例中，叠加图像的生成可以包括：通过分别使用视觉相机和热成像相机拍摄目标表面，获取在其上显示参考点的目标表面的视觉图像和热图像；基于热图像中包含的参考点，获取视觉图像中包含的参考点的转换矩阵；利用所述转换矩阵对钢结构表面的视觉图像进行转换；并通过将钢结构表面的转换后的视觉图像与钢结构表面的热图像进行叠加，获得叠加图像。

在示例实施例中，转换矩阵的获得可以包括：分别检测热图像和视觉图像内的第一参考点和第二参考点；通过分别使用检测到的第一参考点和检测到的第二参考点来校正热图像和视觉图像的失真；通过利用进行失真校正的热图像和视觉图像中的第一参考点之间以及第二参考点之间的距离获得像素比；剪切对应于热图像的关注区域(ROI)的视觉图像的ROI；通过根据像素比减小视觉图像的剪切ROI，允许视觉图像的剪切ROI具有与热图像的ROI相同数量的像素；在热图像和视觉图像的关注区域中分别重新检测第一参考点和第二参考点；并将重测的第一参考点和重测的第二参考点分别设置为固定点和移动点，得到基于固定点匹配移动点的转换矩阵。

在示例实施例中，视觉图像的ROI的剪切可以包括：获得从热图像的第一参考点到热图像的边界的像素数量；通过使用获取的像素数和像素比，计算从第二参考点到视觉图像边界的像素数；通过使用计算出的从第二参考点到边界的像素数，在视觉图像中获得与热图像的ROI相对应的边界；并仅剪切由获得的边界定义的视觉图像的ROI。

在示例实施例中，量化劣化区域的尺寸可以包括：通过使用锐化掩模执行强化包括图像颜色的叠加图像的特征的处理；将强化了特征的叠加图像转换为灰度叠加图像；通过将具有预定大小的中值滤波器应用于转换成灰度的叠加图像来滤波转换成灰度的叠加图像；通过对滤波后的叠加图像进行二值化生成黑白图像，其中根据像素是否对应于劣化区域，每个像素的值为0或1；计算与黑白图像中的劣化区域相对应的像素的数量；并通过将计数的像素数乘以像素分辨率来量化劣化区域的尺寸。

在示例实施例中，检查钢结构的涂层的厚度可以包括：通过从当热源的热能被施加给钢结构时捕获的时空积分热图像中减去在热源的热能被施加给钢结构之前捕获的时空积分热图像，去除由噪声热源引起的热图像分量；基于傅立叶热传导方程，使用去除噪声分量的时空积分热图像测量钢结构涂层的厚度，其中傅立叶热传导方程表示为L＝Q/kAΔTt

同时，根据本公开的实施例的另一方面，一种用于检查和评估涂层状态的系统包括视觉相机、激励器、热成像相机、移动单元和控制单元。视觉相机可以配置为通过拍摄被涂有涂层的检查目标钢结构的表面的期望区域来获取多个视觉图像。激励器可以配置为通过将热源辐射到钢结构来加热钢结构。热成像相机可以配置为通过拍摄由激励器加热的钢结构的表面的期望区域来获取多个热图像。移动单元可包括无人移动体和移动体控制器。无人移动体可以配置为在视觉相机、热成像摄像机和激励器被安装在无人移动体上的状态下相对于钢结构的表面保持期望的间隔的同时提供运动，以使视觉相机和热成像相机拍摄期望区域。移动体控制器可以配置为控制无人移动体的运动。控制单元可以配置为执行计算机程序以检查钢结构的涂层状态。

计算机程序包括：通过根据时空积分坐标转换(TSICT)算法执行坐标转换将由视觉相机和热成像相机提供的处于动态状态的热图像和视觉图像分别重构为静态状态下的时空积分热图像和时空积分视觉图像的预处理功能；通过将时空积分视觉图像和时空积分热图像叠加来生成叠加图像的功能；通过将叠加图像输入到通过基于人工神经网络预先学习多个学习叠加图像而构建的基于人工智能的涂层劣化检测模型来检测涂覆到钢结构的涂层的劣化的功能；通过将根据检测到的涂层劣化的位置确定的涂层劣化区域的图像输入到涂层劣化分类模型中来根据特性对钢结构涂层的劣化进行分类的功能；通过处理涂层劣化区域的图像来量化劣化区域大小的功能；通过根据特性对涂层劣化进行分类的结果与量化结果进行结合来生成涂层劣化检查结果的功能；通过基于涂层厚度检查算法分析从时空积分热图像中测得的热能来检查钢结构涂层厚度的功能；并基于预定的涂层评价标准通过综合评价涂层的劣化状态检查结果和涂层的厚度检查结果来计算涂层等级的功能。

在示例实施例中，计算机程序可以进一步包括以下功能：通过将计算出的涂层等级和与钢结构有关的附加信息相结合，自动创建钢结构的状态评估报告。

在示例实施例中，自动创建状态评估报告的功能可以包括：通过使用计算出的涂层等级和与钢结构有关的附加信息作为输入变量来评估钢结构的耐久性能的功能；评估钢结构安全性能和使用性能的功能；通过将钢结构的耐久性能评估结果与钢结构的安全性评估结果和使用性能评估结果相结合来计算钢结构的综合评估得分和综合评估等级的功能；以及根据预定的报告创建方案自动创建钢结构和涂层的综合状态评估报告的功能。

在示例实施例中，无人移动体可以包括具有至少一个由永磁体形成的轮并且配置为在通过作用在永磁体轮与钢结构之间的吸引力附接到钢结构的同时移动的移动机器人。

在示例实施例中，生成叠加图像的功能可以包括：接收分别由视觉相机和热成像相机拍摄由在其上显示参考点的目标表面而提供的视觉图像和热图像的功能；基于热图像所包含的参考点，获得视觉图像所包含的参考点的转换矩阵的功能；通过使用转换矩阵对钢结构表面的视觉图像进行转换的功能；以及通过将钢结构表面的转换后的视觉图像与钢结构表面的热图像叠加来获得叠加图像的功能。

在示例实施例中，获得转换矩阵的功能可以包括：分别检测热图像和视觉图像内的第一参考点和第二参考点的功能；通过分别使用检测到的第一参考点和检测到的第二参考点来校正热图像和视觉图像的失真的功能；通过使用进行失真矫正的热图像和视觉图像中的第一参考点之间以及第二参考点之间的距离来获得像素比的功能；剪切对应于热图像的关注区域(ROI)的视觉图像的ROI的功能；通过根据像素比减小视觉图像的剪切ROI，允许视觉图像的剪切ROI具有与热图像的ROI相同数量的像素的功能；分别在热图像和视觉图像的关注区域中重新检测第一参考点和第二参考点的功能；以及将重新检测的第一参考点和重新检测的第二参考点分别设置为固定点和移动点以基于固定点获得用于匹配移动点的转换矩阵的功能。

在示例实施例中，量化劣化区域的大小的功能可以包括：通过使用锐化掩模执行强化包括图像颜色的叠加图像的特征的处理的功能；将强化了特征的叠加图像转换为灰度叠加图像的功能；通过将具有预定大小的中值滤波器应用于转换为灰度的叠加图像来对转换为灰度的叠加图像进行滤波的功能；通过对滤波后的叠加图像进行二值化生成黑白图像的功能，其中根据像素是否与劣化区域相对应，每个像素的值为0或1；计算与黑白图像中的劣化区域相对应的像素的数量的功能；并通过将计数的像素数乘以像素分辨率来量化劣化区域的尺寸的功能。

在示例实施例中，检查钢结构的涂层的厚度的功能包括：通过从当热源的热能被施加给钢结构时捕获的时空积分热图像中减去在热源的热能被施加给钢结构之前捕获的时空积分热图像，去除由噪声热源引起的热图像分量的功能；基于傅立叶热传导方程，使用去除噪声分量的时空积分热图像测量钢结构涂层的厚度的功能，其中傅立叶热传导方程表示为L＝Q/kAΔTt

在示例实施例中，该系统可以进一步包括用于显示由控制单元提供的图像的显示器；以及安装在无人移动体上的驾驶检查照相机，以捕获要驱动无人移动体的区域的图像，并将捕获的图像实时提供给控制单元，从而将捕获的图像显示在显示器上。

根据本公开的实施例，分析通过将涂覆到结构上的涂层的视觉图像与在加热结构的同时捕获的热图像叠加而生成的叠加图像，从而使得涂层内部以及涂层外部的劣化进展状态可以得到全面检查。另外，设置无人移动体以移动涂层状态检查位置，从而可以在结构的整个区域上进行涂层状态检查。

根据本公开的实施例，可以通过使用检测涂层劣化的劣化检测人工智能算法来检测结构的涂层的劣化。另外，根据本公开，构建单独的劣化分类人工智能算法，而不是仅仅检测劣化，并且根据基于劣化分类人工智能算法的特性将检测到的劣化自动分类为腐蚀、分层、开裂、粉化等，以保证涂层状态检查的客观性。在通过使用劣化检测人工智能算法来检测涂层的劣化的同时，不单独地检测热图像和视觉图像(单独的检测方案)，而是执行检测通过叠加两个图像而获得的图像的方案。与单独的检测方案相比，该方案可以显著减少检测劣化所需的计算运行时间。

此外，根据本公开的实施例，通过组合涂层的劣化状态检查结果、涂层厚度检查结果以及与结构有关的附加信息来自动创建用于结构的涂层状态评估报告，从而确保了涂层状态评估的客观性，并提高了工作效率。

图1示出了根据本公开的一个实施例的涂层状态评估系统的概念配置。

图2示出了根据本公开的一个实施例的通过使用涂层状态评估系统检查结构的涂层状态的方法的执行顺序。

图3是示出根据本公开的一个实施例的通过使用涂覆状态评估系统来获取和预处理结构的表面的热图像的过程的流程图。

图4是示出根据本公开的一个实施例的通过将视觉图像与热图像叠加来生成叠加图像的步骤的流程图。

图5示出了根据本公开的一个实施例的获得将视觉图像与热图像叠加所需的变量的过程。

图6是示出根据本公开的一个实施例的通过使用涂层劣化检查算法模型来检查结构的涂层的劣化状态的步骤的流程图。

图7示出了根据涂层劣化特性分类的涂层的腐蚀图像、分层图像、粉化图像和开裂图像。

图8示出根据本公开的一个实施例的量化检测到的劣化区域的图像处理过程。

图9示出根据本公开的一个实施例的通过图像处理提取劣化区域。

图10示意性地示出了根据本公开的一个实施例的评估结构的涂层状态的方法。

图11示出了根据本公开的一个实施例的通过使用涂层状态评估系统自动创建结构的涂层状态评估报告的过程。

具体实施方式

在下文中，将参考附图详细描述本公开的实施例。本公开可以以各种不同的形式来实现，并且不限于在此描述的实施例。在附图中，为了清楚地描述本公开，省略了与描述无关的部分，并且在整个说明书中，相同的附图标记被分配给相同或相似的元件。

图1概念性地示出了根据本公开的一个实施例的涂层状态评估系统1的配置。

参照图1，根据本公开的一个实施例，涂层状态评估系统1可以是用于评估结构的安全性的系统，并且可以配置为通过测量和检查涂覆在结构60上的涂层的整体状态(特别是涂层的厚度、劣化状态等)来自动评估结构60的耐久性。此外，系统1可以配置为基于评估结果自动创建状态评估报告。在这种情况下，根据本公开的一个实施例的要由涂层状态评估系统1检查或评估的结构60可以是钢结构。

根据一个实施例的涂层状态评估系统1可以包括视觉相机10、热成像相机20、激励器30、移动单元40、驾驶检查相机50？？和控制单元70。

可以提供视觉相机10，以通过在与结构60间隔预定距离的同时拍摄结构表面62来获取在其表面上涂覆涂层的结构60的表面62的视觉图像。视觉相机10可以设置在涂层状态评估系统1的一侧。视觉相机10可以将获取的视觉图像提供给控制单元70。

在控制单元70中，视觉图像可以用于检测结构表面62的劣化，即，诸如在涂层外部发生的腐蚀或分层的劣化，并且可以用于检测开裂和粉化。

可以设置热成像相机20以获取结构60的热图像。热成像相机20可以与视觉相机10相邻。此外，热成像相机20可以与下文中将予以描述的激励器30相邻。由热成像相机20捕获的热图像可以被传送到控制单元70。在控制单元70中，热图像可以用于测量结构表面62的温度。

更详细地，首先，从激励器30的热源产生的热能可以被传递到结构60。在这种情况下，通过激励器30的热源的热能的传递可以通过线性激光束32的连续激发实现。传递的热能可以从结构60的涂层传播到钢材部分。在这种情况下，涂覆有涂层的结构表面62的温度可以根据结构60的热能传播程度而变化。结构表面62的变化的表面温度可以反映在热图像中。因此，可以通过获取结构表面62的热图像来测量涂覆有涂层的结构60的表面温度。

结构60的热能传播程度可以根据涂层的厚度而变化。随着涂层厚度的增加，热能向被涂层保护的钢材的传递可能会延迟。因此，随着涂层厚度的增加，包括涂层的结构表面62的温度在测量时可能变得更高。

基于以上几点，涂层状态评估系统1可以通过使用结构表面62的热图像来测量结构60的表面温度，并根据所测量的温度的值来估计涂层的厚度。另外，涂层内部的劣化可能不是通过视觉相机10捕获的视觉图像检测到的，而是可以通过热成像相机20捕获的热图像检测的。

在示例性实施例中，可以通过移动单元40来移动涂层状态评估系统1。当涂层状态评估系统1移动时，可以由视觉相机10和热成像相机20在结构表面62的不同区域中重复多次拍摄结构表面62。换句话说，视觉相机10和热成像相机20可以检测整个表面62上的劣化，而不仅限于结构60的一部分。

在示例性实施例中，移动单元40可以包括无人移动体42和用于控制无人移动体42的运动的移动体控制器44。移动体控制器44可以通过无线通信方案或有线通信方案与无人移动体42通信。通过通信，移动体控制器44可以远程控制与无人移动体42的运动、视觉相机10和热成像相机20的摄影、激励器30的加热等有关的操作。视觉相机10、热成像摄像机20和激励器30可以联接至无人移动体42或安装在无人移动体42上，使得它们可以一体地移动。无人移动体42可以提供运动，使得视觉相机10、热成像相机20和激励器30可以在保持期望的间隔的同时运动到结构表面62的期望的区域。

驾驶检查照相机50可以安装在无人移动体42上以拍摄要驱动无人移动体42的前部区域。由驾驶检查相机50拍摄的图像可以实时地提供给控制单元70，以便显示在显示器72上。涂层状态评估系统1的操作者可以通过在观看显示器72上显示的屏幕的同时操纵移动体控制器的方式控制无人移动体42的运动。通过上述移动控制，视觉相机10和热成像摄像机20可以在驱动检查目标结构60的所需区域的同时执行拍摄。

在该示例性实施例中，如图1所示，无人移动体42可以是具有至少一个由永磁体形成的轮46的移动机器人。在这种情况下，涂层状态评估系统1可以在永磁体轮46和结构60之间作用的吸引力的作用下附着在结构60上的同时，在结构60的整个区域上稳定地移动，而不会脱离结构60。

此外，在本公开的一个实施例中，移动单元40可以是无人飞行器(UAV)。换句话说，视觉相机10、热成像相机20和激励器30可以安装在UAV上以在与结构表面62间隔开距离飞行的同时收集视觉图像和热图像。然而，应用于涂层状态评估系统1的移动单元40不限于此。

在示例性实施例中，控制单元70可以配置为接收视觉图像或热图像以评估涂层状态。控制单元70可以是能够执行用于接收视觉图像或热图像以评估涂层状态的程序的计算装置。为此，控制单元70可以包括诸如中央处理单元(CPU)、存储器、通信单元和数据存储器之类的计算资源(未示出)，以及配置为显示评估结果等以及用作用户界面装置的显示器72。显示器72可以连接到构成控制单元70的计算装置，以通过无线通信方案或有线通信方案与计算装置进行通信。

接下来，将描述使用控制单元70通过涂层状态评估系统1检查结构60的涂层状态的方法。图2示出了根据本公开的一个实施例的通过使用涂层状态评估系统1来检查结构60的涂层状态的方法的执行顺序。

参照图2，根据本公开的一个实施例的通过涂层状态评估系统1检查结构60的涂层状态的方法可以包括：通过视觉相机10拍摄结构表面62的期望区域来获取结构表面62的视觉图像(S10)；通过加热结构表面62的期望区域并用热成像相机20拍摄加热的结构表面62来获取结构表面62的热图像(S20)。在步骤S10和S20中，视觉相机10和热成像相机20可以在移动通过结构表面62的同时执行拍摄，以针对各个区域生成多个视觉图像和多个热图像。另外，在拍摄期间，视觉相机10和热成像相机20可以同时拍摄同一区域，以获取每个拍摄区域的视觉图像和热图像。当通过使用视觉相机10和热成像相机20分别在步骤S10和S20中捕捉视觉图像和热图像时，可以如上所述在保持结构表面62和两个相机10和20之间的预定距离的同时捕捉图像。控制单元70可以分别从视觉相机10和热成像相机20接收由视觉相机10和热成像相机20捕获的视觉图像和热图像。

该方法可以包括：通过根据时空积分坐标转换(TSICT)算法执行坐标转换，将由视觉相机10捕获的动态状态的视觉图像整合为静态状态的单个时空积分视觉图像的预处理(S30)；通过根据TSICT算法执行坐标转换，将由热成像相机20捕获的动态状态的热图像整合为静态状态的单个时空积分热图像的预处理(S40)。另外，该方法可以包括：通过使用图像叠加算法通过将预处理的时空积分视觉图像与预处理的时空积分热图像叠加来生成叠加图像(S50)；以及使用叠加图像和涂层劣化检查算法来检查涂覆到结构60的涂层的劣化状态(S60)。此外，该方法可以包括：基于涂层厚度检查算法，通过分析从预处理的时空积分热图像测量的热能，来检查涂覆至结构表面62的涂层的厚度(S70)。

此后，将更详细地描述在检查和评估结构的涂层状态的方法中检查涂层的劣化状态并测量涂层的厚度的过程(S10至S70)。图3示出了根据本公开的一个实施例的通过使用涂层状态评估系统1来获取和预处理结构表面62的热图像的过程S20和S40。

参照图3，为了获取热图像，首先，可以通过将热源辐射到结构表面62的拍摄目标区域来加热结构60(S21)。在加热结构60的同时，可以通过用热成像相机20拍摄结构60的表面62来获取热图像(S22)。通过根据TSICT算法执行坐标转换，可以将处于动态状态的热图像转换成处于静态状态的单个时空积分的热图像(S23)。

在一个示例性实施例中，在通过辐射热源来加热结构60的表面62的步骤S21中，可以通过例如将由激励器30的热源产生的激光束32辐射到结构60上来传递热能。随着传递的热能传播通过结构60，结构60可能会被加热。热能通过结构60的传播程度可以与涂层的劣化程度有关。因此，为了通过检测热能通过结构60的传播程度来检查涂层状态，可以通过用热成像相机20拍摄结构表面62来获取热图像。

所获取的热图像可以被发送到控制单元70。控制单元70可以通过使用TSICT算法来执行热图像的坐标转换(S23)。

将更详细地描述将结构60的表面的热图像重构为静态状态下的单个时空积分热图像的预处理过程。热成像相机20可以拍摄与视野(FOV)相对应的区域。当结构表面62的测量目标区域宽于FOV区域时，可能无法通过执行一次拍摄来捕获结构表面62的整个区域。类似地，上述事实也可以应用于视觉相机10。涂层状态评估系统1可以通过驱动无人移动体42(例如移动机器人)相对于结构表面62移动而拍摄结构60的整个期望测量目标区域。在这种情况下，相对运动是指涂层状态评估系统1和结构表面62中的至少一个运动或者涂层状态评估系统1和结构表面62两者都运动的情况。

然而，当由于移动单元40而在结构60和涂层状态评估系统1之间存在相对运动时，可能不会测量在结构60的特定位置处辐射热能而引起的热能传播现象。由于在结构表面62和涂层状态评估系统1相对于彼此连续移动的同时测量图像，所以可能无法识别由于在特定位置施加线性激光束32而导致的随时间的温度变化趋势。另外，难以确认整个测定目标区域的检查结果。为了解决这些问题，可以通过使用TSICT算法执行重建时空积分热图像。

通过TSICT算法进行的坐标转换可用于将动态状态的热图像转换为静态状态的热图像。在这种情况下，TSICT算法可以由等式(1)表示如下。

在这种情况下，x和y分别表示转换前的热图像中的x轴和y轴，t表示时间。另外，x*和y*分别表示转换后的热图像中的x轴和y轴。此外，t*表示热波传播时间。另外，v表示结构60与热成像相机20之间的相对速度。

根据等式(1)，将x*、y*和t*分别转换为x*＝tv、y*＝y和t*＝x/v。通过上述转换，可以将动态状态的测量结构60转换成静态状态的测量结构60。详细地，转换之前的热图像的x轴数据可以表示基于线性激光束32的位置在施加线性激光束32之前和之后测量结构60随时间的温度变化趋势。因此，将位于热图像的x轴上的数据除以相对速度v的结果可以定义为关注区域(ROI)图像的时间轴(t*)。由于通过测量相对于热成像相机20以恒定速度(v)移动的测量结构60来获取热图像，因此在热图像的每个点处的测量结构60的位置可能随时间变化。因此，可以将位于热图像的t轴(时间轴)上的数据乘以相对速度v的结果定义为ROI图像的水平空间轴(x*)。同时，可以将热图像的y轴数据定义为ROI图像的垂直空间轴(y*)，而无需单独的坐标轴转换。通过使用等式(1)的转换获得的单个时空积分热图像可以是代表其中已经执行了测量的所有区域(即整个测量目标区域)的图像。随时间的热能传播特性可以通过单个时空积分热图像来识别。

与热图像同时捕获的视觉图像可以通过使用与热图像相同的方案执行时空积分坐标转换而重建为时空积分视觉图像。在这种情况下，热波传播时间可以采用在热图像的转换中使用的值。

接下来，图4的流程图示出了生成视觉图像和热图像的叠加图像的具体过程，该过程是通过根据示例性实施例的时空积分坐标转换的预处理获得的(S50)。图5示意性地示出了根据示例性实施例的获得生成视觉图像和热图像的叠加图像所需的变量的过程。获得视觉图像和热图像的叠加图像的原因是，视觉相机10和热图像相机20之间的相机位置或拍摄角度存在差异，需要进行校正。将参考图4至图5更详细地描述生成叠加图像的过程。

生成叠加图像的步骤S50可以包括通过使用视觉相机10和热成像相机20，获取在其上显示参考点的目标表面的视觉图像和热图像(S51)。控制单元70可以分别通过使用视觉相机10和热成像相机20来接收通过拍摄在其上显示参考点的目标表面而提供的视觉图像和热图像。

在获取作为实际检查目标的结构60的涂层的图像并测量结构表面62之前，需要获得转换矩阵。为此，首先，可以获取在其上显示参考点的目标表面的视觉图像69和热图像68。例如，可以将标记有网格图案的棋盘65附接到结构表面62，并且可以用视觉相机10和热成像相机20对包括棋盘65的区域进行拍照。此外，可以分别在热图像68和视觉图像69中检测到参考点67-1和67-2(S502)。参考点可以是棋盘格图像65的顶点，即，网格图案的相交点。为了检测参考点67-1和67-2，可以使用特征提取方法，或者可以使用由特定软件提供的检查点检测功能。

生成叠加图像的步骤S50可包括基于热图像68中包括的参考点67-1获得视觉图像69中包括的参考点67-2的转换矩阵(S52)。为了获得转换矩阵，可以执行以下处理。

首先，可以通过使用检测到的参考点67-1和67-2来校正热图像68和视觉图像69的失真(S504)。可以采用的失真校正方案的一个示例包括MATLAB程序，但是本公开不限于此，并且可以使用各种其他校正技术。另外，可以通过使用热图像68和视觉图像69中的检测到的参考点67-1之间或检测到的参考点67-2之间的距离来获得像素比(S506)。在这种情况下，像素比表示视觉图像69中具有相对较高图像质量的多少像素对应于热图像68中的一个像素。

可以执行剪切视觉图像69以允许视觉图像69具有与具有相对较小的关注区域(FOV)的热图像68相同的关注区域(ROI)的过程。为此，可以计算视觉图像69内的ROI边界(S508)。可以通过使用先前获得的像素比获得从位于热图像68内的外周上的每个参考点67-1到热图像68的边界(边缘)63的像素的数量，以及从视觉图像69的参考点到边界64的像素的数量。通过使用所获得的从参考点到边界的像素数目，可以获得在视觉图像69中与热图像68的ROI相对应的边界(边缘)。仅可以剪切由边界(边缘)限定的视觉图像69的ROI。为了使热图像与视觉图像叠加，要求两个图像具有相同数量的像素。为了覆盖具有相对低分辨率的热图像，可以通过使用先前获得的像素比来减小视觉图像(S510)。

可以分别在热图像68-1和减小的视觉图像69-1的ROI中重新检测第一参考点和第二参考点(图像内的棋盘点)(S512)。

尽管通过先前的边界检测，图像具有相同的ROI，但是由于相对位置，可能需要在图像内进行旋转、移动等。可以根据热成像相机20与视觉相机10之间的相对位置(垂直、水平、旋转等)来执行测量图像校正。为此，可以通过使用重新检测的参考点来获得转换矩阵。更详细地，可以将包括在热图像68-1中的参考点67-1设置为固定点，并且可以将包括在视觉图像69-1中的对应参考点67-2设置为运动点，从而可以基于固定点67-1获得用于匹配运动点67-2的转换矩阵(S514)。可以通过使用获得的转换矩阵来校正(转换)视觉图像。为了获得转换矩阵，可以使用MATLAB的“tform”功能。

可以通过将结构表面62的转换后的视觉图像69-2与针对相同结构表面62获得的热图像68-2进行叠加来获得叠加图像66(S516)。

当如上所述获得转换矩阵时，可以通过使用转换矩阵来转换要检查的结构表面62的视觉图像。为此，生成叠加图像的步骤S50可以包括通过使用转换矩阵来转换结构表面62的视觉图像(S53)。此外，生成叠加图像的步骤S50可包括通过使用如上所述预先获得的转换矩阵，将结构表面62的转换后的视觉图像与结构表面62的热图像叠加(S54)。

具有三维RGB值的校正视觉图像可以与具有一维测量数据的热图像叠加。尽管实际的叠加图像包括四个维度(640x480x4)，但是可以以三个维度表示叠加图像以进行视觉表达。在这种情况下，表示的三维图像可以是通过将视觉图像的RGB值中的至少一个替换为热图像的一维数据而获得的图像。根据图5中描述的方法，可以通过使用棋盘图像获得的变量，通过预处理实际测量的热图像和实际测量的视觉图像，并将预处理后的图像彼此叠加，来获得叠加图像。在这种情况下，变量可以包括像素比、参考点的位置、从每个参考点到边界的像素数、转换矩阵等。

仅凭视觉图像，可能无法识别涂层内部的状态。然而，当使用视觉图像和热图像的叠加图像时，甚至可以识别涂层内部的状态，从而可以弥补这种缺点。这是因为如上所述，通过影响结构60中的热能传递的传递，可以在热图像中反映涂层内部的状态，例如涂层的厚度。

在通过上述方法获得了作为实际检查目标的结构表面62的预定区域的热图像和视觉图像的叠加图像之后，可以使用叠加图像和涂层劣化检查算法模型检查结构60的涂层的劣化状态。图6是具体示出根据一个实施例的通过使用涂层劣化检查算法模型来检查结构的涂层的劣化状态的步骤S60的流程图。

可以通过基于人工神经网络(ANN)的机器学习来构建涂层劣化检查算法模型，以便检测和分类涂层的劣化。换句话说，涂层劣化检查算法模型可以通过预先通过机器学习来学习包括涂层的劣化的各种图像或正常状态下的图像来提高涂层中包括的劣化的检测和分类的准确性。在一个实施例中，涂层劣化检查算法模型可以包括：用于检测涂层的劣化的涂层劣化检测模型；以及用于通过特性将检测到的劣化分类为腐蚀、分层、开裂、粉化等的涂层劣化分类模型。当检测到涂层的劣化时，可以使用更快的基于区域的卷积神经网络(R-CNN)算法，以缩短操作时间。另外，当对劣化进行分类时，可以使用基于YOLO v2的检测算法和基于使用VGG16网络的卷积神经网络(CNN)的分类算法以提高操作速度。可以通过使用作为商业程序的MATLAB来构建机器学习训练模型。然而，根据本公开的涂层劣化检查算法模型不限于此。

参照图6，首先，检查涂层的劣化状态的步骤S60可以包括通过将叠加图像输入到涂层劣化检测模型来检测涂覆到结构60的涂层的劣化(S110)。涂层劣化检测模型可以是基于人工智能的涂层劣化检测模型，其通过基于人工神经网络预先对多个学习叠加图像进行机器学习而构建。涂层劣化检测模型可以被实现为控制单元70的一部分。控制单元70中包括的涂层劣化检测模型可以通过从输入的叠加图像检测涂覆到结构60的涂层劣化的区域来指定。在这种情况下，劣化可以定义为由于涂层的耐久性降低而发生的现象。当涂层的化学和物理性质根据结构60的内部和外部影响而改变时，涂层的劣化可能发生。

另外，检查涂层的劣化状态的步骤S60可以包括通过将根据检测到的涂层劣化的位置确定的涂层劣化区域的图像输入到涂层劣化分类模型中，通过特性对涂层的劣化进行分类(S112)。涂层劣化分类模型可以被实现为控制单元70的一部分。通过特性对涂层的劣化进行分类的目的是对涂层的耐久性下降程度进行分类，同时根据下文将要描述的涂层状态评估对涂层状态进行量化和评估。根据涂层劣化的特性，可以将涂层劣化分类为腐蚀、分层、粉化和开裂。图7示出了根据涂层劣化特性分类的涂层的腐蚀图像、分层图像、粉化图像和检查图像。

由于叠加图像用于检查涂层的劣化，因此也可以有效地检测和分类难以从视觉图像检测到的诸如粉化和开裂之类的劣化现象。

在通过分别使用视觉图像和热图像来检测涂层的劣化的方案中，必须针对每个图像执行单独的涂层劣化检测。存在计算时间延长的缺点。另外，当不使用叠加图像时，仅可以执行劣化的检测，并且难以根据特性将检测到的劣化准确地分类。相反，根据本公开的实施例，可以通过使用通过将热图像与视觉图像叠加到一个图像中而获得的叠加图像来检测涂层的劣化。由于通过使用叠加图像来检测涂层的劣化的方案仅需要针对叠加图像检测一次劣化，因此具有减少相对大量的计算时间的优点。此外，使用叠加图像在根据特性将检测到的涂层劣化准确地分类方面更加有利。

检查涂层的劣化状态的步骤S60可以包括通过处理检测到的涂层劣化区域的图像来量化劣化区域的尺寸(S114)。

除了涂层劣化的分类之外，可以通过处理在步骤S110中检测到的劣化涂层区域的图像来量化劣化区域的尺寸(S114)。为此，控制单元70的劣化检查算法模型可以包括图像处理功能，该图像处理功能用于从检测到的框状劣化区域中仅提取劣化区域并量化所提取的劣化区域。

图8示出根据本公开的一个实施例的量化检测到的劣化区域的图像处理过程。

参照图8，量化涂层劣化区域的尺寸的步骤S114可以包括：通过使用锐化掩模执行强化包括图像颜色的叠加图像80的特征的处理(S120)；以及将强化了特征的叠加图像80转换为灰度图像(S122)。执行转换为灰度图像的目的是减少视觉图像的RGB值的权重。另外，量化涂层劣化区域的尺寸的步骤S114可以包括：通过将具有预定尺寸(例如3×3尺寸)的中值滤波器应用于转换成灰度的图像来对转换成灰度的图像进行滤波(S124)；以及通过对滤波后的图像进行二值化，生成每个像素的值为0或1的黑白图像82(S126)。在黑白图像82中，根据像素是否对应于劣化区域，每个像素可以具有0或1的值。例如，0可以表示正常区域，而1可以表示劣化区域。根据变量的特定设置，1可以表示正常区域，0可以表示劣化区域。可以通过对与劣化区域相对应的像素数进行计数并将所计数的像素数乘以先前获得的像素分辨率来量化劣化区域。

图9示出了根据示例性实施例的通过图像处理提取劣化区域。参照图9，示出了在单个叠加图像中检测到六个劣化区域区域1至区域6的情况。通过分别对劣化区域区域1至区域6的原始叠加图像Original进行图像处理而二值化的劣化区域(区域1至区域6：结果)可以通过上述处理步骤(S120、S122、S124和S126)被提取。可以计算如上所述提取的每个二值化劣化区域的劣化面积。

检查涂层的劣化状态的步骤S60可以包括生成涂层劣化检查结果(S116)。涂层劣化检查结果可以包括通过如上所述获得的特性和量化结果对涂层劣化进行分类的结果。控制单元70可以存储与计算出的涂层劣化检查结果有关的数据。

同时，再次参照图2，检查结构60的涂层状态的方法可以包括检查涂覆到结构表面62上的涂层的厚度的步骤S70。在一个实施例中，控制单元70可以通过分析从预处理的热图像测量的热能来测量结构60的涂层的厚度(S70)。涂层厚度检查算法可用于测量涂层的厚度。

为了测量涂层的厚度，首先，可以在加热结构60的同时捕获加热区域的热图像。详细地，为了加热结构60，可以将激励器30的热源辐射到结构60的期望区域。因此，可以将热能施加到结构60。热能可以在构成结构表面62的涂层的厚度方向传播。热能可以在热能传播通过的介质的物理性质发生变化的点处(即在结构60和涂层之间的界面处)被反射，从而在朝向涂层表面62的方向上往回传播。热能可以由于在结构60和涂层之间的热导率的差异被反射。当涂层的热导率k1与结构60的热导率k2相比非常小时(即，k1<

热成像相机20可以向控制单元70提供通过拍摄由热能加热的结构60的区域而获得的热图像。控制单元70可以通过使用涂层厚度检查算法来测量涂层的厚度。详细地，控制单元70可以通过分析热图像来测量加热之后反射的热能。涂层的厚度可以通过将测得的热能应用于下述方程式(2)表示的傅里叶导热方程来计算。

L＝Q/kAΔTt

在这种情况下，Q表示加热后反射的热能，ΔT表示由施加激励器30的热源引起的涂层的温度增量，k表示涂层的热导率，L表示涂层的厚度，t*表示热波传播时间。在这种情况下，需要根据傅立叶导热方程将t*选择为适当的值。

如上所述测量的涂层的厚度可以包括与厚度的测量无关的各种噪声分量。噪声可能由与厚度的测量无关的外部环境热源产生，例如，太阳热或环境加热元件，以及各种室外空气条件(环境空气的温度和/或湿度条件等)。在通过激励器30的热源施加热能之前，这种噪声也可以包括在热图像中。由这种外部噪声热源引起的热反应必须从集成热图像中去除。

根据示例性实施例，可以从当热源的热能即线性激光束32施加到结构60时捕获的时空积分热图像中减去当线性激光束32被施加到测量结构60之前捕获的时空积分热图像。换句话说，可以通过紧接在施加热源到结构60之前捕获热图像并进行时空积分坐标转换来生成第一时空积分热图像。然后，可以通过在将热源施加到结构60上时捕获热图像并执行时空积分坐标转换来生成第二时空积分热图像。由噪声热源引起的热图像通常可以存在于第一和第二时空积分热图像中。因此，通过从第二时空积分热图像中减去第一时空积分热图像而获得的第三时空积分热图像可以是要获得的热图像，其中已移除外部热源的噪声。

控制单元70可以通过使用去除了噪声分量的热图像来计算涂层的精确厚度。另外，所计算的结构60的涂层的厚度可以被可视化或量化，并且其结果可以在下文将要描述的评估涂层状态时用作输入数据。

同时，根据示例性实施例的检查和评估结构的涂层状态的方法还可以包括对通过使用在步骤S60中获得的涂层劣化检查结果和在步骤S70中获得的涂层厚度检查结果来综合评估涂层状态，从而计算涂层的等级(S80)。图10示意性地示出了评估结构60的涂层状态的方法。

参照图10，涂层状态评估系统1的控制单元70可以基于预定的涂层评估标准，通过评估如上所述的涂层厚度测量结果和涂层劣化状态检查结果，对涂层状态进行综合评估，例如自动计算结构60的涂层等级。涂层评估标准可以是针对每个要检查的结构的涂层评估标准，例如“实施设施的安全和维护的详细指南”。作为一个示例，涂层评估标准可以包括正常状态下的结构表面62的图像、结构60的构件信息、规格以及降雪量(snowfalls)中的至少之一。可以通过基于这样的评估标准来评估涂层的厚度或劣化状态的程度来计算反映结构60的特异性的涂层等级。

详细地，可以通过使用在涂层劣化检查中获得的每种类型的劣化的劣化区域来计算每种类型的劣化的等级和分数。在这种情况下，可以通过与检查标准中给出的标准照片(作为计算劣化的等级(严重度)的基础的照片)进行比较，并使用劣化面积与整个检查面积的比率来计算等级和分数。此后，可以通过对每种类型的劣化施加在检查标准中给出的权重来计算涂层劣化的等级和分数。另外，可以通过将每个结构的容许涂层厚度与测量的涂层厚度值进行比较来计算不满意率，从而计算涂层厚度的等级和分数。

除了从涂层状态评估系统1获得的检查结果之外，还可以计算包括结构的构件信息、规格和降雪量(snowfalls)中的至少一个的外部因素的等级和分数。

例如，可以通过使用涂层劣化的等级和分数、涂层厚度的等级和分数、外部因素的等级和分数来计算该结构的等级和分数。可以通过基于这样的评估标准评估涂层的厚度或劣化状态的程度来计算反映结构的特异性的涂层等级。

在这种情况下，涂层等级可以是定量或定性指标。可以通过在控制单元70中预设的评估算法模型来计算涂层等级。通过这样的处理，可以在不涉及创建者的主观性的情况下根据预定标准来进行评估。因此，可以计算客观的涂层等级。

图11示出了根据本公开的一个实施例的通过使用涂层状态评估系统自动创建结构的涂层状态评估报告的过程。

参照图11，控制单元70可以通过使用与结构有关的附加信息和在先前步骤S70中计算出的涂层等级作为输入变量来自动创建结构状态评估报告(S90)。

在这种情况下，与结构有关的附加信息可以包括结构类型、根据构件的重量和位置信息中的至少一种，但是附加信息不限于上述项。换句话说，根据创建的方向或标准可以包括很多附加信息。

在示例性实施例中，除了计算出的涂层等级之外，可以通过使用与结构60有关的附加信息来评估结构60的耐久性能(耐久性的分数和等级)。此外，可以对结构60进行安全性能评估和使用性能评估。可以通过将结构60的耐久性性能评估结果与安全性能评估结果和使用性能评估结果相结合来计算综合评估分数和综合评估等级。

通过使用以上评估结果，可以基于在诸如说明书的等级计算标准中指定的报告创建方案，自动创建针对结构60和涂层的综合状态评估报告。在这种情况下，设施的概况和历史、常规的维修/加固历史等可以存储在数据库(DB)中以便自动输入。自动创建的状态评估报告可以包括有关输入数据的信息(设施概述、维修/加固历史、缺陷分析、评估等级等)。

可以在上述通过综合考虑其他信息和涂层等级自动创建的报告中描述结构的结构类型、涂层等级、劣化等级和最终安全等级。

如上所述的检查涂层的劣化状态并测量涂层的厚度的过程(S30至S70)可以被实现为计算机程序。另外，计算涂层的等级的步骤S80和自动创建结构状态评估报告的步骤S90也可以被实现为计算机程序。该计算机程序可以以可执行文件的形式实现，并且存储在计算机可读记录介质中。控制单元70可以执行存储在记录介质中的计算机程序文件，以准确地评估结构的状态以及涂覆到其上的涂层的状态，并自动创建相关的报告。

如上所述，由于结构状态评估报告是由涂层状态评估系统1自动创建的，因此可以提高报告的客观性，并且可以改善由传统手写引起的工作效率问题。

尽管以上已经描述了本公开的一个实施例，但是本公开的思想不限于本文中呈现的实施例。另外，理解了本公开的思想的本领域技术人员可以通过在相同思想的范围内对组件进行补充、改变、删除、添加等来容易地提出其他实施例，并且这些实施例也应当解释为落入本公开的思想的范围内。