一种多模态特征提取方法、系统、终端设备及存储介质

技术领域

本发明涉及图像特征和数据重构技术领域，特别是涉及一种针对变电站设备红外图像的多模态特征提取方法、系统、终端设备及存储介质。

背景技术

无论是变电站巡检机器人还是手持红外热成像检测仪，目标设备区域仍以图像的高维表现形式存在，由于像素中数据密度低、存在着大量冗余信息，使得不同类型设备间的差异分布在更广的区域空间，给目标设备类型的判别带来困难。利用特征提取技术可以将设备像素集以一种更适合处理的方式表达，通过少量的向量序列压缩图片像素集，构建出更低维的特征空间，简化重复计算、提高设备识别率。

变电站主网关键设备区域特征提取的关键在于利用低维特征捕捉不同类型缺陷间的差异，提高分类精度，保证算法的实时性。常见特征包括颜色特征、纹理特征和形状特征等。颜色特征是人类视觉分辨物体的基本特征，具有旋转、平移和放缩不变性。纹理特征体现了像素间的相互关联和组织的结构信息，兼具局部性和全局性，有较强的抗噪能力。然而，颜色特征和纹理特征均对光照强度和拍摄条件比较敏感，图像背景的变化和缺陷目标区域的表面差异均会给特征提取带来困难。由于设备红外图像采集过程各表面图像采集的光照条件存在明显不同，不同表面上目标区域的颜色和纹理特征有肉眼可辨的差异，因此基于颜色或纹理的提取方式难以满足缺陷区域特征提取的要求，即通过少量数据表示大范围目标物体。目标区域的形状可视为由其轮廓线包围的封闭区域，利用形状描述符和轮廓细节差异可以通过很小的代价有效区分不同目标区域间的差异，适合变电站设备识别中红外图像形状畸变可控的应用场景。

已知红外图像中设备所在的目标区域是被封闭轮廓线包围的一个像素集合，采用傅里叶描述子可以从封闭轮廓线出发，对目标物体边界信息进行时域到频域的转化。利用傅里叶变换提取频域信息，通过向量重构可实现设备形状的重构。傅里叶描述子基于少量的向量就可以捕获轮廓线的大体特征，且对旋转、位移和起始点的选择等均不存在依赖关系，是一个鲁棒性较好的图像形状特征，常用于图像处理时效性要求较高的场景中。然而，傅里叶描述子作为一种全局形状特征描述子，着重于目标图像的整体刻画，导致大量细节信息的缺失。由于缺少图像局部信息的捕捉，使得在整体轮廓相似情况特征提取的有效性降低。

发明内容

本发明要解决的技术问题是如何克服傅里叶描述子着重于图像的整体刻画而导致大量细节信息缺失，使得在整体轮廓相似情况下图像特征提取的有效性降低的缺陷。为了解决上述技术问题，本发明提供了一种多模态特征提取方法、系统、终端设备及存储介质。

第一方面，本发明实施例提供了一种多模态特征提取方法，包括：

获取变电站目标设备的红外图像数据集；所述红外图像数据集包括变电站内部主网及配网目标设备的红外图像；

对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征；

获取所述数字边界上所有边界点的曲率；

根据所述曲率提取所述数字边界的局部特征；

将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子；

根据所述多模态形状描述子对所述红外图像进行特征提取，得到所述红外图像的多模态特征。

优选地，所述获取变电站目标设备的红外图像数据集，包括：

利用巡检机器人和手持式红外检测仪采集变电站内部主网及配网目标设备的红外图像，构成变电站目标设备的红外图像数据集。

优选地，所述对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征，包括：

基于傅里叶描述子对所述红外图像的边界进行形状重构，得到重构的数字边界；

基于主成分分析确定所述傅里叶描述子使用的傅里叶系数的数量，并将所述傅里叶系数对应的特征向量表征为所述数字边界的全局特征。

优选地，所述获取所述数字边界上所有边界点的曲率，包括：

基于高斯滤波器对所述数字边界进行平滑处理；

在所述数字边界上沿顺时针方向每间隔预设距离取一点作为边界点，计算得到每个边界点的曲率。

优选地，所述根据所述曲率提取所述数字边界的局部特征，包括：

根据所述曲率构建曲率直方图；

将所述曲率直方图每个范围分段的左边界值、右边界值和包含的边界点个数组成一个三维行向量；

将所有三维行向量进行组合，得到所述曲率直方图的特征向量组，并将所述特征向量组表征为所述数字边界的局部特征。

优选地，所述将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子，包括：

基于典型相关分析将所述全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将所述多对典型相关向量表征为所述数字边界的多模态形状描述子。

第二方面，本发明实施例还提供了一种多模态特征提取系统，包括：

数据获取模块，用于获取变电站目标设备的红外图像数据集；所述红外图像数据集包括变电站内部主网及配网目标设备的红外图像；

全局特征提取模块，用于对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征；

曲率获取模块，用于获取所述数字边界上所有边界点的曲率；

局部特征提取模块，用于根据所述曲率提取所述数字边界的局部特征；

特征融合模块，用于将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子；

特征提取模块，用于根据所述多模态形状描述子对所述红外图像进行特征提取，得到所述红外图像的多模态特征。

优选地，所述特征融合模块，包括：

多模态形状描述子构建单元，用于基于典型相关分析将所述全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将所述多对典型相关向量表征为所述数字边界的多模态形状描述子。

第三方面，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的多模态特征提取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的多模态特征提取方法。

本发明实施例一种多模态特征提取方法、系统、终端设备及存储介质与现有技术相比，其有益效果在于：输入采集的变电站内部主网及配网目标设备的红外图像后，即可通过嵌入多模态形状描述子的相关算法输出红外图像的形状重构图，为后续红外图像的进一步应用提供了良好的应用基础；结合傅里叶描述子、主成分分析和高斯滤波器，保证了红外图像对于平移、旋转和尺度空间变换等图像变换具有良好的鲁棒性，并基于曲率直方图表征红外图像局部轮廓信息，减少了冗余计算，有利于增强全局特征和局部特征的融合效果。

附图说明

图1是本发明实施例一种多模态特征提取方法的流程示意图；

图2是本发明实施例基于傅里叶描述子的红外图像边界数字化示意图；

图3是本发明实施例红外图像数字边界上边界点拟合圆弧示意图；

图4是本发明实施例基于曲率直方图表征局部特征的示意图；

图5是本发明实施例红外图像边界在不同维数傅里叶描述子情况下的效果示意图；

图6是本发明实施例一种多模态特征提取系统的结构示意图；

图7是本发明实施例多模态形状描述子构建单元的结构示意图；

图8是本发明实施例一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明实施例提供了一种多模态特征提取方法，包括步骤：

S1、获取变电站目标设备的红外图像数据集；

具体地，利用巡检机器人和手持式红外检测仪采集变电站内部主网及配网目标设备的红外图像，构成变电站目标设备的红外图像数据集。本实施例根据变电站内部主网及配网目标设备的分布情况，合理设置巡检机器人在变电站内部的巡检路线、各时段的采样点及采样频率。根据巡检机器人采集到的红外图像形成变电站目标设备的初始红外图像数据集。进一步地，由于巡检机器人存在着采样不合理、误采样和漏采样等采集失效情况，本实施例还利用手持式红外检测仪进行点位红外图像的补充采集，以对初始红外图像数据集进行扩展，得到最终的红外图像数据集。通过利用巡检机器人并结合手持式红外检测仪进行图像采集，能够保证采集数据的全面性，从而为后续特征提取奠定良好的数据基础。

S2、对红外图像的边界进行形状重构，得到重构的数字边界，并提取数字边界的全局特征；

具体地，基于傅里叶描述子对红外图像的边界进行形状重构，得到重构的数字边界；基于主成分分析确定傅里叶描述子使用的傅里叶系数的数量，并将傅里叶系数对应的特征向量表征为数字边界的全局特征。

如图2所示，本实施例在红外图像的二维空间中，选取目标区域的K个轮廓点作为红外图像的数字边界。以任意点(x

s(k)＝x(k)+jy(k)

上述复数表示方法的一大优点就是将二维问题转化为一维问题。进一步地，对s(k)进行离散傅里叶变换，得到如下式表示：

其中，a(u)表示复系数，也就是数字边界的傅里叶描述子。通过对傅里叶描述子进行傅里叶反变换，可以恢复数字边界的原貌，具体如下式表示：

进一步地，若仅使用前P项傅里叶系数进行数字边界原貌的恢复，则得到s(k)的如下近似：

其中，

值得说明的是，起始点的位置变化会以不同但已知的方式对描述子产生影响，可通过调整起始点的位置消除描述子的差异。本实施例在s(k)中加入初始化系数k

S

为了进一步提取数字边界的全局特征，需要确定P值的大小。本实施例将项数P的选取问题转化为正交基的最优值优化问题，具体过程如下：

假设抽象出一个样本空间，数字边界s(k)中的每一项傅里叶系数都是样本空间中的样本点，建立正交坐标系{w

z

其中，

其中，α为常数，W＝(w

min-tr(W

进一步地，使用主成分分析法解决上述正交基的最优值优化问题。针对上式中的XX

设形状特征中的傅里叶系数为I

A＝[I

因此，数字边界s(k)对应的协方差矩阵可以转换为如下式表示：

根据奇异值分解定理计算该协方差矩阵的特征向量μ

其中，λ

将不低于预设阈值的贡献率所对应的m值作为P值，并将前m个特征向量表征为数字边界s(k)的全局特征。本实施例优选设定的预设阈值为0.85，该预设阈值可以根据全局特征的提取要求进行适应性调整，如果要求较高，可以设定较高的预设阈值，反之，亦可以相应调低预设阈值。

S3、获取数字边界上所有边界点的曲率；

具体地，基于高斯滤波器对数字边界进行平滑处理，在数字边界上沿顺时针方向每间隔预设距离取一点作为边界点，计算得到每个边界点的曲率。本实施例基于高斯滤波器对数字边界进行平滑处理，具体过程如下：

利用正态分布函数选取权值，设弧长参数为u，数字边界曲线如下式表示：

r(u)＝(x(u)，y(u))

对应的高斯函数如下式表示：

通过数字边界与其对应的高斯函数的卷积运算实现数字边界的平滑，卷积运算如下式表示：

根据当前像素点与中心点的距离，高斯函数为每个轮廓点分配不同的权值，通过轮廓点的加权平均来消除噪点，实现数字边界的平滑过渡。经过高斯滤波器平滑后的数字边界曲线如下式表示：

s(u，δ)＝(X(u，δ)，Y(u，δ))

如图3所示，本实施例在数字边界上选取任意一点n

根据曲率计算公式得到边界点n

在数字边界上沿顺时针方向每间隔距离d处取一点作为边界点，计算得到每个边界点的曲率。

S4、根据曲率提取数字边界的局部特征；

具体地，根据曲率构建曲率直方图，将曲率直方图每个范围分段的左边界值、右边界值和包含的边界点个数组成一个三维行向量；将所有三维行向量进行组合，得到曲率直方图的特征向量组，并将特征向量组表征为数字边界的局部特征。

对于全局特征相似的红外图像，需要利用局部特征加以区分。数字边界上边界点的曲率变化和分布情况都是形状特征的重要体现，蕴含着丰富的局部特征信息。

如图4所示，本实施例在数字边界s(k)上所有边界点的曲率中，选取曲率最大值K

本实施例优选设定的H值为36。当然，H可以根据曲率的计算情况进行设定，如果曲率最大值和曲率最小值差距较大，可以设定较大的H值，反之，亦可以相应调小H值。基于范围间隔Ra将曲率直方图分成一系列间隔，得到曲率直方图的范围如下表示：

[K

曲率直方图每个范围分段都存在左边界值Bo

S5、将全局特征与局部特征进行融合，得到数字边界的多模态形状描述子；

具体地，基于典型相关分析将全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将多对典型相关向量表征为数字边界的多模态形状描述子。

本实施例设傅里叶描述子对应的全局变量为Ve

Ve

Ve

U

V

采用拉格朗日乘数法求解a和b，使得当前的U

保证相关系数ρ在U

S6、根据多模态形状描述子对红外图像进行特征提取，得到红外图像的多模态特征。

如图5所示，本实施例给出了变电站目标设备红外图像的边界在不同维数傅里叶描述子情况下的效果，解决了不同拍摄角度下缺陷图像存在特征差异的问题。相比于现有基于颜色的特征描述子处理方式，本实施例结合傅里叶描述子具有更好的表现。

本发明实施例一种多模态特征提取方法，通过输入采集的变电站内部主网及配网目标设备的红外图像后，即可通过嵌入多模态形状描述子的相关算法输出红外图像的形状重构图，为后续红外图像的进一步应用提供了良好的应用基础；结合傅里叶描述子、主成分分析和高斯滤波器，保证了红外图像对于平移、旋转和尺度空间变换等图像变换具有良好的鲁棒性，并基于曲率直方图表征红外图像局部轮廓信息，减少了冗余计算，有利于增强全局特征和局部特征的融合效果。

如图6所示，基于上述多模态特征提取方法，本发明实施例还提供了一种多模态提取系统，包括：

数据获取模块1，用于获取变电站目标设备的红外图像数据集；红外图像数据集包括变电站内部主网及配网目标设备的红外图像；

全局特征提取模块2，用于对红外图像的边界进行形状重构，得到重构的数字边界，并提取数字边界的全局特征；

曲率获取模块3，用于获取数字边界上所有边界点的曲率；

局部特征提取模块4，用于根据曲率提取数字边界的局部特征；

特征融合模块5，用于将全局特征与局部特征进行融合，得到数字边界的多模态形状描述子；

特征提取模块6，用于根据多模态形状描述子对红外图像进行特征提取，得到红外图像的多模态特征。

在一具体实施例中，如图7所示，特征融合模块5，包括：

多模态形状描述子构建单元51，用于基于典型相关分析将全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将多对典型相关向量表征为数字边界的多模态形状描述子。

需要说明的是，上述一种多模态特征提取系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。关于一种多模态特征提取系统的具体限定参见上文中对于一种多模态特征提取方法的限定，二者具有相同的功能和作用，在此不再赘述。

本发明实施例还提供了一种终端设备，该终端设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请上述一种多模态特征提取方法对应的操作。

在一个可选实施例中提供了一种终端设备，如图8所示，图8所示的终端设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，终端设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该终端设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，终端设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请上述一种多模态特征提取方法。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

此外，本发明的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

综上所述，本发明实施例一种多模态特征提取方法、系统、终端设备及存储介质，通过输入采集的变电站内部主网及配网目标设备的红外图像后，即可通过嵌入多模态形状描述子的相关算法输出红外图像的形状重构图，为后续红外图像的进一步应用提供了良好的应用基础；结合傅里叶描述子、主成分分析和高斯滤波器，保证了红外图像对于平移、旋转和尺度空间变换等图像变换具有良好的鲁棒性，并基于曲率直方图表征红外图像局部轮廓信息，减少了冗余计算，有利于增强全局特征和局部特征的融合效果。

本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。