一种风电机组检修工作质量审查辅助方法与系统

技术领域

本发明涉及风力发电运维的技术领域，尤其是指一种风电机组检修工作质量审查辅助方法与系统。

背景技术

风场的运维成本是风场最大的成本组成之一，通常会占高达25％的生命周期总成本，风电场运营商面临着很大的压力，需要提高运维工作的效率和质量，从而降低运维成本。风电机组运行环境较为恶劣，定检可以让设备保持最佳的状态，并延长风电机组的使用寿命。目前，在运维工作过程中，现场运维人员会对检修关键点进行拍照，一方面用于对机组风险项进行把控，另一方面用于对现场计划维护周期进行指导。监督审查部门会每周对相关工单进行抽查，监督现场运维工作质量。

在运维工作过程中，随着图片采集量的加大，对于关键点维护的质量，通过人工判断，存在一定的误判率。对于图片是否重复使用，通过人工判断，无法在短时间内对比大量图片。人工判断存在着耗时长、准确率低等缺点。若想全面分析现场工作情况，需要耗费大量人力及时间成本，目前只能采用抽检的方式。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供了一种风电机组检修工作质量审查辅助方法，通过使用计算机视觉技术，实现对日常维护过程中采集的图片进行自动分类，对图片所对应的工单进行自动漏检分析，对重复使用图片情况进行自动识别。自动分析本身的高效性，可以使监管工作覆盖全部机组。对分析结果统计量自动形成报表，便于直观分析，有效解放人力，提高运维效率；对工单漏检(漏传)关键点图片、图片重复使用的现场形成有效监管，达到现场机组隐患得到及时排查的目的。

本发明的第二目的在于提供一种风电机组检修工作质量审查辅助系统。

本发明的第一目的通过下述技术方案实现：一种风电机组检修工作质量审查辅助方法，该方法是经过图片数据信息、工单数据的获取同步，以一个工单内所有的图片为一个分析单位，将每一张图片输入已经训练好的图像识别分类模型中，模型给出分类类别与置信概率，同时将每一张图片进行md5信息映射，将图片名称与映射信息保存到数据库，以便进行重复比对，最后根据定检规范要求，对检修工单质量进行合格与否的判定，并可视化结果。

进一步，对检修工单质量进行合格与否的判定，具体如下：

使用置信概率最高的分类类别与检修规范需求拍摄关键点要求进行比对，如果工单中包含所有的关键点要求图片，检修工单判定漏检或漏传方面合格；如果比对结果判定工单缺少某一关键点图片，但是该工单中置信概率第二的分类类别存在该关键点且概率大于或等于设定值，并且对应图片的置信概率最高的分类类别在该工单中已经有多余图片，则最终判定该工单不缺该关键点图片，否则，认为检修工单存在关键点图片缺失从而判定为漏检或漏传方面不合格；

在图片重复使用的识别上采用md5加密算法对图片数据进行映射，即进行md5信息映射，为避免水印对识别的影响，对图片进行9宫格裁剪，取中间一格图片进行数据映射，并将映射结果保存到数据库，通过比对md5信息映射是否相同判定图片是否是重复使用；

如果判定图片漏检或漏传及重复使用方面均合格，则该工单检修质量合格；图片漏检或漏传及重复使用方面只要有一项不合格，则该工单检修质量不合格。

所述的风电机组检修工作质量审查辅助方法，包括以下步骤：

1)图片数据信息获取

执行定时任务将新增的图片文件、压缩包以工单为单位存储在指定服务器文件夹中，同时将图片的附件信息存储到关系型数据库中，图片的附件信息包括的字段有文件名称、文件路径、区域中心、项目编号、机位号和工单编号；

2)工单数据获取

将工单状态为已完成的检修工单的信息全量更新到关系型数据库中，工单信息包括的字段有工单编号、计划编号、项目编号、机位号、风机型号和检修类型；

3)数据预处理

判定输入数据的格式，对压缩包进行解压，获取到其中的图片数据；对于非图片格式文件，不进行分析；对于png格式文件，将其转化为jpg格式；对于所有图片，将图片大小统一转化为特定规格；

4)图片分类与信息映射

以一个工单内所有的图片为一个分析单位，将每一张图片输入已经训练好的图像识别分类模型中，模型给出分类类别与置信概率；同时将每一张图片进行md5信息映射，将图片名称与映射信息保存到数据库；

5)工单质量判定

使用置信概率最高的分类类别与检修规范需求拍摄关键点要求进行比对，如果工单中包含所有的关键点要求图片，检修工单判定漏检或漏传方面合格；如果比对结果判定工单缺少某一关键点图片，但是该工单中置信概率第二的分类类别存在该关键点且概率大于或等于设定值，并且对应图片的置信概率最高的分类类别在该工单中已经有多余图片，则最终判定该工单不缺该关键点图片，否则，认为检修工单存在关键点图片缺失从而判定为漏检或漏传方面不合格；

在图片重复使用的识别上采用md5加密算法对图片数据进行映射，即进行md5信息映射，为避免水印对识别的影响，对图片进行9宫格裁剪，取中间一格图片进行数据映射，并将映射结果保存到数据库，通过比对md5信息映射是否相同判定图片是否是重复使用；

如果判定图片漏检或漏传及重复使用方面均合格，则该工单检修质量合格；图片漏检或漏传及重复使用方面只要有一项不合格，则该工单检修质量不合格；

6)结果可视化

通过界面对分析判定结果提供查询、筛选功能，审查人员能够通过工单编号、项目名称、项目主管、机位号、定检类型、是否重复、是否缺失关键点图片、是否合格、查询时间段区间、区域中心、机型、风机状态信息，对工单进行检索；检索出的工单能够可视化统计结果，统计维度包括区域中心和定检类型；数据能够导出到本地。

本发明的第二目的通过下述技术方案实现：一种风电机组检修工作质量审查辅助系统，该系统在识别检修关键点上使用深度学习图像识别技术，在图片重复使用的识别上采用加密函数映射，其分为后台数据处理分析模块及前端界面展示和操作模块，其中：

所述后台数据处理分析模块包括以下功能单元：

定时任务单元，其分析程序每天特定时间启动，依次完成图片数据同步、工单数据同步、图片数据分析、工单质量判定任务，根据需要，程序也能够设置执行周期；

数据同步单元，对图片数据采用增量更新方法同步，对工单数据采用全量更新方法同步；

数据预处理单元，判定输入数据的格式，对压缩包进行解压，获取到其中的图片数据；对于非图片格式文件，不进行分析；对于png格式文件将其转化为jpg格式；对于所有图片，将图片大小统一转化为特定规格；

模型训练单元，用于得到训练好的图像识别分类模型，在识别检修关键点上使用算法为ResNet50深度学习图像分类算法，在训练模型时采用人工标注和数据增强的方法获取训练数据，数据增强方法包括翻转、旋转和裁剪；训练模型时采用的学习率为0.0001，优化器采用Adam，损失函数采用交叉熵损失函数；

工单质量判定单元，根据图像识别分类模型给出的分类类别与置信概率，及图片名称与映射信息和定检规范要求，对检修工单质量进行合格与否的判定；

所述前端界面展示和操作模块包括以下功能单元：

手动检索相关工单单元，通过手动输入筛选条件，查询相应工单列表，查询合格和不合格的分别有多少台机组、分别是哪些机组；其中，检索方式支持单条件搜索筛选与多条件组合搜索筛选；

自动关联对应工单单元，手动输入筛选条件后，所搜索出的工单若有重复，自动关联出与其对应的图片重复工单，方便后续与现场人员核对，若无重复，则无显示；

数据可导出单元，对于检索出的工单结果，能够批量选择要导出的工单，也能够选择想要导出哪些字段，及能够选择只导出查询的工单或者导出查询工单及其相关联的所有工单，然后导出到Excel；

有误工单反馈单元，用于及时反馈信息有误的工单；

结果可视化单元，通过界面对分析判定结果提供查询、筛选功能，审查人员能够通过工单编号、项目名称、项目主管、机位号、定检类型、是否重复、是否缺失关键点图片、是否合格、查询时间段区间、区域中心、机型、风机状态信息，对工单进行检索；检索出的工单能够可视化统计结果，统计维度包括区域中心和定检类型；数据能够导出到本地。

进一步，所述工单质量判定单元执行如下操作：

使用置信概率最高的分类类别与检修规范需求拍摄关键点要求进行比对，如果工单中包含所有的关键点要求图片，检修工单判定漏检或漏传方面合格；如果比对结果判定工单缺少某一关键点图片，但是该工单中置信概率第二的分类类别存在该关键点且概率大于或等于设定值，并且对应图片的置信概率最高的分类类别在该工单中已经有多余图片，则最终判定该工单不缺该关键点图片，否则，认为检修工单存在关键点图片缺失从而判定为漏检或漏传方面不合格；

在图片重复使用的识别上采用md5加密算法对图片数据进行映射，即进行md5信息映射，为避免水印对识别的影响，对图片进行9宫格裁剪，取中间一格图片进行数据映射，并将映射结果保存到数据库，通过比对md5信息映射是否相同判定图片是否是重复使用；

如果判定图片漏检或漏传及重复使用方面均合格，则该工单检修质量合格；图片漏检或漏传及重复使用方面只要有一项不合格，则该工单检修质量不合格。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明自动识别分析高效，可以覆盖所有定检工单质量审查工作。

2、本发明采用深度学习对图像进行识别分类准确性高，对工单的质量审查具有较高的可信度；使用程序自动识别出图片重复使用情况，速度快，精确度高，减少人工确认，充分释放人力资源。

3、采用md5信息映射方法，查重对比高效，提升识别速度的同时减少服务器内存占用。

4、本发明在查询方面具有筛选功能，且每张图片可以单击放大和缩小，便于查看图片细节，提升审查人员工作效率同时提升审查工作质量；

5、对分析结果统计量自动形成报表，便于直观分析，有效解放人力，提高生产效率。

附图说明

图1为本发明方法的框架图。

图2为图片的附件信息表格。

图3为工单信息表格。

图4为本发明系统的架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例公开了一种风电机组检修工作质量审查辅助方法，该方法是经过图片数据信息、工单数据的获取同步，以一个工单内所有的图片为一个分析单位，将每一张图片输入已经训练好的图像识别分类模型中，模型给出分类类别与置信概率，同时将每一张图片进行md5信息映射，将图片名称与映射信息保存到数据库，以便进行重复比对，最后根据定检规范要求，对检修工单质量进行合格与否的判定，并可视化结果。

如图1所示，本实施例上述的风电机组检修工作质量审查辅助方法，包括以下步骤：

1)图片数据信息获取

执行定时任务将新增的图片文件、压缩包等以工单为单位存储在指定服务器文件夹中，同时将图片的附件信息存储到关系型数据库中，图片的附件信息包括文件名称、文件路径、区域中心、项目编号、机位号和工单编号等字段，见图2所示表格。

2)工单数据获取

将工单状态为已完成的检修工单的信息全量更新到关系型数据库中，工单信息包括工单编号、计划编号、项目编号、机位号、风机型号和检修类型等字段，见图3所示表格。

3)数据预处理

判定输入数据的格式，对压缩包进行解压，获取到其中的图片数据；对于非图片格式文件，不进行分析；对于png格式文件，将其转化为jpg格式；对于所有图片，将图片大小统一转化为224*224。

4)图片分类与信息映射

以一个工单内所有的图片为一个分析单位，将每一张图片输入已经训练好的图像识别分类模型中，模型给出分类类别与置信概率；同时将每一张图片进行md5信息映射，将图片名称与映射信息保存到数据库；如给一张图片，经过图像识别分类模型，输出图片属于A类的概率是99％，属于B类的概率是0.8％；图片经过md5映射后是如“cf78f9c0a1779d03c7f6db7e6d37c206”样式、32位的字符串。

5)工单质量判定

使用置信概率最高的分类类别与检修规范需求拍摄关键点要求进行比对，如果工单中包含所有的关键点要求图片，检修工单判定漏检(漏传)方面合格；如果比对结果判定工单缺少某一关键点图片，但是该工单中置信概率第二的分类类别存在该关键点且概率大于或等于0.03，并且对应图片的置信概率最高的分类类别在该工单中已经有多余图片，则最终判定该工单不缺该关键点图片，否则，认为检修工单存在关键点图片缺失从而判定为漏检(漏传)方面不合格；例如工单要求有A、B两类关键点图片各1张，通过图片识别分类发现置信概率最高的类别中A、B两类的数量大于或等于1，则该工单在漏检(漏传)方面合格；如果系统通过图片识别分类发现置信概率最高的类别中A类图片的数量大于或等于2、B类图片的数量为0，但是置信概率第二高的类别中存在B且置信概率大于或等于0.03，也认为工单在漏检(漏传)方面合格；此方法可以有效避免因为单一图片识别有误导致对工单整体判定错误的问题；

在图片重复使用的识别上采用md5加密算法对图片数据进行映射，即进行md5信息映射，为避免水印对识别的影响，对图片进行9宫格裁剪，取中间一格图片进行数据映射，并将映射结果保存到数据库，通过比对md5信息映射是否相同判定图片是否是重复使用；

判定图片漏检(漏传)、重复使用方面均合格，则该工单检修质量合格；图片漏检(漏传)、重复使用方面只要有一项不合格，则该工单检修质量不合格。

6)结果可视化

通过界面对分析判定结果提供查询、筛选功能，如审查人员可以通过工单编号、项目名称、项目主管、机位号、定检类型、是否重复、是否缺失关键点图片、是否合格、查询时间段区间、区域中心、机型、风机状态等信息，对工单进行检索；检索出的工单可以可视化统计结果，统计维度包括区域中心和定检类型；数据可以导出到本地。

实施例2

本实施例公开了一种风电机组检修工作质量审查辅助系统，该系统在识别检修关键点上使用深度学习图像识别技术，在图片重复使用的识别上采用加密函数映射，如图4所示，该系统分为后台数据处理分析模块及前端界面展示和操作模块，其中：

所述后台数据处理分析模块包括以下功能单元：

定时任务单元，为减少系统对网络带宽影响，其分析程序每天早上4：00启动，依次完成图片数据同步、工单数据同步、图片数据分析、工单质量判定任务；当然，根据需要，程序也可以设置执行周期。

数据同步单元，对图片数据采用增量更新方法同步，对工单数据采用全量更新方法同步。

数据预处理单元，判定输入数据的格式，对压缩包进行解压，获取到其中的图片数据；对于非图片格式文件，不进行分析；对于png格式文件将其转化为jpg格式；对于所有图片，将图片大小统一转化为224*224。

模型训练单元，用于得到训练好的图像识别分类模型，在识别检修关键点上使用算法为ResNet50深度学习图像分类算法，在训练模型时采用人工标注和数据增强的方法获取训练数据，数据增强方法包括但不限于翻转、旋转、裁剪；训练模型时采用的学习率为0.0001，优化器采用Adam，损失函数采用交叉熵损失函数。

工单质量判定单元，使用置信概率最高的分类类别与检修规范需求拍摄关键点要求进行比对，如果工单中包含所有的关键点要求图片，检修工单判定漏检(漏传)方面合格；如果比对结果判定工单缺少某一关键点图片，但是该工单中置信概率第二的分类类别存在该关键点且概率大于或等于0.03，并且对应图片的置信概率最高的分类类别在该工单中已经有多余图片，则最终判定该工单不缺该关键点图片，否则，认为检修工单存在关键点图片缺失从而判定为漏检(漏传)方面不合格；在图片重复使用的识别上采用md5加密算法对图片数据进行映射，即进行md5信息映射，为避免水印对识别的影响，对图片进行9宫格裁剪，取中间一格图片进行数据映射，并将映射结果保存到数据库，通过比对md5信息映射是否相同判定图片是否是重复使用；判定图片漏检(漏传)、重复使用方面均合格，则该工单检修质量合格；图片漏检(漏传)、重复使用方面只要有一项不合格，则该工单检修质量不合格。

所述前端界面展示和操作模块包括以下功能单元：

手动检索相关工单单元，通过手动输入筛选条件，可以查询相应工单列表，同时可以查询合格和不合格的分别有多少台机组、分别是哪些机组；其中，检索方式支持单条件搜索筛选与多条件组合搜索筛选；单条件搜索筛选：可以通过单一的工单编号、项目名称、项目主管、机位号、定检类型、是否重复、是否缺失关键点图片、是否合格、查询时间段区间、区域中心、机型、风机状态等信息，进行搜索；多条件组合搜索筛选：可以筛选同时满足以上多个条件的记录。

自动关联对应工单单元，手动输入筛选条件后，比如输入一个项目名称，再选定一个时间段等，所搜索出的工单若有重复，自动关联出与其对应的图片重复工单，方便后续与现场人员核对；若无重复，则无显示。

数据可导出单元，对于检索出的工单结果，可以批量选择要导出的工单，也可以选择想要导出哪些字段，可以选择只导出查询的工单或者导出查询工单及其相关联的所有工单，然后导出到Excel。

有误工单反馈单元，若发现某工单信息有误，用于及时反馈信息有误的工单。

结果可视化单元，通过界面对分析判定结果提供查询、筛选功能，如审查人员可以通过工单编号、项目名称、项目主管、机位号、定检类型、是否重复、是否缺失关键点图片、是否合格、查询时间段区间、区域中心、机型、风机状态等信息，对工单进行检索；检索出的工单可以可视化统计结果，统计维度包括区域中心和定检类型；数据可以导出到本地。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。