一种水冷壁面缺陷视觉检测物联网系统

技术领域

本发明涉及了一种物联网系统，具体涉及一种水冷壁面缺陷视觉检测物联网系统。

背景技术

基于视觉检测技术的自动化无损检测已经成为诸如大型锅炉、放射性储物罐等复杂场景立面缺陷的主要检测方式。针对在这类复杂环境中，缺陷图像的产生和传输过程中会引入不同程度的噪声，图像质量的好坏决定后续图像缺陷检测的精确度。因此图像去噪技术成为图像处理方面十分有意义的研究。

深度学习领域中通过模型训练的方式在图像复原技术研究中取得了优异的表现，其中基于对抗学习的图像去噪技术在近几年获得广泛关注。生成对抗网络在无监督学习方面具有十分优秀的去噪效果。对于一些纹理细小，细节复杂的图像，如锅炉、放射性储物罐等立面产生的缺陷图像，其去噪的同时会损失部分细节纹理，这会导致原本存在的缺陷细节因去噪过程而损失，继而使得后续视觉检测的精准度下降。

发明内容

为了解决背景技术中存在的问题，本发明所提供一种水冷壁面缺陷视觉检测物联网系统。

本发明采用的技术方案是：

本发明物联网系统包括终端采集传输层模块、后端应用服务模块和前端服务展示模块，终端采集传输层模块采集水冷壁面缺陷图片并存储，进而传输至后端应用服务模块中处理，后端应用服务模块处理后输出水冷壁面缺陷图片中的预测目标物的标签和后端应用服务模块的预测精确度，最终通过前端服务展示模块进行展示。

物联网系统采用B/S架构的前后端分离设计，前端服务展示模块具体为前端门户层，前端门户层采用基于VUE前端框架搭建前端页面；后端应用服务模块具体包括应用服务层和平台服务层，应用服务层和平台服务层具体采用基于Python的Django框架搭建后台服务功能，应用服务层中包括立面缺陷检测系统，平台服务层使用Maven作为项目管理工具，可以实现内容管理、数据统计、用户管理等；前端服务展示模块和后端应用服务模块的承载平台为阿里云服务器；终端采集传输层模块包括数据存储层、通讯协议层和设备层，通讯协议层与设备层进行信息交互，通讯协议层基于TCP/IP使用无线模块或有线网络模块，基于MQTT协议的远程传输，将设备层采集的图片输入数据存储层的MySQL数据库进行存储再传输至平台服务层，终端采集传输层模块使用MQTT物联网协议，通过Kafka消息中间件连接云平台的后端系统进行图像数据的传输；数据存储层使用关系型数据库MySQL作为数据库进行数据存储。

所述的终端采集传输层模块具体通过爬壁机器人拍摄水冷壁面缺陷处的图片，爬壁机器人中安装有基于树莓派的图像采集系统，通过图像采集系统拍摄水冷壁面缺陷处的图片并传输至后端应用服务模块中。基于树莓派的图像采集系统中包括摄像头模块和图像采集卡进行图片拍摄和存储。

所述的后端应用服务模块中包括立面缺陷检测系统，立面缺陷检测系统包括依次连接的图像采集模块、图像预处理模块、算法训练模块、图像检测模块和图像检测展示模块；终端采集传输层模块将拍摄的水冷壁面缺陷处的图片传输至图像采集模块中。

所述的图像采集模块将拍摄的水冷壁面缺陷处的图片进行存储并传输至图像预处理模块，图像预处理模块依次将水冷壁面缺陷处的图片进行图像去噪、图像增强和图像分割后传输至算法训练模块。

所述的算法训练模块包括检测算法模型和图像处理算法模型，算法训练模块的输入依次输入检测算法模型和图像处理算法模型进行训练，获得训练完成的检测算法模型和图像处理算法模型。

所述的检测算法模型具体为R-CNN模型；图像处理算法模型具体为DCNN模型或RCNN模型。

所述的图像检测模块包括YOLO算法模型、RCNN算法模型和SSD算法模型，图像检测模块的输入被输入至YOLO算法模型、RCNN算法模型或SSD算法模型中处理后输出水冷壁面缺陷处的检测结果以及YOLO算法模型、RCNN算法模型或SSD算法模型的预测精确度。

所述的检测展示模块接收图像预处理模块的预处理结果、算法训练模块的训练结果以及图像检测模块的输出结果，进而传输至前端服务展示模块进行展示。

所述的后端应用服务模块和前端服务展示模块的通信使用Kafka中间件作为消息中间件。

所述的终端采集传输层模块的爬壁机器人拍摄若干水冷壁面缺陷处的图片并传输至后端应用服务模块的立面缺陷检测系统中对立面缺陷检测系统进行训练，获得训练完成的立面缺陷检测系统，立面缺陷检测系统输出算法训练模块的训练结果进而传输至前端服务展示模块进行展示；通过终端采集传输层模块的爬壁机器人拍摄若干水冷壁面不同位置处的图片并输入训练完成的立面缺陷检测系统中处理，立面缺陷检测系统输出图像预处理模块的预处理结果以及图像检测模块的输出结果，进而传输至前端服务展示模块进行展示；图像检测模块的输出结果包括爬壁机器人拍摄的各个水冷壁面不同位置处的图片的缺陷标签以及图像检测模块的预测精确度；缺陷标签包括缺陷处的位置坐标，还包括缺陷类型等。

分析预测结果，预测结果将流向两个地方，其一是后端的数据库，用于后续的应用。其二是将结果返回给前端页面，结果包括被预测图像、预测出的目标物的标签个数和精确度。前端界面能直观的显示出预测结果信息。

本发明的有益效果是：

本发明系统将图像预处理算法和视觉检测算法部署到云端中，实现现场端工控机的图像采集，而后将采集图像上传到云端数据库，并通过对后端保存的图像去噪算法、视觉检测算法，对图像进行快速的缺陷检测识别，有效的解决了在低纹理、结构单一的膜式壁面场景下的特征提取难的问题。

附图说明

图1为本发明物联网系统示意图；

图2为本发明立面缺陷检测系统示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1所示，本发明物联网系统包括终端采集传输层模块、后端应用服务模块和前端服务展示模块，终端采集传输层模块采集水冷壁面缺陷图片并存储，进而传输至后端应用服务模块中处理，后端应用服务模块处理后输出水冷壁面缺陷图片中的预测目标物的标签和后端应用服务模块的预测精确度，最终通过前端服务展示模块进行展示。

物联网系统采用B/S架构的前后端分离设计，前端服务展示模块具体为前端门户层，前端门户层采用基于VUE前端框架搭建前端页面；后端应用服务模块具体包括应用服务层和平台服务层，应用服务层和平台服务层具体采用基于Python的Django框架搭建后台服务功能，应用服务层中包括立面缺陷检测系统，平台服务层使用Maven作为项目管理工具，可以实现内容管理、数据统计、用户管理等；前端服务展示模块和后端应用服务模块的承载平台为阿里云服务器；终端采集传输层模块包括数据存储层、通讯协议层和设备层，通讯协议层与设备层进行信息交互，通讯协议层基于TCP/IP使用无线模块或有线网络模块，基于MQTT协议的远程传输，将设备层采集的图片输入数据存储层的MySQL数据库进行存储再传输至平台服务层，终端采集传输层模块使用MQTT物联网协议，通过Kafka消息中间件连接云平台的后端系统进行图像数据的传输；数据存储层使用关系型数据库MySQL作为数据库进行数据存储。

终端采集传输层模块具体通过爬壁机器人拍摄水冷壁面缺陷处的图片，爬壁机器人中安装有基于树莓派的图像采集系统，通过图像采集系统拍摄水冷壁面缺陷处的图片并传输至后端应用服务模块中。基于树莓派的图像采集系统中包括摄像头模块和图像采集卡进行图片拍摄和存储。

后端应用服务模块中包括立面缺陷检测系统，如图2所示，立面缺陷检测系统包括依次连接的图像采集模块、图像预处理模块、算法训练模块、图像检测模块和图像检测展示模块；终端采集传输层模块将拍摄的水冷壁面缺陷处的图片传输至图像采集模块中。

图像采集模块将拍摄的水冷壁面缺陷处的图片进行存储并传输至图像预处理模块，图像预处理模块依次将水冷壁面缺陷处的图片进行图像去噪、图像增强和图像分割后传输至算法训练模块。

算法训练模块包括检测算法模型和图像处理算法模型，算法训练模块的输入依次输入检测算法模型和图像处理算法模型进行训练，获得训练完成的检测算法模型和图像处理算法模型。

检测算法模型具体为R-CNN模型；图像处理算法模型具体为DCNN模型或RCNN模型。

图像检测模块包括YOLO算法模型、RCNN算法模型和SSD算法模型，图像检测模块的输入被输入至YOLO算法模型、RCNN算法模型或SSD算法模型中处理后输出水冷壁面缺陷处的检测结果以及YOLO算法模型、RCNN算法模型或SSD算法模型的预测精确度。

检测展示模块接收图像预处理模块的预处理结果、算法训练模块的训练结果以及图像检测模块的输出结果，进而传输至前端服务展示模块进行展示。

后端应用服务模块和前端服务展示模块的通信使用Kafka中间件作为消息中间件。

物联网系统的水冷壁面缺陷检测方法如下：

终端采集传输层模块的爬壁机器人拍摄若干水冷壁面缺陷处的图片并传输至后端应用服务模块的立面缺陷检测系统中对立面缺陷检测系统进行训练，获得训练完成的立面缺陷检测系统，立面缺陷检测系统输出算法训练模块的训练结果进而传输至前端服务展示模块进行展示；通过终端采集传输层模块的爬壁机器人拍摄若干水冷壁面不同位置处的图片并输入训练完成的立面缺陷检测系统中处理，立面缺陷检测系统输出图像预处理模块的预处理结果以及图像检测模块的输出结果，进而传输至前端服务展示模块进行展示；图像检测模块的输出结果包括爬壁机器人拍摄的各个水冷壁面不同位置处的图片的缺陷标签以及图像检测模块的预测精确度；缺陷标签包括缺陷处的位置坐标，还包括缺陷类型等。

分析预测结果，预测结果将流向两个地方，其一是后端的数据库，用于后续的应用。其二是将结果返回给前端页面，结果包括被预测图像、预测出的目标物的标签个数和精确度。前端界面能直观的显示出预测结果信息。

图像采集模块的处理器选用Raspberry Pi 3B，Raspberry Pi 3B通过WI-FI以及以太网接口用作数据采集系统的无线和有线通讯传输。图像采集模块的摄像头选用5MP摄像头，接线方式为CSI接口，图像分辨率为2592×1944。

终端采集传输层模块与云平台之间的通信基于MQTT协议进行，基于异步地发布-订阅实现。现场采集设备与云平台之间需要MQTT消息服务器作为实体进行数据信息的转发。采用基于高并发的Erlang/OTP语言平台设计，支持百万级连接额分布式集群，发布订阅模式的开源MQTT消息服务器。EMQ消息服务器的工作原理为现场采集设备端通过发布的方式将设备信息、图像数据信息上传至EMQ消息服务器中，根据并发量的大小可以通过集群的方式部署EMQ消息服务器。云端平台通过订阅的方式对匹配的发布主题进行信息消费。在本系统中，将数据信息保存到云端数据库中。

本发明系统包括终端采集传输层模块、后端应用服务模块以及前端服务展示模块。终端采集传输模块主要负责图像数据采集以及与后端应用服务模块之间的通信交互工作，数据采集主要是通过数字相机拍摄实现，通过在工控机集成图像采集模块实现图像拍摄后临时存储在采集设备PC端。后端应用服务模块是整个检测系统的核心模块，主要为所述终端采集传输模块以及前端服务展示模块提供服务支持的功能。前端服务展示模块主要作用是对后端处理后的数据进行渲染以及提供用户之间的交互，为用户提供相应的接口来操作后端数据。