润滑油远程视频图像在线监测分析系统及方法

技术领域

本发明涉及润滑油理化和磨损在线监测领域，更具体地说，涉及一种润滑油远程视频图像在线监测分析系统及方法。

背景技术

动力机械运行过程中摩擦副的相对运动导致的磨损故障是动力系统失效的主要原因。摩擦所带来的故障信息能长久的保存在油液中，通过实时监测磨损颗粒及润滑油状态能够获取船舶动力系统磨损随时间推移的变化信息，通过分析数据可快速准确地定位出故障点以及发生的原因，从而实现对系统故障的诊断。

目前基于国内外对油液监测大多采用离线采集制谱图像检测或短时在线监测的方式进行检测。然而，通过单张或部分磨粒谱片进行识别的方式存在着缺陷，由于油液采集等繁琐的步骤，需要花费额外的时间进行制谱，难以满足实时性与连续性需求。同时，单张或部分图像所带来的信息密度较低，图像噪声影响较大，尤其在单磨粒提取步骤中耗时耗力，检测精度难以提高。

在线监测的方式中采用得基于电磁学、超声学等原理进行监测，同样由于监测设备的体积庞大、处理流程耗时、消泡困难或只能检测磁性磨粒等因素缺乏灵活性与泛用性，还受到测试条件、温度、操作人员专业技能能力等必要条件制约，限制了在实际工程中的应用。

发明内容

本发明要解决的技术问题在于，提供一种润滑油远程视频图像在线监测分析系统及方法，其旨在提高油液数据采集的智能性与便捷性，同时提高处理过程中磨粒背景分割的准确性，达到无人化管理要求。

本发明解决其技术问题所采用的技术方案是：构造一种润滑油远程视频图像在线监测分析系统，包括采集端和远程控制客户端，所述采集端和远程控制客户端之间通过远程通讯控制连接，所述采集端包括传感模块、数据传输模块和自主工作保障模块，所述采集端自主控制高清显微摄像头采集图像编码为待传输视频，自主利用六合一传感器采集油液各项理化性能并编码为待传输油液性质数据，同时监听远程控制客户端连接；所述远程控制客户端包括控制保障模块、视频图像处理模块和预警模块，所述远程控制客户端具有主动连接服务端接收信息、控制采集设备、处理并显示数据和报警功能；

所述传感模块用于采集流道视频数据和流体理化性能数据，所述传感模块包括视频采集模块和六合一传感器；

所述数据传输模块基于采集端服务器与远程控制客户端智能对接并自动传输数据，所述数据传输模块包括智能传输数据和响应远程指令；

所述自主工作保障模块用于按预设方式自主控制采集、自主响应控制指令和连接自动远传，所述自主工作保障模块包括采集端服务器；

所述控制保障模块用于自动连接采集端、依据操作人员指示发送控制指令，用于设置相关采集参数与设备紧急停机，所述控制保障模块包括流速、光源控制和紧急停止；

所述视频图像处理模块用于自动接收采集端油液磨粒视频信息，自适应实时对背景建模，持续更新背景并提取磨粒，直观显示视频，所述视频图像处理模块包括背景自适应建模和磨粒提取；

所述预警模块用于持续监测数值，根据预警阈值判断，超过阈值自动报警，所述预警模块包括油液异常报警。

本发明还提供了一种润滑油远程视频图像在线监测分析方法，包括以下步骤：

S1、完成油路安装，建立通讯链路，系统整体通电，启动采集端服务器，自检设备，捕获异常，开始按照预设值捕获流道视频图像信息和读取六合一传感器数据，如果控制服务端已连接则发送，否则暂存文件，并将文件信息加入待传输消息队列；

S2、远程控制客户端通过通讯链路连接上采集端服务器，服务器根据待传输消息队列将文件发送至远程控制客户端；

S3、远程控制客户端接收到采集端异常消息则通知工作人员，收到视频文件则通过连续采集与传输进行背景建模提取磨粒，统计磨粒粒径、浓度、形状信息并在图像上打标用于展示，收到六合一传感器数据则根据预设值进行超限报警。

所述步骤S2中，采集端服务器通过传感器获取数据，将所获取的数据存入消息队列中等待传输，待远程控制客户端连接，采集端服务器从消息队列里面取出数据，通过建立的传输链路将获取到的数据传输至远程控制客户端后，在客户端完成油液信息的超限监测，磨粒视频的处理功能。

按上述方案，采集端智能无人采集与自主传输方法运行包括以下步骤：

S1、采集设备接通电源，等待远程控制客户端连接，同时电路板开始自检，自检相机是否连接正常，六合一传感器是否连接正常；

S2、自检无误后，流量泵自动开启检测流速，显微成像模块按照预先设置好的检测时长自动开启流道视频循环录制暂存为avi格式，六合一传感器按照预先设置的检测频率自动开启油液理化性能循环读取暂存为txt格式；

S3、数据读取保存无误后，自动将文件相关信息加入待传输消息队列；

S4、判断当前文件缓存数量是否达到预设最大缓存阈值，若大于，则删除部分最早缓存文件；

S5、按照上述S2-S4流程循环，实现采集端自主连续采集。

按上述方案，所述采集端采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、采集端接通电源，其服务器开放控制端口，绑定自身ip与端口，持续监听远程控制客户端连接；

S2、当服务端接收到客户端连接请求，响应连接，同时请求连接客户端传输端口，建立连接；

S3、从待传输消息队列依次取出消息，根据消息内容制作报文，同时转化为json格式；

S4、依据报文内容制作报头，同时转化为json格式，通过S2建立的传输链路发送至客户端。紧接着发送报文，紧接着发送文件内容；

S5、循环S3和S4；

S6、在传输过程中，若客户端异常断开，则捕获异常，断开连接，持续监听下一次连接。

按上述方案，所述程控制客户端采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、用户输入用户名和密码，成功登录客户端；

S2、随机开放一个高位端口N对服务端21断开发起连接请求，同时开放端口N+1；

S3、成功连接中继服务器，通知中继服务器连接自身数据传输端口N+1；

S4、成功建立数据传输链路，自动收取报头，解析得到报文内容；

S5、依据报文内容从数据库中检验此文件MD5值，若存在，则跳过此次传输。若不存在，则依据文件大小，持续接收文件内容，存储进数据库中；

S6、依据收到的流道视频内容进行磨粒提取，包括但不限于：自适应背景提取、直方图均衡、去噪、模糊恢复等工作；

S7、根据提取背景进行运动目标打标，直观展示源数据内容与处理结果。

按上述方案，所述用户指令采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、用户输入用户名及密码，登录远程控制客户端；

S2、成功连接采集端服务器，用户输入控制指令；

S3、将用户指令传输至中继服务器，如改变采集端齿轮泵流速指令、光源控制指令、紧急停机等指令，采集端服务器解析指令，发送控制指令至电路板；

S4、电路板控制采集设备执行指令，返回正常信息或捕获异常信息放入待传输消息队列。

按上述方案，所述背景自适应建模采用磨粒视频背景提取方法进行提取，具体包括以下步骤：

S1、模型初始化；

S101、客户端收到视频信息，解码视频文件，获取逐帧的图像队列；

S102、将图像进行逐帧灰度图转换；

S103、依据接收视频数据第一帧初始化每个像素点背景模型，假设每一个像素和其邻域像素的像素值在空域上有相似的分布。基于这种假设，每一个像素模型都可以用其邻域中的像素来表示，即t＝0时刻，构建样本集合N

N

式中，N

每个像素点的背景模型为：

式中，N

S104、用f

S2、前景检测；

S201、当t＝k时刻，将f

式中，r为随机选取，T为预先设置好的阈值，一般为30；

S202、若大于T的次数m超过了阈值M，则认为该点为前景目标点，反之为背景点；

S203、假设f

S204、如果近似样本点数目k大于预先设置好的次数K次时，认为像素点f

S205、更新样本集方式为将当前图像f

S3、更新背景策略；

S301、假设f

S302、在选择需要被替代的样本时，随机的挑选集合中的一个样本来进行更新操作，当一个像素点判定为背景，则它被更新的概率为1/rate，rate是时间采样因子；

S303、对于需要更新的像素点，同时还会随机选取该像素点的空间邻域背景模型，用新值更新邻域背景模型，在随机更新过程后，一个样本值在时刻t被保留的概率是(N-1)/N；假设时间是连续的，选择过程是无记忆的，在之后的任何时间t+dt,可以获得一个相同的样本值保留概率：

最终，成功提取前景目标，更新背景模型，至此循环处理，自适应更新背景模型。

实施本发明的润滑油远程视频图像在线监测分析系统，具有以下有益效果：

1、本发明油液自动采集传输装置与系统磨粒识别采用视频识别技术，不受油液温度粘度等性质影响，实现动态的磨损信息识别和更直观的信息展示；

2、本发明油液自动采集传输装置与系统通过中继服务器智能控制采集端，实现了动力机械自主连续不停机采集磨粒视频样本及油液理化指标信息，实时监测油液性质时域变化信息，达到连续性采集需求；

3、本发明油液自动采集传输装置与系统通过中继服务器智能控制采集端，实现了采集数据的自主远程传输与远程控制，实现动力机械少人化或无人化管理；

4、本发明油液图像磨粒提取方式能快速自适应分割提取背景，有效降低如因流道不平整造成磨粒的粘滞带来的磨粒统计误差、因光场不均匀带来的磨粒统计误差、因不同工况油液性质不同带来的磨粒识别误差等问题，达到多环境下油样样本色号自适应提取磨粒，大大增加系统多工况下的泛用性与识别准确性；

5、本发明油液自动采集传输装置与系统融合视频直观数据与六合一传感器理化指标定量数据，实现动力机械设备在用油液的多参数量化指标的在线监测与分析，从而对设备运行状态做出磨损状态及故障做出更加准确的判断。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明润滑油远程视频图像在线监测分析系统的结构示意图；

图2是本发明零件结构示意图；

图3是本发明系统模块示意图；

图4是本发明连续采集与传输示意图；

图5是本发明背景提取流程图；

图6是本发明背景提取实例效果图；

图7是本发明磨粒提取打标效果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1-7所示，本发明的润滑油远程视频图像在线监测分析系统，包括采集端和远程控制客户端，采集端和远程控制客户端之间通过远程通讯控制连接，采集端包括传感模块、数据传输模块和自主工作保障模块，采集端自主控制高清显微摄像头采集图像编码为待传输视频，自主利用六合一传感器采集油液各项理化性能并编码为待传输油液性质数据，同时监听远程控制客户端连接；远程控制客户端包括控制保障模块、视频图像处理模块和预警模块，远程控制客户端具有主动连接服务端接收信息、控制采集设备、处理并显示数据和报警功能。

传感模块用于采集流道视频数据和流体理化性能数据，传感模块包括视频采集模块和六合一传感器；数据传输模块基于采集端服务器与远程控制客户端智能对接并自动传输数据，数据传输模块包括智能传输数据和响应远程指令；自主工作保障模块用于按预设方式自主控制采集、自主响应控制指令和连接自动远传，自主工作保障模块包括采集端服务器；控制保障模块用于自动连接采集端、依据操作人员指示发送控制指令，用于设置相关采集参数与设备紧急停机，控制保障模块包括流速、光源控制和紧急停止；视频图像处理模块用于自动接收采集端油液磨粒视频信息，自适应实时对背景建模，持续更新背景并提取磨粒，直观显示视频，视频图像处理模块包括背景自适应建模和磨粒提取；预警模块用于持续监测数值，根据预警阈值判断，超过阈值自动报警，预警模块包括油液异常报警。

如图1-2所示，采集端的油液在齿轮泵20的带动下，从油液进样口2进入，经过油液通道21，流经视频采集模块中油液流道9采集视频图像信息，再经过六合一传感器油液池11，最终通过油液通道21达到油液出样口3完成油液整体循环。流速控制模块齿轮泵20、电路板19和采集端服务器18均通过系统通讯端口1获取供电以及与外界必要通讯。视频采集模块包括油液流道5、补光灯源7、500x显微镜头14和高清1080pCCD感光元件16。镜头通过固定滑座12固定在直线滑槽底板13上，相机通过固定件15固定在直线滑槽底板13上，可实现相机镜头的前后调节。油液流道9固定在固定板8上，通过中间连接件6和用于固定视场微调机构4的固定板5连接，微调机构4装有两个千分尺微测头和两个锁紧端，通过旋转千分尺微测头实现视场的上下左右运动，待达到理想效果之后通过转动锁紧端来实现精度的锁紧。六合一传感部分包括六合一传感器10和油液池11，传感器10浸泡油液池11中进行数据采集。整个模块嵌入直线滑槽底板13，并和成像模块一并集成于铝板外壳体17中，便于故障时模块化更换。

如图3所示，检测系统主要分为两个部分，分别为采集端和远程控制客户端。其中采集端采用一体化设计，内置传感模块(磨损、温度、粘度、密度、水活性、水含量和介电常数)、数据传输模块、自主工作保障模块。远程控制客户端部分具有主动连接服务端接收信息、控制采集设备、处理并显示数据和报警功能。油液自动采集传输装置采集端能无人化完成自检、采集并监听连接工作。

本发明还提供一种润滑油远程视频图像在线监测分析系统的方法，包括以下步骤：

S1、完成油路安装，建立通讯链路，系统整体通电，启动采集端服务器，自检设备，捕获异常，开始按照预设值捕获流道视频图像信息和读取六合一传感器数据，如果控制服务端已连接则发送，否则暂存文件，并将文件信息加入待传输消息队列；

S2、远程控制客户端通过通讯链路连接上采集端服务器，服务器根据待传输消息队列将文件发送至远程控制客户端；

采集端服务器通过传感器获取数据，将所获取的数据存入消息队列中等待传输，待远程控制客户端连接，采集端服务器从消息队列里面取出数据，通过建立的传输链路将获取到的数据传输至远程控制客户端后，在客户端完成油液信息的超限监测，磨粒视频的处理功能。

S3、远程控制客户端接收到采集端异常消息则通知工作人员，收到视频文件则通过连续采集与传输进行背景建模提取磨粒，统计磨粒粒径、浓度、形状信息并在图像上打标用于展示，收到六合一传感器数据则根据预设值进行超限报警。

采集端能无人采集与自主传输方法运行包括以下步骤：

S1、采集设备接通电源，等待远程控制客户端连接，同时电路板开始自检，自检相机是否连接正常，六合一传感器是否连接正常；出现异常则捕获异常，加入待传输消息队列，通过采集端服务器传输至远程控制客户端通知工作人员；

S2、自检无误后，流量泵自动开启检测流速，显微成像模块按照预先设置好的检测时长自动开启流道视频循环录制暂存为avi格式，六合一传感器按照预先设置的检测频率自动开启油液理化性能循环读取暂存为txt格式；

S3、数据读取保存无误后，自动将文件相关信息加入待传输消息队列；

S4、判断当前文件缓存数量是否达到预设最大缓存阈值，若大于，则删除部分最早缓存文件；

S5、按照上述S2-S4流程循环，实现采集端自主连续采集。

采集端采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、采集端接通电源，其服务器开放控制端口，绑定自身ip与端口，持续监听远程控制客户端连接；

S2、当服务端接收到客户端连接请求，响应连接，同时请求连接客户端传输端口，建立连接；

S3、从待传输消息队列依次取出消息，根据消息内容制作报文，同时转化为json格式；

S4、依据报文内容制作报头，同时转化为json格式，通过步骤S2建立的传输链路发送至客户端，紧接着发送报文，紧接着发送文件内容；

S5、循环S3和S4；

S6、在传输过程中，若客户端异常断开，则捕获异常，断开连接，持续监听下一次连接。

远程控制客户端采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、用户输入用户名和密码，成功登录客户端；

S2、随机开放一个高位端口N对服务端21断开发起连接请求，同时开放端口N+1；

S3、成功连接中继服务器，通知中继服务器连接自身数据传输端口N+1；

S4、成功建立数据传输链路，自动收取报头，解析得到报文内容；

S5、依据报文内容从数据库中检验此文件MD5值，若存在，则跳过此次传输，若不存在，则依据文件大小，持续接收文件内容，存储进数据库中；

S6、依据收到的流道视频内容进行磨粒提取，包括但不限于：自适应背景提取、直方图均衡、去噪、模糊恢复等工作；

S7、根据提取背景进行运动目标打标，直观展示源数据内容与处理结果。

用户指令采用智能采集与自主传输方法进行采集与传输，具体包括以下步骤：

S1、用户输入用户名及密码，登录远程控制客户端；

S2、成功连接采集端服务器，用户输入控制指令；

S3、将用户指令传输至中继服务器，如改变采集端齿轮泵流速指令、光源控制指令、紧急停机等指令，采集端服务器解析指令，发送控制指令至电路板；

S4、电路板控制采集设备执行指令，返回正常信息或捕获异常信息放入待传输消息队列。

如图4所示，在本实施例中，提供的一种智能采集与自主传输方法，从实时监测至客户端直观显示打标磨粒，延迟为10(±3)秒，符合在线实时监测需求，对于长时间连接状态的判定，可采用采集数据的自动传输作为网络连接心跳检测机制。

背景自适应建模采用磨粒视频背景提取方法进行提取，具体包括以下步骤：

S1、模型初始化；

S101、客户端收到视频信息，解码视频文件，获取逐帧的图像队列；

S102、将图像进行逐帧灰度图转换；

S103、依据接收视频数据第一帧初始化每个像素点背景模型，假设每一个像素和其邻域像素的像素值在空域上有相似的分布。基于这种假设，每一个像素模型都可以用其邻域中的像素来表示，即t＝0时刻，构建样本集合N

N

式中，N

每个像素点的背景模型为：

式中，N

S104、用f

S2、前景检测；

S201、当t＝k时刻，将f

式中，r为随机选取，T为预先设置好的阈值，一般为30；

S202、若大于T的次数m超过了阈值M，则认为该点为前景目标点，反之为背景点；

S203、假设f

S204、如果近似样本点数目k大于预先设置好的次数K次时，认为像素点f

S205、更新样本集方式为将当前图像f

S3、更新背景策略；

S301、假设f

S302、在选择需要被替代的样本时，随机的挑选集合中的一个样本来进行更新操作，当一个像素点判定为背景，则它被更新的概率为1/rate，rate是时间采样因子；

S303、对于需要更新的像素点，同时还会随机选取该像素点的空间邻域背景模型，用新值更新邻域背景模型，在随机更新过程后，一个样本值在时刻t被保留的概率是(N-1)/N；假设时间是连续的，选择过程是无记忆的，在之后的任何时间t+dt,可以获得一个相同的样本值保留概率：

最终，成功提取前景目标，更新背景模型，至此循环处理，自适应更新背景模型。

如图6所示，背景更新效果，图a，d，g分别为采集视频第2帧、第230帧和第450帧原始未处理图像，图b，e，h分别为上述视频经过前后景分割后得到背景建模，图c，f，i分别为上诉视频每个像素点前后景检测结果，其中像素值(255,255,255)认为前景，即磨粒，(0,0,0)认为背景。

如图7所示，依据上述流程处理后的磨粒打标结果，图a,c分别为采集视频第200帧和第640帧原始未处理图像，图b,e分别为上述视频经过处理之后打标的直观展示效果，图c,f分别为上述视频经过处理之后更新出的背景建模。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。