一种基于机器视觉的井下采煤图像去水雾方法

技术领域

本发明涉及一种井下去水雾方法，具体是一种基于机器视觉的井下采煤图像去水雾方法。

背景技术

随着综采工作面的少人化和无人化的提出以及发展，通过视觉传感器获取采煤作业区域的信息已经成为实现井下无人化的重要部分。由于采煤机在割煤的时候会产生粉尘，因此为了降低粉尘在空间内漂浮的情况，都会对粉尘进行持续的降尘处理，降尘处理是指通过高压机组加压液体，再经由雾化喷头使水形成0.01～0.15mm左右的自然颗粒，使尘粒与液滴或液膜碰撞而被俘获，从而降低空气中的粉尘含量的过程，上述过程虽然能有效实现降尘效果，但这会使得在持续降尘过程中视觉传感器得到的拍摄图像含有喷射状的水雾，并且由于水雾与大气中浓度几乎均匀的雾不一样，水雾的浓度是不均匀的，这会对获取的当前位置场景信息造成遮挡，或使得从图像中获得的细节信息不准确，因此如何提供一种新方法，使得能将拍摄图像中的水雾去除，从而获取当前位置场景信息，最终有效保证采煤图像的准确度，是本行业的研究方向之一。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于机器视觉的井下采煤图像去水雾方法，能将拍摄图像中的水雾去除，从而获取当前位置场景信息，最终有效保证采煤图像的准确度。

为了实现上述目的，本发明采用的技术方案是：一种基于机器视觉的井下采煤图像去水雾方法，采用的图像采集系统包括多个摄像仪和计算机，每个液压支架顶梁下部均安装一个摄像仪，计算机装在其中一个液压支架上，将各个摄像仪均与计算机连接，具体步骤为：

步骤一、在采集图像之前，人工调整各个摄像仪的角度，使得每个摄像仪均能采集到各自对应煤壁的顶部以及底部，且所有摄像仪所采集的所有图像信息的总和能覆盖整个煤壁的顶部以及底部，在图像采集过程中摄像仪与煤壁之间无遮挡物以及无强光；

步骤二、按照步骤一设置后在每次采煤机运行到任一摄像仪覆盖区域之前，先使用各个摄像仪均采集一张没有采煤机的煤壁图片，并传递给计算机存储作为先验图像；

步骤三、当采煤机经过任一摄像仪覆盖区域时，当前摄像仪进行拍摄得到带有水雾图像，对该带有水雾图像的每个像素点进行处理，取每一像素点R，G，B值中的最小值作为这一像素点的灰度值，从而得到带有水雾图像的暗通道图；

步骤四、将得到的暗通道图进行高斯滤波，滤波后将图像转化成二值图像，之后对二值图像进行开运算，将获得的图像作为掩码对图像中的水雾区域进行分割，从而获取水雾区域图像；

步骤五、由于降尘装置喷出的水是程喷射状的，由高斯扩散公式可知，处于不同位置的水雾会因为雾滴扩散作用发生水雾浓度不均的现象，由同一设备产生的人造水雾雾滴的平均半径参数不发生巨大变化，因而导致不同位置处水雾消光性能差异的最主要原因就是雾滴密度的变化，通过对图像的观察可以发现，沿着喷射的方向水雾浓度逐渐降低，所以水雾的浓度与这一部分区域到喷嘴的距离有关，故建立雾滴密度与水雾空间位置的关系，先设定一个阈值Q，采用3*3的卷积核对步骤四获取的水雾区域图像进行卷积，找出平均灰度值超过阈值Q的区域作为喷射水雾中心；接着根据喷射水雾中心的位置计算得出水雾区域图像中各个像素点分别与所有喷射水雾中心之间的距离Δd，并取其中的最小值作为判断浓度的依据；

步骤六、随着采煤机的切割，同一区域的煤壁会由于切割次数的增加而导致煤壁具有细微的变化，所以考虑到时间尺度上煤壁的变化，故在本次采煤机切割时选择其前三次采煤机切割后的无水雾图像的同一区域作为当前区域的先验知识，取有水雾图像与无水雾的图像在同一区域的差值的平方再求其加权平均值最后再开方，得到的值作为此时有水雾图像与无水雾图像的灰度差值和亮度差值；若本次采煤机切割时其之前不足三次无水雾图像，则选择其之前所有次数采煤机切割后的无水雾图像的同一区域作为当前区域的先验知识；若之前仅有一次，则选择当前这一张无水雾图像与有水雾图像在同一区域的差值作为灰度差值和亮度差值，若之前有两次，即有两张无水雾图像，则根据前两张无水雾图像与当前有水雾图像在同一区域的差值的平均值作为灰度差值和亮度差值。

步骤七、将步骤五和六获得的数据均带入基于大气散射的模型公式内，从而得出水雾区域图像中各个像素点在无雾图像中对应的像素值；

步骤八、将步骤七获得各个像素点对应的像素值带入步骤三带有水雾图像中水雾区域对应的位置，从而得到无水雾的图像；

步骤九、当本次采煤机离开摄像仪覆盖区域后，再拍一张照片，作为新的先验知识供下一次使用，也作为后续对去雾模型参数进行调整的依据。

进一步，所述步骤五具体为：

先设定一个阈值Q，采用3*3的卷积核对步骤四获取的水雾区域图像进行卷积，找出平均灰度值超过阈值Q的区域作为喷射水雾中心；

然后设定两个阈值D

其中，Q为水雾释放速率，单位为g/s；μ为释放水雾时喷嘴口的雾滴喷出平均速度，单位为m/s；σ为大气扩散标准差，它与大气稳定度及地形参数有关。

进一步，所述步骤六具体为：

选择前三次采煤机切割后的无水雾图像，由于前三次距离本次采煤机运行的时间长短不一样，所以差值所占的权重也不一样，分别对各个图像设定权重为w

其中g’(x,y)为(x,y)处的带有水雾图像的灰度值，g

同样的，对于亮度值也采用上述灰度值的方法判断亮度差值的大小，最近三张HSV图的权重设为α

其中v’(x,y)为(x,y)处的带有水雾图像的亮度值，v

进一步，所述步骤七具体为：

将Δg、Δv以及d带入基于大气散射模型的公式，具体公式为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

t(x)＝e

其中公式(1)为大气散射模型，x为像素点的位置，I(x)为摄像仪获得的带有水雾图像，J(x)为期望获得的无水雾图像，t(x)为光线传播路径中大气介质透射率，计算方法见公式(2)，A为无穷远处全局大气光值；

在公式(2)中，K代表消光系数，d(x)表示入射光到摄像仪的景深，c(x)为传输路径中大气介质浓度分布；

由于K是一个常数，d(x)的变动范围也很小，所以取Kd(x)为一个常数β，则t(x)就变为：

t(x)＝e

获得无水雾图像的公式就变为：

其中无穷远处全局大气光值A通过以下方法获得：

1)从暗通道图中按照灰度的大小取前0.1％的像素位置；

2)在这些位置中，在原始带有水雾图像中寻找对应的具有最高灰度像素点的值，作为A值；

水雾浓度根据上述得出的特征量来计算，水雾浓度的表达式如下：

c(x)＝θ

则获得无水雾图像的公式就变为

令βθ

则最终公式就变为

其中C

通过公式(8)将C

通过实验的方法获得带有水雾图像和无水雾图像的数据集，通过线性回归的方法获得C

进一步，所述步骤八在形成无水雾的图像时，为了防止产生明显的边界，先用中值滤波对图像进行处理，去除边界，再用原图作为引导图对图像进行导向滤波，从而保证生成的无水雾图像的细节信息。

与现有技术相比，本发明先采集没有采煤机的煤壁图片作为先验图像，然后当采煤机经过时采集带有水雾的图像，通过对视觉图像的分析，首先将水雾区域分割出来，然后估计区域内水雾的浓度，最后将估算的浓度带入基于大气散射的模型公式，估算出该区域去除水雾后的图像并带入原图中，得到的无水雾图像可准确的提取图像内的信息，来进行煤岩识别等工作。因此本发明可以根据不同水雾区域的浓度来调节去除水雾的强度，能有效作用于由采煤机机载喷雾系统形成的集束水流和水雾对图像的影响，稳定可靠的消除以上因素对煤壁信息的遮挡，大大提高了图像的清晰度以及提取图像信息的准确度。

附图说明

图1是本发明中摄像仪的安装位置示意图；

图2是本发明的工作流程图。

具体实施方式

下面将对本发明作进一步说明。

如图1所示，本发明采用的图像采集系统包括多个摄像仪和计算机，每个液压支架顶梁下部均安装一个摄像仪，计算机装在其中一个液压支架上，将各个摄像仪均与计算机连接，如图2所示，具体步骤为：

步骤一、在采集图像之前，人工调整各个摄像仪的角度，使得每个摄像仪均能采集到各自对应煤壁的顶部以及底部，且所有摄像仪所采集的所有图像信息的总和能覆盖整个煤壁的顶部以及底部，在图像采集过程中摄像仪与煤壁之间无遮挡物以及无强光；

步骤二、按照步骤一设置后在每次采煤机运行到任一摄像仪覆盖区域之前，先使用各个摄像仪均采集一张没有采煤机的煤壁图片，并传递给计算机存储作为先验图像；

步骤三、当采煤机经过任一摄像仪覆盖区域时，当前摄像仪进行拍摄得到带有水雾图像，对该带有水雾图像的每个像素点进行处理，取每一像素点R，G，B值中的最小值作为这一像素点的灰度值，从而得到带有水雾图像的暗通道图；

步骤四、将得到的暗通道图进行高斯滤波，滤波后将图像转化成二值图像，之后对二值图像进行开运算，将获得的图像作为掩码对图像中的水雾区域进行分割，从而获取水雾区域图像；

步骤五、由于降尘装置喷出的水是程喷射状的，由高斯扩散公式可知，处于不同位置的水雾会因为雾滴扩散作用发生水雾浓度不均的现象，由同一设备产生的人造水雾雾滴的平均半径参数不发生巨大变化，因而导致不同位置处水雾消光性能差异的最主要原因就是雾滴密度的变化，通过对图像的观察可以发现，沿着喷射的方向水雾浓度逐渐降低，所以水雾的浓度与这一部分区域到喷嘴的距离有关，故建立雾滴密度与水雾空间位置的关系，具体为：

先设定一个阈值Q，采用3*3的卷积核对步骤四获取的水雾区域图像进行卷积，找出平均灰度值超过阈值Q的区域作为喷射水雾中心；

然后设定两个阈值D

其中，Q为水雾释放速率，单位为g/s；μ为释放水雾时喷嘴口的雾滴喷出平均速度，单位为m/s；σ为大气扩散标准差，它与大气稳定度及地形参数有关。由于井下环境没有风，并且比较昏暗，所以取比较稳定状态下的扩散系数为标准差，经查表得标准差为0.065。

步骤六、随着采煤机的切割，同一区域的煤壁会由于切割次数的增加而导致煤壁具有细微的变化，所以考虑到时间尺度上煤壁的变化，故在本次采煤机切割时选择其前三次采煤机切割后的无水雾图像的同一区域作为当前区域的先验知识，取有水雾图像与无水雾的图像在同一区域的差值的平方再求其加权平均值最后再开方，得到的值作为此时有水雾图像与无水雾图像的灰度差值和亮度差值，具体为：

选择前三次采煤机切割后的无水雾图像，由于前三次距离本次采煤机运行的时间长短不一样，所以差值所占的权重也不一样，分别对各个图像设定权重为w

其中g’(x,y)为(x,y)处的带有水雾图像的灰度值，g

同样的，对于亮度值也采用上述灰度值的方法判断亮度差值的大小，最近三张HSV图的权重设为α

其中v’(x,y)为(x,y)处的带有水雾图像的亮度值，v

若本次采煤机切割时其之前不足三次无水雾图像，则选择其之前所有次数采煤机切割后的无水雾图像的同一区域作为当前区域的先验知识，并重复本步骤完成灰度差值和亮度差值的计算；若之前仅有一次，则选择当前这一张无水雾图像与有水雾图像在同一区域的差值作为灰度差值和亮度差值，若之前有两次，即有两张无水雾图像，则根据前两张无水雾图像与当前有水雾图像在同一区域的差值的平均值作为灰度差值和亮度差值。

步骤七、将步骤五和六获得的数据均带入基于大气散射的模型公式内，从而得出水雾区域图像中各个像素点在无雾图像中对应的像素值，具体为：

将Δg、Δv以及d带入基于大气散射模型的公式，具体公式为：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

t(x)＝e

其中公式(1)为大气散射模型，x为像素点的位置，I(x)为摄像仪获得的带有水雾图像，J(x)为期望获得的无水雾图像，t(x)为光线传播路径中大气介质透射率，计算方法见公式(2)，A为无穷远处全局大气光值；

在公式(2)中，K代表消光系数，d(x)表示入射光到摄像仪的景深，c(x)为传输路径中大气介质浓度分布；

由于K是一个常数，d(x)的变动范围也很小，所以取Kd(x)为一个常数β，则t(x)就变为：

t(x)＝e

获得无水雾图像的公式就变为：

其中无穷远处全局大气光值A通过以下方法获得：

1)从暗通道图中按照灰度的大小取前0.1％的像素位置；

2)在这些位置中，在原始带有水雾图像中寻找对应的具有最高灰度像素点的值，作为A值；

水雾浓度根据上述得出的特征量来计算，水雾浓度的表达式如下：

c(x)＝θ

则获得无水雾图像的公式就变为

/>

令βθ

则最终公式就变为

其中C

通过公式(8)将C

通过实验的方法获得带有水雾图像和无水雾图像的数据集，通过线性回归的方法获得C

步骤八、将步骤七获得各个像素点对应的像素值带入步骤三带有水雾图像中水雾区域对应的位置，在形成无水雾的图像时，为了防止产生明显的边界，先用中值滤波对图像进行处理，去除边界，再用原图作为引导图对图像进行导向滤波，从而保证生成的无水雾图像的细节信息，最终得到无水雾的图像；

步骤九、当本次采煤机离开摄像仪覆盖区域后，再拍一张照片，作为新的先验知识供下一次使用，转换成灰度图像和HSV图，作为两个新的先验知识供下一次使用，也作为后续对去雾模型参数进行调整的依据，具体调整过程为：将本次采煤机离开后拍摄的无水雾的图像与本次采煤机切割时通过上述方法计算得出的无水雾图像进行比较，具体比较方法为：将两张图像转成灰度图和HSV图，并取灰度相减和亮度值相减的差值图。将差值图像各像素点的值相加，获得的结果分别为，灰度图像差值为F

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。