基于视觉和单像素标定的液态料滴特征的实时监测算法

技术领域

本发明属于液态料滴监测技术领域，特别涉及液态高温料滴的图像处理及质量获取算法，适用于液态料滴的形状、体积和质量特征的监测，具体是指基于视觉和单像素标定的液态料滴特征的实时监测算法。

背景技术

在钢铁、玻璃、塑料等制造行业产品的产品质量控制是通过控制溶液料滴质量来实现的，料滴的质量是通过料道冲头或剪刀的机械配合来实现的，在上述过程中很难精准获取料滴的质量。因此导致产品的质量控制很难精确到目标值，成为行业壁垒。另外液体料滴在下落过程中，无法对其进行称重等操作，只能考虑如何通过无接触间接手段进行监控。

高速相机是工业相机的一种，一般高速相机指的是数字工业相机，其一般安装在机器流水线上代替人眼来做测量和判断，通过数字图像摄取目标转换成图像信号，传送给专用的图像处理系统。高速相机视觉分析为行业提供了解决方案，每秒上百帧的采样和高分辨率，可以实时获取每个料滴的下落完整图像。但料滴在自由下落过程中其受到空气力学和剪刀初始剪应力的作用会发生倾斜和表面不规则。

发明内容

发明要解决的问题：

针对上述情况，为克服现有技术的缺陷，本发明的目的在于提供一套能在料滴下落过程中实时获取料滴质量的的基于三相机视觉的立体建模及单像素质量标定算法；针对料滴在自由下落过程中其受到空气力学和剪刀初始剪应力的作用会发生倾斜和表面不规则的情况，通过算法对其进行纠正，然后采用多相机多视角进行立体建模，提高可视面积获取更多表面不规则状态，提高观测数据和算法精度，综合保证计算的体积不受到技术条件影响。

通过标记一个料滴并对其称重获取其体积和质量后计算单个立体像素的标定平均质量，作为后续料滴监测的公共变量，从而可以实时获取生产过程中的所有料滴的质量，并在生产过程中及时标定和纠正单个立体像素的标定平均质量。

解决问题的技术手段：

本发明提出的基于视觉和单像素标定的液态料滴特征的实时监测算法，包括如下步骤：

步骤一、通过相机分别实时采集一个料滴的一组图像，并对图像进行轮廓识别，得到识别轮廓；

步骤二、将步骤一中的识别轮廓进行比例缩放和竖直矫正；重新获得一组三张新图像；

步骤三、根据新图像的三条轮廓曲线和三个新图像的第n行轮廓点的中心点形成的中心线，采用拟合算法建立立体模型，并计算包含立体像素数；

步骤四、对标定料滴进行称重；

步骤五、根据标定料滴的包含立体像素数和质量，计算单个立体像素的标定质量；

步骤六、根据后续测量的料滴的体积和单个立体像素标定质量，计算和监控料滴的实时质量。

进一步地，步骤一中所述的相机的为三台相机，一组图像为三张图像，识别轮廓为三个识别轮廓。

作为优选地，步骤一中所述的轮廓识别的方法为对三张图像进行二值化处理后提取轮廓，具体为提取各自轮廓边界线的轮廓点的坐标值。

作为本发明的进一步优选，所述轮廓点的坐标值为连续且封闭的边界像素串的行列值。

作为本发明的进一步优选，步骤二中所述的比例缩放和竖直矫正的方法为获取每张料滴识别轮廓中的顶部和底部的切线切点，并计算料滴形状的高度值(即：顶切点和底切点的行数差)和宽度值(最左切点和最右点切线的切点的列数差)，按照第一张图像的高度值将其他两张图像进行比例缩放，重新获得一组三张新图像，新图像分别为新图像A、新图像B、新图像C。

进一步地，步骤三中所述的采用拟合算法建立立体模型，并计算包含立体像素数的具体步骤包括如下操作：

1)移动中心分层匹配

为了将三张等高度的新图像的轮廓矢量架构形成料滴立体轮廓，将等行号的六个轮廓点进行二维中心匹配，第n行像素行对应的三个新图像的轮廓点在各自图像中的坐标值为：在第n行，新图像A中两个轮廓点坐标为(n,x

三台相机为相机A、相机B、相机C，将新图像B、新图像C按照中心点坐标平移至新图像A的中心点，同时按照相机B、相机C与相机A的夹角计入新图像点的二维坐标中，其中相机A得图片夹角为α

2)基于二倍中误差探测剔除法剔除误差数据

在采用1)中的新图像的轮廓点来构建椭圆之前，需要对错误数据或者误差较大的点进行剔除；

剔除方法：

(1)计算所有点到中心点的距离；

(2)计算所有距离的均值；

(3)计算各个距离相对均值的偏差，并计算标准差；

(4)剔除大于二倍标准差的距离偏差的点；

标准差计算公式如下：

σ为标准差，d为每个点距离中心点的距离；

3)最小二乘拟合椭圆参数

在第n层即可视为一个二维平面，已知六个点及中心位置来拟合一个椭圆；

曲线方程：

Ax

已知六个点坐标分别为第n行像素行对应的三个新图像的轮廓点在各自图像中的坐标值，六个矢量点经过角度规算后的六个平面点，并将带入到曲线法方程中,目标函数为：

最小二乘平差处理，使得f(A,B,C,D,E,F)最小，最终计算方程系数A,B,C,D,E,F的值；

根据A,B,C,D,E,F的值，按照椭圆计算公式即可计算椭圆参数：

其中，a是椭圆的长半轴的长，b是椭圆的短半轴的长，x

继而，可以计算椭圆所在像素行的面积(即：含有的像素数量)：

s

其中，s

4)逐层叠加累加计算立体料滴体积：

其中，V为立体料滴体积。

作为优选地，步骤五中所述的计算单个立体像素的标定质量包括如下步骤：

首先进行步骤四对标定料滴产品进行称重，获取其质量G

v

其中，v

作为本发明的进一步优选，步骤六中所述的计算和监控料滴的实时质量，其中每个料滴的实时质量计算如下：

G

其中，G

作为优选地，所述三台相机为三个分别交叉任意角度的相同分辨率的相机。

采用上述方案本发明取得的有益效果如下：

本发明采用三个分别交叉任意角度的相同分辨率的相机，对生产线上液体熔炉料口处的下落的料滴进行实时拍照，对三张同名图像进行匹配，经过轮廓识别、比例缩放、竖直纠正、同轴立体拟合，从而获取立体包含的立体像素数；同时，对一个标记料滴进行精确称重后，采用该标定料滴重量和立体像素数计算单个立体像素的标记质量；后续料滴即可采用单立体像素的标记质量和实时计算的包含立体像素数来计算其质量。该算法可以实现对生产线上的所有料滴进行实时形状和质量获取及监测。

本发明提供了一套能在料滴下落过程中实时获取料滴质量的的基于三相机视觉的立体建模及单像素质量标定算法；针对料滴在自由下落过程中其受到空气力学和剪刀初始剪应力的作用会发生倾斜和表面不规则的情况，通过算法对其进行纠正，然后采用多相机多视角进行立体建模，提高可视面积获取更多表面不规则状态，提高观测数据和算法精度，综合保证计算的体积不受到技术条件影响。

通过标记一个料滴并对其称重获取其体积和质量后计算单个立体像素的标定平均质量，作为后续料滴监测的公共变量，从而可以实时获取生产过程中的所有料滴的质量，并在生产过程中及时标定和纠正单个立体像素的标定平均质量。

本方案能够实时获取每个料滴立体模型和质量等特征，并且精度很高，数据准确可靠，为液态料滴的监控提供了的数据支持。

附图说明

图1为本发明三台相机获取图像的数据采集工作图；

图2为液态料滴下落过程中通过相机采集的三张图像；

图3为进行比例缩放和竖直矫正后的三张新图像；

图4为二值化处理后提取轮廓示意图；

图5为液态料滴下落过程中通过相机采集的三张图像的轮廓图；

图6为进行比例缩放和竖直矫正后的三张新图像的轮廓图；

图7为第n行像素行对应的六个轮廓矢量点及中心点坐标值；

图8为第n行轮廓点的中心匹配图；

图9为三维料滴切面的二维平面椭圆表达图；

图10为根据三相机拟合的立体模型；

图11为对料滴质量实时质量监测的曲线图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1～图11所示，本发明提出了基于视觉和单像素标定的液态料滴特征的实时监测算法，包括如下步骤：

步骤一、参见附图1三台相机获取图像的数据采集工作图，通过相机分别实时采集一个料滴的一组图像(参见附图2和附图3)，并对图像进行轮廓识别，得到识别轮廓；

步骤二、将步骤一中的识别轮廓进行比例缩放和竖直矫正；重新获得一组三张新图像；

步骤三、根据新图像的三条轮廓曲线和三个新图像的第n行轮廓点的中心点形成的中心线，采用拟合算法建立立体模型，并计算包含立体像素数；

步骤四、对标定料滴进行称重；

步骤五、根据标定料滴的包含立体像素数和质量，计算单个立体像素的标定质量；

步骤六、根据后续测量的料滴的体积和单个立体像素标定质量，计算和监控料滴的实时质量。

作为本方案的一种实施例，如图1所示，步骤一中所述的相机的为三台相机，三台相机为三个分别交叉任意角度的相同分辨率的相机。一组图像为三张图像；识别轮廓为三个识别轮廓。

作为本方案的一种实施例，如图4所示，步骤一中所述的轮廓识别的方法为对三张图像进行二值化处理后提取轮廓，如图5所示，具体为提取各自轮廓边界线的轮廓点的坐标值。

优选的，所述轮廓点的坐标值为连续且封闭的边界像素串的行列值。

承接上述实施例，作为本方案的另外一种实施例，如图5所示，步骤二中所述的比例缩放和竖直矫正的方法为获取每张料滴识别轮廓中的顶部和底部的切线切点，并计算料滴形状的高度值(即：顶切点和底切点的行数差)和宽度值(最左切点和最右点切线的切点的列数差)，如图6所示，按照第一张图像的高度值将其他两张图像进行比例缩放，重新获得一组三张新图像，新图像分别为新图像A、新图像B、新图像C。

步骤三中所述的采用拟合算法建立立体模型，并计算包含立体像素数的具体步骤包括如下操作：

1)移动中心分层匹配

为了将三张等高度的新图像的轮廓矢量架构形成料滴立体轮廓，将等行号的六个轮廓点进行二维中心匹配，如图7所示，第n行像素行对应的三个新图像的轮廓点在各自图像中的坐标值为：在第n行，新图像A中两个轮廓点坐标为(n,x

三台相机为相机A、相机B、相机C，将新图像B、新图像C按照中心点坐标平移至新图像A的中心点，同时按照相机B、相机C与相机A的夹角计入新图像点的二维坐标中，其中相机A得图片夹角为α

2)基于二倍中误差探测剔除法剔除误差数据

在采用1)中的新图像的轮廓点来构建椭圆之前，需要对错误数据或者误差较大的点进行剔除；

剔除方法：

(1)计算所有点到中心点的距离；

(2)计算所有距离的均值；

(3)计算各个距离相对均值的偏差，并计算标准差；

(4)剔除大于二倍标准差的距离偏差的点；

标准差计算公式如下：

σ为标准差，d为每个点距离中心点的距离；

3)最小二乘拟合椭圆参数

在第n层即可视为一个二维平面，已知六个点及中心位置来拟合一个椭圆；

曲线方程：

Ax

已知六个点坐标分别为第n行像素行对应的三个新图像的轮廓点在各自图像中的坐标值，六个矢量点经过角度规算后的六个平面点，并将带入到曲线法方程中,目标函数为：

最小二乘平差处理，使得f(A,B,C,D,E,F)最小，最终计算方程系数A,B,C,D,E,F的值；

根据A,B,C,D,E,F的值，按照图9所示和椭圆计算公式即可计算椭圆参数：

/>

其中，a是椭圆的长半轴的长，b是椭圆的短半轴的长，x

继而，可以计算椭圆所在像素行的面积(即：含有的像素数量)：

s

其中，s

4)逐层叠加累加计算立体料滴体积：

其中，V为立体料滴体积。

作为本方案的优选实施例，步骤五中所述的计算单个立体像素的标定质量包括如下步骤：

首先进行步骤四对标定料滴产品进行称重，获取其质量G

v

其中，v

步骤六中所述的计算和监控料滴的实时质量，其中每个料滴的实时质量计算如下：

G

其中，G

以上便是本发明整体的运行流程，作为本发明的一种实施例参照图，如图10所示为本发明提出的三相机拟合的对料滴的立体模型；如图11所示为本发明对料滴质量实时质量监测的曲线图。

其中，本发明提出的三张图像建立料滴立体的算法，累加法获取立体模型的立体像素数的体积计算法，根据标定料滴的立体体积和称重质量计算立体像素标定质量，并计算后续料滴的质量，实现对料滴质量和形状进行实时监测的方法等等，上述的提出为行业内全新方法，且行业内目前无任何公开。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。