一种用于机器人焊接视觉的图像快速降噪模型建立方法

技术领域

本发明属于成像技术领域。

背景技术

在制造业中，机器人焊接发挥着重要的作用，其中成像系统在焊缝识别跟踪中又至 关重要。在很多机器人焊缝跟踪中焊接飞溅噪音不可避免，这就在一定程度上使成像画面产生过曝光的情况，同时飞溅噪音可能干扰比如焊缝、导引激光等视觉信息。

申请公布号为CN111299763A的发明专利，提出了一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统，通过对抗神经网络解决焊接过程强噪声干扰问题，又如申请公布 号为CN111028159A的发明专利通过神经网络矫正带有噪声的图像，但是将此类方法应 用在焊接中，需要上位机具备强大的运算能力，对图像进行复杂的计算，耗时较长。申 请公布号为CN110072051A的明专利通过获取多帧图像并对它们进行合成，所得图像在 亮光和暗光区域均获得良好的可视效果，而应用此类方法同样需要进行大量计算，并且 方法重点针对静态目标，而焊接飞溅为运动目标，使得多帧图像信息不同，并不适用。PhotonFocus公司提出的LinLog技术(线性对数成像技术)，在图像传感器层面， 抑制了光电转化进程，使得接受少量光子的像素正常线性曝光，而接受大量光子的像素 以相对缓慢的速度接近灰度饱和，以达到高动态范围成像的目的，但获取的结果图像可 能存在强光‘晕开’的效果，使得部分画面清晰度变低。

发明内容

本发明目的是为了解决机器人焊缝跟踪过程中需要快速降低飞溅噪音以及成像的问题， 提供了一种用于机器人焊接视觉的图像快速降噪模型建立方法。

本发明所述一种用于机器人焊接视觉的图像快速降噪模型建立方法，具体包括：

步骤一、获取多帧曝光时长不同的标定图像；

步骤二、计算所有标定图像，每个像素点的辐照度表达值；

步骤三、计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最 终的辐照度表达值；

步骤四、利用色调映射函数，将所述最终的辐照度表达值压缩成目标灰度值；

步骤五、任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的 目标灰度值，构造带有映射关系的查找表，所述查找表的横纵坐标分别是曝光时间不同图 像的像素灰度值；

步骤六、利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；

步骤七、将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积 平均法对脊线区域数据进行修正；完成模型建立。

进一步地，本发明中，步骤一中多帧曝光时长不同的标定图像：至少包括一帧最短曝 光时间图像与一帧最长曝光时间图像，且曝光时间均不同，在采集过程中保持工业相机与 采集场景相对静止。

进一步地，本发明中，步骤二中计算所有标定图像，每个像素点的辐照度表达值的具 体方法为：

步骤二一、根据像素灰度与辐照度以及曝光时间的固有关系，建立关系函数；

步骤二二、设定关系函数的损失函数，利用最小二乘法，获得辐照度表达值函数；

步骤二三、将每个标定图像每个像素点的灰度和曝光时长代入辐照度表达值函数，获 得每个标定图像像素点的辐照度表达值。

进一步地，本发明中,步骤二二中设定关系函数g的损失函数，利用最小二乘法，获得 辐照度表达值函数的具体方法为：

设定关系函数的损失函数：

其中，g(Z

g″(Z

当像素灰度靠近极值

其中，γ

利用最小二乘法，求解关系函数g(Z

E

进一步地，步骤三中计算所有图像对应像素点辐照度表达值的加权平均值的具体方法 为：

将所有标定图像按照曝光时长由短到长升序排列，构建三维矩阵，所述三维矩阵的第 一层为最短曝光时长帧，最后一层为最长曝光时长帧；

从第1层到第n层依次搜索所有饱和像素点，并且记录该像素点的位置，并将具有饱 和像素点的层之后的m个层在对应所述饱和像素点位置的像素点剔除；获得有效像素点； 其中，m为大于1且小于n的整数；

计算三维矩阵第一、二维度中多个平面中的每个像素位置的有效像素点的辐照度表达 值，并计算所述辐照度表达值的加权平均值，其中，加权平均值计算采用的权重参数为灰 度权重因子。

进一步地，步骤四中利用的色调映射函数由非线性函数组成，含有输入输出两个维度， 输入维度的极小或极大值附近所形成的函数曲线斜率小于非极小或极大值附近的范围所形 成的函数曲线斜率。

进一步地，步骤五中任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对 应像素点的目标灰度值，构造带有映射关系的查找表的具体方法为：

建立空的二维矩阵，矩阵每个维度尺寸等于标定图像的灰度级数；

将两帧曝光时长不同的标定图像中相同像素位置的两个灰度值与二维矩阵的横坐标和 纵坐标对应，将像素点的目标灰度填到二维矩阵的对应位置。

进一步地，还包括步骤八,所述步骤八包括判断带有映射关系的查找表是否有空缺位， 若有空缺，空缺位在脊线区域左下方的，填充为对应空缺位上方的脊线区域边缘的数据， 若空缺位在脊线区域右上方的，填充为应空缺位左方的脊线区域边缘的数据。

本发明通过获取多帧标定图像，筛选有效像素，还原辐照度表达值，保证了还原结果 的准确性，通过第二次筛选有效未饱和像素，剔除了在反映辐照度表达值时失效的像素， 保证了色调映射输出的分辨率，通过构造查找表，形成输入和输出的映射关系，通过对查 找表修正和对其空缺位置补齐标定，形成有策略地响应的高动态相机成像模型，使标定好 的模型对于任意输入组合产生有效响应。用所述标定方法获得的模型，在机器人焊缝跟踪 应用中能够实现对飞溅噪音的降噪，使图像清晰度保持较高水平，由于整体模型基于查找 表，在应用中无需再进行图像处理或神经网络等耗时的复杂操作，能够快速地将成像与降 噪同时完成。

附图说明

图1是本发明所述方法的流程图；

图2为本发明所述模型建立示意图；

图3为本发明实施例提供的用于机器人焊接视觉的图像快速降噪模型建立方法在应用 阶段的示例图；

图4为采用LinLog技术对机器人焊接视觉的图像处理的效果图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述用于机器人焊接视 觉的图像快速降噪模型建立方法，具体包括：

步骤一、获取多帧曝光时长不同的标定图像；

步骤二、计算所有标定图像，每个像素点的辐照度表达值；

步骤三、计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最 终的辐照度表达值；

步骤四、利用色调映射函数，将所述最终的辐照度表达值压缩成目标灰度值；

步骤五、任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的 目标灰度值，构造带有映射关系的查找表，所述查找表的横纵坐标分别是曝光时间不同图 像的像素灰度值；

步骤六、利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；

步骤七、将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积 平均法对脊线区域数据进行修正；完成模型建立。

本实施方式中，步骤七中数据集中分布区域为邻域能够互相连通的所有非空位置组成 的区域，所述邻域，即该坐标位置紧邻的8个坐标位置，所述相互连通就是中间没有空位。

进一步地，本实施方式中，步骤一中多帧曝光时长不同的标定图像：至少包括一帧最 短曝光时间图像与一帧最长曝光时间图像，且曝光时间均不同，在采集过程中保持工业相 机与采集场景相对静止。

本实施方式中，最短曝光时间不短于相机的单位曝光时间，最长曝光时间应该不使该 帧图像所有像素过曝。

进一步地，本实施方式中，步骤二种计算所有标定图像，每个像素点的辐照度表达值 的具体方法为：

步骤二一、根据像素灰度与辐照度以及曝光时间的固有关系，建立关系函数g；

步骤二二、设定关系函数g的损失函数，利用最小二乘法，获得辐照度表达值函数；

步骤二三、将每个标定图像每个像素点的灰度和曝光时长代入辐照度表达值函数，获 得每个标定图像像素点的辐照度表达值。

进一步地，步骤二二中设定关系函数的损失函数，利用最小二乘法，获得辐照度表达 值函数的具体方法为：

设定关系函数的损失函数：

其中，g(Z

g″(Z

当像素灰度靠近极值Z

其中，γ

利用最小二乘法，求解关系函数g(Z

E

进一步地，步骤三中计算所有图像对应像素点辐照度表达值的加权平均值的具体方法 为：

将所有标定图像按照曝光时长由短到长升序排列，构建三维矩阵，所述三维矩阵的第 一层为最短曝光时长帧，最后一层为最长曝光时长帧；

从第1层到第n层依次搜索所有饱和像素点，并且记录该像素点的位置，并将具有饱 和像素点的层之后的m个层在对应所述饱和像素点位置的像素点剔除；获得有效像素点； 其中，m为大于1且小于n的整数；

计算三维矩阵第一、二维度中多个平面中的每个像素位置的有效像素点的辐照度表达 值，并计算所述辐照度表达值的加权平均值，其中，加权平均值计算采用的权重参数为灰 度权重因子。

进一步地，步骤四中利用的色调映射函数由非线性函数组成，含有输入输出两个维度， 输入维度的极小或极大值附近所形成的函数曲线斜率小于非极小或极大值附近的范围所形 成的函数曲线斜率。

进一步地，步骤五中任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对 应像素点的目标灰度值，构造带有映射关系的查找表的具体方法为：

建立空的二维矩阵，矩阵每个维度尺寸等于标定图像的灰度级数；

将两帧曝光时长不同的标定图像中相同像素位置的两个灰度值与二维矩阵的横坐标和 纵坐标对应，将像素点的目标灰度填到二维矩阵的对应位置。

进一步地，还包括步骤八,所述步骤八包括判断带有映射关系的查找表是否有空缺位， 若有空缺，空缺位在脊线区域左下方的，填充为对应空缺位上方的脊线区域边缘的数据， 若空缺位在脊线区域右上方的，填充为应空缺位左方的脊线区域边缘的数据。

在本实施方式中，还包括对所述查找表进行修正并对其空缺位置进行补齐，包括：对 查找表中存在数据的非空位置所形成的区域进行图形学操作，消除离群点，与区域边缘的 毛刺，规定所剩余区域为脊线区域；按照该先验条件，对所述脊线区域的像素灰度进行平 滑，令脊线区域的灰度变化符合曝光规律。

在本发明的一个实施例中，所述对所述查找表进行修正并对其空缺位置进行补齐，还 包括：

找到查找表除了脊线区域意外的空缺区域；

当某空缺位置的短曝光坐标值大于其长曝光坐标值所对应的脊线上的最大短曝光坐标 值，则将所述最大短曝光坐标值，与所述空缺位置的长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；

当某空缺位置的长曝光坐标值大于其短曝光坐标值所对应的脊线上的最大长曝光坐标 值，则将所述空缺位置的短曝光坐标值，与所述最大长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；

短曝光坐标和长曝光坐标分别为最小值时的所有坐标位置设为期望最小灰度级，对剩 余空缺位置进行平滑插值，完成成像模型的标定。

具体实施例：结合图2至图4说明本实施例：

用于机器人焊缝跟踪快速降噪的高动态相机成像模型标定，应用于带有飞溅噪音的成 像过程。请参见图2，图2为本发明所述模型建立示意图,并用于机器人焊缝跟踪快速降噪 的高动态相机成像模型中，包括：

步骤101，获取多帧标定图像。

在本实施例中，所述获取多帧标定图像，包括两帧或两帧以上数量的图像，曝光时间 均不同，其中至少包括一帧最短曝光时长图像与一帧最长曝光时长图像，在采集过程中保 持工业相机与采集场景相对静止。对于工业相机参数而言，除曝光时长有区别，其他参数 的设定均与实际应用时的参数保持一致。

步骤102，对标定图像合成，得到辐照度表达值。

步骤103，提取任意两帧标定图像，对辐照度表达值压缩，将压缩结果与所述两帧标 定图像构造出带有映射关系的查找表。

步骤104，对查找表进行修正并对其空缺位置进行补齐，形成成像模型。

为了使标定更为准确，并且适用于焊缝跟踪中存在强光的实际应用情况，可以对采集 环境做进一步要求，对采集的标定图像的数据进行合理利用，并通过多帧标定图像计算目 标物体真实光强的反映情况，图2为本发明实施例所提供的第二种用于机器人焊缝跟踪快 速降噪的高动态相机成像模型标定方法的流程示意图，包括：

步骤201，选取采集场景，使相机视野包括接近焊缝跟踪场景的强光与弱光。

在本实施例中，所述采集过程，利用工业相机自身功能或外接设备触发工业相机电子 快门并控制曝光时长，并快速完成多帧标定图像的采集，随着采集过程开始到结束，所述 标定图像曝光时间不须呈现升序排列，但考虑后续数据整理的方便性，推荐按照曝光时长 升序排列进行采集。

所述采集场景，包括强光区域与弱光区域，工业相机视野内的目标物体的光辐射照度 的极值符合最终应用场景的光辐射照度的极值，所述强光区域所对应的目标物体处于辐照 度稳定不变的状态，利用自然光源或人为光源进行所述采集场景布置，即使工业相机视野 内部分区域包含太阳光或对准工业相机的强光手电。

所述工业相机应包括可二次开发的程序接口或能够被外接设备控制曝光开始与终止的 IO端，需要注意的是，通常相机默认功能中不具备步骤101中变时长曝光的功能，一种有 效的方法是可以通过FPGA开发板连接相机IO，通过VerilogHDL语言设计曝光时刻与时 长(高电平信号)与图像数据读出时刻与时长(低电平信号)，将比特流文件烧写到FPGA中，再将相机设置为脉冲宽度触发曝光的模式，准备开始采集。需要注意的一点是，图像 读出时间根据相机型号的不同有所差异，低电平信号应保留足够短(保证整体采集过程迅 速完成)但又不应过短，否则在上一帧未完全读出时便开始下一帧的读出，可能造成丢帧， 低电平信号的时长设计应通过多次实验得出。需要注意的另一点是，工业相机IO触发电压 可能为12伏或其他大于3.3伏的数值，FPGA或其他开发板IO一般提供3.3伏的输出，此 处可通过高频光耦合器进行电压转换。

步骤202，设置不同曝光时长，采集标定图像。

在本实施例中，曝光时间均不同，如标定图像数量超过两帧，将所有图像按照曝光时 间升序排列后，所有相邻两帧图像的曝光时间所呈现的比例关系应当相同。例如，以第一 帧曝光10微秒为最短曝光时长图像，并以下一帧曝光时长是前一帧2倍的比例进行曝光， 第二帧为20微秒，第三帧40微秒，直至第十二帧曝光20.48毫秒，一组标定图像获取完成。当然，为使获取的标定图像中的像素灰度不具有偶然性，可连续进行两组标定图像的获取，通过均值法减小误差。

步骤203，筛选出在较短曝光时长的标定图像中未发生饱和的有效像素。

在本实施例中，为防止存在像素点在最短曝光时长帧出现灰度饱和，而导致其他帧在 该像素点位置的灰度参考意义变小，需要对标定图像的像素进行有效筛选。对于曝光规律 来说，辐照度E不变，曝光时长Δt越大，曝光量X越大，所获图像的灰度越大，较短曝光时 长帧出现灰度饱和时，通常曝光大于该时长的帧也会处于饱和状态，除了恰好出现饱和的 一帧以及曝光时长小于该帧的帧，其他帧均不能反映X的真实状态。需要注意的一点是，由 于焊接电弧光强极强，即便是最短曝光时长的那一帧，灰度仍有可能出现饱和，用来模拟 焊接电弧光强的采集场景有相同情况，若利用同一像素的十二帧计算辐照度E，可能大部分 帧会对结果产生误导。

这里，将所有标定图像按照曝光时长由短到长升序排列，赋值到新的三维矩阵中，所 述矩阵第三维度为时序维度，第一层为最短曝光时长帧，最后一层为最长曝光时长帧，从 第一层到第n层搜索是否有饱和像素点，若有则记录第n层该像素点位置，并删除n加2层之后的所有层在该位置的像素点，所有帧余下像素为有效像素。当总层数为十二时，此处设定n最大为3。

步骤204，通过多帧标定图像中的有效像素计算辐照度表达值。

在本实施例中，根据像素灰度与辐照度以及曝光时间的固有关系，建立函数g，并写为： g(Z

所述g函数中，Z

设定损失函数表达式为：

其中，g″(z)为函数g曲线的平滑控制参数，其在z处的表达式为g″(z)＝g(z-1)-2g(z)+g(z+1)，λ为函数O

对于采集场景所对应的每帧标定图像中每一个像素位置，利用求取的所述g函数曲线以 及已知的曝光时间先验条件和像素灰度，计算其辐照度表达值E

步骤301，选取任意两帧标定图像，保留未饱和像素。

在本实施例中，从所有标定图像中选择两帧标定图像，记为短曝光图与长曝光图。选 取两帧的目的是为了标定该两帧作为输入值时的输出值。在应用场景中计划交替进行两种 时长的曝光，例如，40微秒与320微秒的帧交替曝光，第一个曝光时长为40微秒的帧作为第一对输入的短曝光时长帧，320微秒的帧作为第一对输入的长曝光时长帧，在第二次曝光40微秒时长时，该帧将与第一对输入中的320微秒的帧共同组成第二对输入。

每对输入的两种时长，应结合实际应用进行设计，一种可行的方法是，将十二帧标定 图像全部两两配对，与第一帧配对的组合有11种，与第二帧配对的其他组合有10种，以此类推，共有66种组合。所述选取任意两帧标定图像均在所述66种组合中。需要注意的 一点是，可以对所有组合进行接下来的操作，随后对每种组合得到的结果储存到记忆单元中，但通常一部分组合由于对应的输入并没有显示出明显差异性，故不对该部分组合进行选取，实际应用中也不选择该组合方式作为一对输入的两种曝光时长，例如20.48毫秒与10.24毫秒曝光时长的结果可能差异不大，并且图像大部分区域灰度饱和，没有参考价值。

将短曝光图、长曝光图、采集场景的辐照度表达值分别降维形成q行一列的数组，像 素位置相对应并合并整理成q行三列的数组，搜索第一列是否有像素是饱和灰度，若有则 删除该像素所对应的辐照度表达值。一帧中的饱和区域通常为多个像素，短曝光帧中的所 有饱和灰度位置可能为恰好饱和，或过饱和(但由于达到了最大灰度值，只能全部显示最 大灰度)，其所对应的辐照度表达值并非相同数值。故该区域的辐照度表达值在所选的两帧 标定图像中并不具有理论上的单一映射关系，这里使该类短、长曝光输入、辐照度表达值 失效，并将其替换为短曝光图中比饱和灰度小一个灰度级的像素位置所对应的所有辐照度 表达值的平均值。此时保留的像素较之前少了一个灰度级别，但有利于将所有未饱和像素 映射到理想的输出域中，保证了色调映射输出的分辨率。

步骤302，参考两帧标定图像，设计色调映射函数。

将调整后的辐照度表达值通过色调映射函数进行压缩，转化为普通成像设备可显示的 灰度值。所述色调映射函数，由幂函数，对数函数组成，分别为：y＝a*x

步骤303，将保留的像素所对应的辐照度表达值压缩到目标灰度。

将所有辐照度表达值带入所述色调映射函数，进行数值的压缩。

步骤304，将选取的图像与之像素位置对应的压缩结果分别作为输入与输出，建立查 找表。

在本实施例中，建立空的二维方阵，矩阵每个维度尺寸等于曝光图的灰度级数，当级 数为256时，矩阵尺寸为256*256。将所述m行三列的数组的第一、二列唯一化，将所有 第一列元素相同且第二列元素相同的行提取出来记为

将所述查找表记为

对查找表非空区域进行处理的过程。

步骤401，图形学操作对查找表非空区域进行处理。

在本实施例中，对查找表中存在数据的非空位置所形成的区域进行图形学操作，消除 明显的离群点，与区域边缘的毛刺，使得区域边缘平滑，规定多数数据分布所在区域为脊 线区域。其中，由于查找表中的输入组合不可避免的存在偶然项，即

步骤402，利用先验条件对查找表非空区域进行修正。

在本实施例中，对非空区域修正，使得脊线在数值上更合理。以8位深像素为例，从

需要注意的一点是，原始查找表中

短、长曝光灰度越大，所映射出的合成图灰度也应该越大，故为了保证在查找表的每 个坐标轴上每个位置对应的脊线区域上另一坐标轴最大值位置的灰度，随着该坐标轴坐标 数值变大而变大，采用逐行与逐列搜索的方式，删除脊线区域边缘不符合先验条件的点。

步骤403，综合焊缝跟踪场景下的噪音特点对查找表空区域，进行有策略地补齐填充， 完成对期望输出结果的标定。

在本实施例中，对于查找表的空缺位置进行补齐，考虑焊缝跟踪场景的飞溅通常亮度 高，速度快的特点，同一飞溅物一般在连续两帧图像中不会出现在同一位置，故如果在焊 接图像获取中出现某一帧某个位置的灰度与另一帧该位置的灰度，组合后的坐标值并未落 所述脊线区域，将人为剔除灰度较大的像素输入，凭借另一帧图像的灰度输入获取输出值， 根据本先验条件填充所述查找表，对空缺位置

其中

当某空缺位置的短曝光坐标值大于其长曝光坐标值所对应的脊线上的最大短曝光坐标 值，则将所述最大短曝光坐标值，与所述空缺位置的长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；当某空缺位置的长曝光坐标值大于其短曝光坐标值所对应的脊线上的最 大长曝光坐标值，则将所述空缺位置的短曝光坐标值，与所述最大长曝光坐标值的组合位 置的灰度赋值给所述空缺位置。

输入组合的坐标位于脊线区域时，输出结果无需与其他值对齐。

短曝光坐标和长曝光坐标分别为最小值时的所有坐标位置设为期望最小灰度级，这里 将所有

需要注意的一点是，由于存在电弧、飞溅、烟尘等因素的真实场景的不可重复性，即 任何一帧图像均不可能存在另一幅相同的图像，所展示的对比图像也无法完全和被对比图 像呈现相同的场景画面，但展示的所有图像均反映了实验中的普遍情况，具有一定代表性。

在真实焊接条件下，采用LinLog技术对机器人焊接视觉的图像处理的效果图像作为对 比图像,如图4所示，,LinLog技术在图像传感器层面抑制了光电转化进程，使得接受少量 光子的像素正常线性曝光，而接受大量光子的像素以相对缓慢的速度接近灰度饱和，以达 到高动态范围成像的目的，Laplacian梯度函数、Brenner梯度函数、SMD，等是图像清晰 度的评价指标，对比效果见下表：

由上表可见，采用本发明所述模型后的成像结果的清晰度均优于对比图像，并且在前 五种评价指标下，其清晰度均优于所有或其中一个输入的曝光图。基于所述标定方法所得 到的模型在测试中给出输入数据，输出成像结果，运行速度在i5-7300移动版CPU上为95 帧/秒，在GTX1050移动版GPU上为990帧/秒。针对普通成像设备60帧/秒的工作性能， 该成像速度基本满足实时性要求。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例 仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多 修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范 围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要 求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他 所述实施例中。