一种利用电缆截面图像对电缆的种类进行识别的方法

技术领域

本发明属于图像识别领域，尤其涉及一种针对通过切割获得的废弃电缆截面图片对电缆的种类进行识别的方法。

背景技术

废旧电缆回收是市场铜循环的重要一环。

由于铜资源尤其是中国的铜资源十分缺乏，中国的大部分铜资源都依靠回收废旧线缆获取，而废旧电缆又占据废旧线缆回收的半壁江山，因此废旧电缆回收的技术改进是十分有必要的。

目前，废旧电缆从施工现场挖出、收集并运输至仓库，在进入仓库之前，每一台运输车上的电缆会进行称重，然后作为一整批卸载到仓库内。

在仓库内的每一批电缆的规格尺寸是不一致的，直径范围为50毫米至137毫米、长度范围约3米至6米、有价值金属含量的总重量比例范围为35％至80％。

这些电缆存放在仓库直到被拍卖后给买家取走，拍卖金额是按照总重量以及低于市场的单价。

这个操作的主要问题在于，拍卖价格基于有限的信息，所以需要低于市场的价格来吸引买家，因此收入会受到抑制。

为了提高拍卖价格，进而提高整个环节的利润，需要新设计一个方案用于解决废旧电缆的分类回收任务。

上述技术方案中，需要设置一个装置用于废旧电缆的识别。该装置是一个全自动设备的集合，其从装载区提取废旧电缆，对其进行分析和处理，以便确定每一根电缆的关键数据包括有价值金属的重量，并最终根据确定的规格将其分拣到各个区域。

该装置中，其中一个重要的步骤是通过切割获得的电缆废弃截面对电缆的种类进行识别，对此，该装置使用了两种方案，其中的一个方案是获取废旧电缆的截面图像，使用图像处理的方式进行识别。

上述废旧电缆识别装置的相关结构如图1a和图1b中所示，为本发明在所应用的电缆分拣装置中的具体使用场景和使用情况。摄像头A收到PLC的拍照命令后开始获取废旧电缆前端C的照片，将照片传输到计算机中进行推理，推理所得出的结果将再发送给PLC。

该方案先将电缆运动到固定位置，之后使用机械臂(亦称三轴促动器)B将摄像头(亦称工业相机)A移动到设计用来拍照的位置。摄像头在运动到指定位置后，需要扫描废旧电缆前端C，并根据所获得的数据，通过以往的数据经验，得到所需的电缆类别。

授权公告日为2021.11.30，授权公告号为CN 112949679 B的发明专利，公开了“一种基于高光谱图像的电缆型号识别方法”，其首先对电缆截面的高光谱图像进行超像元分割得到具有光谱相似性和空间近邻性的超像元小块，将超像元平均光谱作为基本处理单元进行导体光谱匹配分析确定导体结构材料的材料类型，同时确定导体材料所对应包含的区域，对电缆截面高光谱图像中除导体结构材料区域以外的其他结构材料区域进行非线性混合像元分解，获取绝缘层、内护套、铠装层、外护套结构材料的光谱，对电缆截面中除导体结构材料区域以外的其他结构材料区域依次进行光谱匹配分析，分别确定该结构材料所采用的材质，最后根据各结构材料材质判别结果确定电缆各结构材料所采用的材料类别，对应电缆型号命名规则给出电缆型号识别结果。但是该方法需要通过基于光谱-空间信息的线性迭代聚类将电缆截面高光谱图像分割成p个超像元小块，使用参数F控制空间信息在距离衡量中的比重，还需要对分割得到的各超像元平均光谱与导体光谱材料进行光谱匹配分析；同时，其技术方案的重点，在于对电缆截面中除导体结构材料区域以外的其他结构材料区域依次进行光谱匹配分析，确定材料类别，即：通过电缆截面的高光谱图像自动对电缆截面中多种结构材料进行分类，并识别材料所属类别，进而提供电缆对应的准确型号。该技术方案适用于对新电力电缆的质量是否合格进行快速可靠的判断，并且其涉及到高光谱图像的超像元分割、导体光谱匹配分析以及非线性混合像元分解等技术方法或技术手段，需要配套的设备成本较高，所涉及到技术手段的实施成本较高，不适用于对废弃电缆的种类进行识别的使用场景和使用环境。

因此需要设计一种配置要求低，检测性能要求合格，能搭配工业相机使用的通过检测电缆截面铜芯面积比来判断电缆类型的技术方案，以完成在废旧电缆回收过程中进行电缆分类的要求。

发明内容

本发明所要解决的技术问题是提供一种利用电缆截面图像对电缆的种类进行识别的方法。该技术方案主要应用于在一种大型废弃电缆分拣机械装置中，用以解决通过电缆截面图像信息对废弃电缆的具体类别进行分辨的问题。相比于现有的通过光谱仪测量铜芯中铜含量从而确定电缆类别的方案，本技术方案利用使用图像处理获取类别能够有效排除含铜比例相近但总量存在明显差别的类别，能够处理更加复杂的图像情况，且该技术方案不会对计算机性能提出过高的要求，采用非深度学习的方法进行电缆截面图像的合成，只需要测试并改变通道合成的比例即可，对于背景的变化并不敏感，大大减少了计算工作量。

本发明的技术方案是：提供一种利用电缆截面图像对电缆的种类进行识别的方法，其特征是：

1)根据不同电缆产品的相关产品数据，建立一个与电缆种类相对应、关联的电缆参数表，电缆参数表中至少包括不同电缆产品所对应的电缆横截面中的铜芯实际面积和铜芯数量；

2)将待识别废旧电缆整理、顺直后，对待识别废旧电缆沿其长度轴线作横向切断，得到待识别废旧电缆的前端横截面；

3)用工业相机或摄像头，正对待识别废旧电缆的前端横截面，拍摄废旧电缆前端的照片，得到电缆截面图像；

4)将获取的电缆截面图像输入深度神经网络模型中，从而提取其背景，得到去除背景的截面图像；

5)将获取的图像变换至HSV空间下，提取出S通道，之后在其原始空间中，提取R通道；

6)获取的通道图像经过滤波处理，滤波后进行图像合成，合成后的新图像将同时拥有颜色和纹理的特征；

7)对合成后的图像进行轮廓提取；

8)提取出铜芯轮廓后，换算得出该铜芯的实际面积；

9)结合电缆截面的铜芯实际面积和数量，根据已有的电缆参数表，推断出具体的电缆种类。

具体的，所述利用电缆截面图像对电缆的种类进行识别的方法，首先利用深度神经网络模型得到去除背景的电缆截面图像；之后，获取图像在HSV空间下的S通道以及BGR空间下的R通道；之后对获取的通道图像经过滤波处理，再进行图像合成；之后，对合成的图像进行铜芯轮廓提取，之后对铜芯轮廓进行筛选和平滑，进一步提取圆；最后，提取出铜芯轮廓后，换算得出该铜芯的实际面积，根据已有的电缆参数表，进而推断出具体的电缆种类；实现通过对废旧电缆横截面中铜芯图像的识别，来进行废旧电缆的种类识别或分拣的功能。

具体的，在步骤4)中，在得到去除背景的截面图像后，还应当记录下电缆在原图中的位置，便于之后进行转换。

具体的，在步骤5)中，将获取的图像变换至HSV空间下，提取出S通道，之后在其原始空间中，即BGR空间中，提取R通道；其中，S通道指饱和度通道，R指红色通道，这两种通道分别对应了铜芯的颜色和纹理这两个信息。

进一步的，在步骤5)中，将S通道和R通道的图像按照一定的比例系数合成新图片，合成后图片是单通道的，空间的阈值均为0-255；

其按照一定的比例系数合成新图片的具体公式如下：

P＝R*K

其中的K

具体的，在步骤6)中，获取的通道图像需要经过滤波处理，所述的滤波处理采用双边滤波，滤波后进行图像合成，合成后的新图像将同时拥有颜色和纹理的特征。

进一步的，所述双边滤波的公式如下所示：

其中，p代表滤波器中的任意一点，q代表当前滤波值，L

具体的，在步骤7)中，在对合成后的新图像进行轮廓提取时，首先使用三角阈值法进行二值化，二值化后使用Canny边缘提取算法提取其边缘轮廓，然后对轮廓进行筛选，筛除较小的轮廓，筛除形状错误的轮廓以及被包含的轮廓，最后留下的轮廓作为铜芯的轮廓；然后再使用Douglas-Peucker算法进行轮廓平滑；之后对轮廓提取圆，提取外接圆或者同心同面积圆。

具体的，在步骤8)中，为了获得该铜芯的实际面积，需要事先进行标定，放置已知面积的铜芯，进行比值的标定工作；之后利用该比值，通过像素面积推断其实际面积，最后结合电缆截面的铜芯实际面积和数量，根据已有的电缆参数表，推断出具体的电缆种类。

本发明技术方案所述利用电缆截面图像对电缆的种类进行识别的方法，应用于在废弃电缆分拣机械装置中，用以解决通过电缆截面图像信息对废弃电缆的具体类别进行分辨的问题，其所采用的非深度学习的方法，只需要测试并改变通道合成的比例系数即可，大大减少了识别过程中的计算工作量，特别适用于通过电缆截面图像信息对废弃电缆的具体类别进行分辨或归类整理的问题。

与现有技术比较，本发明的优点是：

1.相比于通过光谱仪测量铜芯中铜含量从而确定类别的方案，本发明的技术方案使用铜芯截面图像处理来获取电缆类别，能够有效排除含铜比例相近但总量存在明显差别的类别，能够处理更加复杂的图像情况；

2.本发明的技术方案，对于识别电脑的配置要求低，非深度学习进行常规的运算，不会对计算机性能提出过高的要求；

3.深度学习式的处理图像需要预先采集足够数量的物体图像，每次增加新类改变背景都需要反复采集和重新训练，这导致增加新类或者改变测试地点都会导致大量的额外工作量，而本发明的技术方案所采用非深度学习的方法，由于其可解释性强，对于新的增加情况只需要少量的修改即可完成，更有利于应对大规模部署的情况；

4.同种电缆处于不同背景下，基于深度学习的方法需要重新采集图片进行学习，而本发明技术方案中所采用的非深度学习的方法，只需要测试并改变通道合成的比例即可，大大减少了识别过程中的计算工作量，特别适用于通过电缆截面图像信息对废弃电缆的具体类别进行分辨的问题。

附图说明

图1a、图1b是废旧电缆识别装置的相关结构示意图；

图2a至图2d是电缆截面识别的实际应用场景示意图；

图3是本发明对电缆种类进行识别的步骤方框示意图；

图4a至图4g是本发明电缆截面分类的具体实施例示意图；

图5是本发明背景提取算法的具体结构示意图；

图6是本发明背景提取算法的训练损失函数图像；

图7a至图7f是本发明技术方案进行电缆铜芯识别的实践图。

图中A为摄像头，B为三轴促动器，C为废旧电缆前端。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

图2a至图2d为电缆截面识别的实际应用场景示例。图2a和图2b两张图展示了电缆截面相近，但电缆中铜芯的芯数不同的两类电缆的截面。图2c和图2d两张图展示了不同背景下的电缆图片，虽然电缆的类别(指芯数和截面)相同，但是背景不同，背景的不同，会影响深度学习方法的输出。

本发明的发明目的，就是提供一种配置要求低，检测性能要求合格，能搭配工业相机使用的、通过检测电缆截面铜芯面积比来判断电缆类型的技术方案。该方案可以与定位电缆任务同时进行，达到廉价高效定位的效果。

如图3中所示，本发明通过以下技术方案来实现：

一种利用电缆截面图像对电缆的种类进行识别的图像处理技术方案，该方法首先利用深度神经网络模型得到去除背景的待测电缆横截面图像；之后，获取图像在HSV空间下的S通道以及BGR空间下的R通道；之后对获取的通道图像经过滤波处理，再进行图像合成；之后，对合成的图像进行铜芯轮廓提取，之后对铜芯轮廓进行筛选和平滑，进一步提取圆；最后，提取出铜芯轮廓后，换算得出该铜芯的实际面积，进而推断出具体的电缆种类。

具体的，本发明的技术方案包括以下步骤：

1)将获取的电缆截面图像输入深度神经网络模型中，从而提取其背景，得到去除背景的铜芯截面图像。此处对背景只需要做粗略分类，因此不需要过大的深度模型，由于铜芯相比于整个电缆截面较深，对错误的容忍较好，应主要考虑其运行速度。提取背景后还应当记录下电缆在原图中的位置，便于之后进行转换。

2)将获取的图像变换至HSV空间下，提取出S通道，之后在其原始空间中，即BGR空间中，提取R通道。S通道指饱和度通道，R指红色通道，这两种通道分别对应了铜芯的颜色和纹理这两个信息。

3)获取的通道图像还需要分别经过滤波处理才能使用，此处采用双边滤波，滤波的程度应适量，不能过高，以免使图像过于模糊。滤波后进行图像合成，新图像将同时拥有颜色和纹理的特征。

4)对合成的图像进行铜芯轮廓提取，首先要进行二值化，这里使用三角阈值法进行提取，实际阈值需要在三角阈值法的基础上加一个固定值。二值化后使用Canny边缘提取算法提取其边缘轮廓，然后需要对轮廓进行筛选，主要筛除较小的轮廓，筛除形状错误的轮廓以及被包含的轮廓，最后留下的轮廓作为铜芯的轮廓。最后还应使用Douglas-Peucker算法进行轮廓平滑。之后对轮廓提取圆，可以提取外接圆或者同心同面积圆。

5)提取出铜芯轮廓后，下一步就是获得该铜芯的实际面积。为了获取该面积，需要事先进行标定，放置一些已知面积的铜芯，进行比值的标定工作，之后利用该比值，通过像素面积推断其实际面积，最后结合电缆截面的铜芯实际面积和数量，根据已有的电缆参数表，推断出具体的电缆种类。

实施例：

图4a至图4g为电缆截面分类的具体实施例，展示了对图像进行分类的几个关键步骤。其中，图4a至图4d四张图像中，前三张展示了图像转移到HSV空间后的状态，图4d则展示了前三步处理之后的图像状态；图4e至图4g三张图像展现了提取轮廓步骤的几个细节，分别为提取轮廓，平滑轮廓和提取圆。

具体的，本发明方法通过以下具体方式实施：

1)非深度学习的分类方法虽然对于背景的变化并不敏感，但需要对图像进行预先切割以消除背景下圆物体的干扰。在这种情况下，由于不对电缆的类别加以区分，深度学习类方法实现的效果反而比非深度学习效果要好，这也是基于非深度学习方法对背景切割要求并不高的基础上的。

为了实现快速背景切割任务，方案设计了新的识别模型，其具体结构图如附图5所示。图5为背景提取算法的具体结构图，该算法只对背景做粗略分割，主要注重的是运行速度。

本技术方案的特点是相比于一般的分类任务，由于该网络只需要对背景进行分割，且不需要较高的分割精度，因此可以将重心放在检测速度和训练速度上。

图6为本技术方案中背景提取算法的训练损失函数图像，该算法在batch为500的情况下训练500次左右loss已经趋于稳定，这表明该算法训练新数据时需要的时间和性能不高，便于应对新的电缆类别。

如图6中所示，本技术方案中背景提取算法对新类所需的迭代次数低，训练成本也低，适应性强。本损失函数也得到简化，本模型的损失函数主要包含IoU损失(IoU的全称为交并比(Intersection over Union)，即表示为“预测边框(bounding box)”和“真实边框(ground truth)”的交集和并集的比值)和置信度损失两块。

其中，IoU损失如下：

其中，S

置信度损失如下，此处k为可修改的参数，p指对应框，N代表所有框，c代表置信度，0代表该处包含所有目标，1代表包含所有目标，这样设计是保证即使出现背景未切除干净的情况，也不会出现多切的情况。

最后整体损失函数如下式所示，λ为可修改的系数。

L＝λL

该网络最后得出的是一个标记出电缆的方框。

本实施例中，训练该网络λ的值经过反复测试被定为1.634，k

2)在使用非深度学习方法中处理图像时，其中重要的一步就是通过提取恰当的颜色通道，从而获取能够直接进行其它处理的图像。本技术方案中采取了两类空间的混合，分别为HSV空间中的S空间，即饱和度空间，这是基于电缆铜芯属于反光度好的金属，尤其是截面属于新切割得到的，因此一般情况下，只要配合足够亮度的光照，铜芯附近的饱和度较高，容易识别的特征决定的。另一个空间是BGR空间中的R空间，这是由于R空间对应的红色与铜芯颜色更接近，能反应铜芯的颜色特征。

初始的图像一般为BGR空间，R空间的图像可以直接提取。提取S空间，则需要首先将图像转换至HSV空间下。提取的公式如下，其中HSV和BRG分别为该点在两类空间中的值，C

V＝C

参考图4a至图4d中所示，其展现了本实施例中HSV空间的图像情况，可以看出，电缆截面的铜芯在S空间中明显比其它空间更加突出，能有效反应特征。

3)在合成图像前需对其先进行滤波操作，这是为了尽量减少噪点对图像的影响，从而提高图像的可靠性。这里使用了较常见的双边滤波。双边滤波与正常的滤波方法相同，都是给予一个滤波器，其会根据参数设定覆盖该点附近的一些点，通过这些点的值确定其本身的值。双边滤波的公式如下所示，其中p代表滤波器中的任意一点，q代表当前滤波值，L

双边滤波能够同时考虑元素的大小权重和像素权重，属于高斯滤波的改进型，对大部分场景有更好的滤波效果。滤波时，次数不能过高，以免模糊掉图像的重要特征，反而使得性能被拖累。

滤波后需要合成图像，本技术方案中将S通道和R通道的图像以一定的比例合成新图片，合成后图片是单通道的，空间的阈值均为0-255，如果实际应用场景发生变化，需要根据实际需求略微调整，具体公式如下，K

P＝R*K

本实施例中，双边滤波后的滤波器大小定为7*7，滤波12次，通道合成系数K

4)获得图像后，下一步就是提取轮廓，为了完成这一目的，首先要进行要对图像进行二值化。图像阈值的选取方法有很多，由于在不同光照环境情况下会影响识别效果，所以使用了三角阈值进行二值化。

经过大量实验，三角阈值得到的图像阈值还应给一个增加量才能达到较好的二值化效果。其具体方式包括：首先使用三角阈值法确定一个值，之后还需要给一个增量。

上述所获得的图像为图像直方图，取其像素最多点和最少点，连接起来得到线段，寻找中间部分与该线最近的点为阈值点，本技术方案中，需要给实际值一个增加量作为最后的阈值，这个值随环境变化而变化。

完成二值化后，还需要对图像进一步改善，有一些缺陷是无法避免的，如一些铜在切割过程中溢出到截面上，这会导致不规则，因此需要腐蚀膨胀使图像达到平滑轮廓的效果。腐蚀膨胀的值过高会使得图像偏离原有形态，过低会起不到平滑的效果。

经过此步后，图像将如图4d中所示。

此时使用Canny边缘提取的方式提取其轮廓，根据黑白图像获取其变化处，得到轮廓线即可。

提取轮廓下一步是进行筛选，获取轮廓后必然存在大量错误的结果，需要根据铜芯特征进行筛选，经过测试，可以从两方面进行筛选：一是根据圆的特征进行筛选，这里选择了使用下式进行判断，其中L指图像的周长，s指图像的面积。通过此式，结果越接近0说明轮廓越接近圆；二是根据大小进行判断，由于先判断了电缆的大小，这样电缆的铜芯大小将会被限制在一定区间内，如此将过大和过小的轮廓筛选出去，以此得到可用的轮廓；三是判断包含关系。由于电缆的外表本身是圆的，在有时候出现铜受挤压溢出的情况，使得出现圈套圈的检测结果，如图7d和图7e中所示的两个电缆，都会出现这种情况。因此检测其包含关系是必要的，只留下不包含其他圆的圆，对应的才是所需的电缆铜芯。

筛选完后为了进一步修饰，还使用了Douglas-Peucker算法进行进一步的轮廓平滑修饰。该方法需要设定一个距离，当轮廓上任意两点的距离小于该距离，则需要进行合并，消除中间点，从而消除褶皱，使轮廓平滑。筛选平滑后，实施例的状态如图4f中所示。

得出轮廓后，还需要根据其轮廓得到对应的圆轮廓，可以采用外接圆的方式或者同心同面积圆的方式，此处的同心指的是同质心，实施例的状态如附图4g所示，这里采取的是外接圆。

在图7a至图7f中，所提取的圆均是同心同面积圆。

轮廓质心的计算方法如下，首先要计算其空间矩，方法如下：

m

其中array(x,y)指(x,y)对应的坐标值，i和j的值为1或0。

之后根据空间矩计算质心

由于电缆的实际铜芯量不会超过4个，当统计出的数量超过4个时，需要进行筛选，具体为取几个电缆面积之间的中位数，选择与中位数误差最小的一个为正样本，其余电缆面积大小与正样本大小相差不能高于10000。

本实施例中，二值化时增加的阈值为10，筛选时，大小筛选的面积设定为40000，也就是面积大于40000进行保留。

5)经过以上步骤，则可获取铜芯的位置与数量，此时，由于相机与电缆始终处于同一个距离上(如图1a和图1b中所示)，且该距离下并没有出现明显的畸变，因此可以认为，铜芯图像的像素面积与铜芯图像的实际面积存在一个固定的比值。铜芯图像的像素面积选取之前步骤所得的圆的面积。比例值可以测定的方式获得，具体方法为，测量一个已知实际铜芯面积的电缆，之后将其铜芯面积与铜芯图像的像素面积相除，得到面积比。面积比的公式如下：

多测几次求平均值，获得该比例系数后，所有面积都可以通过该系数进行换算。

在实际作业中，每一个类别的电缆都有其对应的具体数值表，将对照的表中的数值与测量得到的数值进行比对，即可得到测量的类别，具体步骤为先根据铜芯的数量进行筛选，例如三个铜芯的电缆应对照三个铜芯的电缆，之后再根据对应的面积大小，选择最相近的那个电缆即可。对于没有参数表的电缆，简单测量其实际面积即可。

本实施例中，电缆的k值为0.00653mm

本发明的技术方案，提供了一种利用电缆截面图像对电缆的种类进行识别的方法，其采用图像处理的方式来获取废旧电缆的类别，能够有效排除含铜比例相近但总量存在明显差别的类别，能够处理更加复杂的图像情况；同时，采用非深度学习进行常规的运算，不会对计算机性能提出过高的要求；对于同种电缆处于不同背景下的场景，非深度学习的方法只需要测试并改变通道合成的比例即可，大大减少了识别过程中的计算工作量，特别适用于通过电缆截面图像信息对废弃电缆的具体类别进行分辨的问题。

本发明可广泛用于废旧电缆的回收或仓储管理领域。