智能光纤配线机器人及其控制方法

技术领域

本申请涉及智能控制领域，且更为具体地，涉及一种智能光纤配线机器人及其控制方法。

背景技术

随着互联网的高速发展和智能化应用的不断推进，各种设备越来越需要进行网络连接，并且这些设备的连接往往需要通过配线架进行接口转换和线缆连接。

在传统的通信网络配线过程中，需要专业工作人员手动识别和连接每个端口。然而，由于通信设备可能需要使用多种类型的接口，传统方式不仅对于人员的技术水平和经验要求较高，而且容易出现差错，如果错误配置了任何一个连接，就有可能导致通信故障或性能下降。并且，在进行通信配线时，由于配线柜尺寸较小，配线架内端口数量众多且密集，传统的通信网络配线通常会面临线缆间相互缠绕和跳接过程中影响现有业务的问题。

因此，期望一种优化的智能光纤配线机器人。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智能光纤配线机器人及其控制方法，其通过采用基于机器视觉的人工智能技术来对于采集的密集配线架图像进行图像分析识别，从而对图像中有关于端口的类型特征信息进行有效捕捉刻画，以快速识别检测出端口的类别，确保自动化配线的准确性和效率，优化通信性能。

根据本申请的一个方面，提供了一种智能光纤配线机器人，其包括：密集配线架图像采集系统，用于通过自动配线机器人的摄像头采集密集配线架图像；图像分析系统，用于从所述密集配线架图像中提取端口目标多尺度特征向量；端口检测系统，用于基于所述端口目标多尺度特征向量，确定端口类型标签。

根据本申请的另一方面，提供了一种智能光纤配线机器人的控制方法，其包括：通过自动配线机器人的摄像头采集密集配线架图像；从所述密集配线架图像中提取端口目标多尺度特征向量；基于所述端口目标多尺度特征向量，确定端口类型标签。

根据本公开的实施例，其通过采用基于机器视觉的人工智能技术来对于采集的密集配线架图像进行图像分析识别，从而对图像中有关于端口的类型特征信息进行有效捕捉刻画，以快速识别检测出端口的类别，确保自动化配线的准确性和效率，优化通信性能。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的智能光纤配线机器人的框图；

图2为根据本申请实施例的智能光纤配线机器人的系统架构图；

图3为根据本申请实施例的智能光纤配线机器人中图像分析系统的框图；

图4为根据本申请实施例的智能光纤配线机器人中端口目标全局特征提取模块的框图；

图5为根据本申请实施例的智能光纤配线机器人的控制方法的流程图；

图6为根据本申请实施例的智能光纤配线机器人的应用场景图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

智能洗地机常常需要面对复杂的工作环境和长时间的工作负荷，容易出现各种故障和异常情况，例如电力不足、电流不稳定、温度过高和电机损坏等问题。如果不及时发现并处理这些异常问题，可能会导致洗地机损坏或发生安全事故。因此，期望一种优化的智能洗地机控制系统。

图1为根据本申请实施例的智能洗地机控制系统的框图。图3为根据本申请实施例的智能洗地机控制系统的系统架构图。如图1和图3所示，根据本申请实施例的智能洗地机控制系统300，包括：数据采集模块310，用于获取处于运行状态的智能洗地机在预定时间段内多个预定时间点的温度值和电流值；数据分析模块320，用于对所述多个预定时间点的温度值和电流值进行分析以得到融合特征向量；工作状态检测模块330，用于基于所述融合特征向量，确定处于运行状态的智能洗地机的工作状态是否正常；以及，异常预警模块340，用于基于所述处于运行状态的智能洗地机的工作状态是否正常，生成控制指令，所述控制指令用于产生状态异常预警提示。

在本申请的一个示例中，所述数据采集模块310，用于获取处于运行状态的智能洗地机在预定时间段内多个预定时间点的温度值和电流值。考虑到在智能洗地机的实际工作过程中，为了能够对于洗地机的工作状态进行实时监测，以此来发现洗地机工作过程中的异常情况，例如电流不稳定和温度过高等问题，从而对于异常情况进行预警并采取相应地措施，防止洗地机损坏或发生危险。但是，由于处于运行状态的智能洗地机的温度值和电流值在时间维度上都具有着各自的动态变化规律性，而这两者之间还具有着时序的协同关联特性。因此，为了能够对于智能洗地机的工作状态进行准确检测，可通过挖掘智能洗地机的温度值时序动态变化特征和所述智能洗地机的电流值的时序动态变化特征之间的关联性特征，以此基于实际智能洗地机的电流和温度变化情况来进行异常监测，从而避免智能洗地机发生异常损坏，延长智能洗地机的使用寿命且避免发生安全事故。

随着互联网的高速发展和智能化应用的不断推进，各种设备越来越需要进行网络连接，并且这些设备的连接往往需要通过配线架进行接口转换和线缆连接。在传统的通信网络配线过程中，需要专业工作人员手动识别和连接每个端口。然而，由于通信设备可能需要使用多种类型的接口，传统方式不仅对于人员的技术水平和经验要求较高，而且容易出现差错，如果错误配置了任何一个连接，就有可能导致通信故障或性能下降。并且，在进行通信配线时，由于配线柜尺寸较小，配线架内端口数量众多且密集，传统的通信网络配线通常会面临线缆间相互缠绕和跳接过程中影响现有业务的问题。因此，期望一种优化的智能光纤配线机器人。

图1为根据本申请实施例的智能光纤配线机器人的框图。图2为根据本申请实施例的智能光纤配线机器人的系统架构图。如图1和图2所示根据本申请的实施例的智能光纤配线机器人300，包括：密集配线架图像采集系统310，用于通过自动配线机器人的摄像头采集密集配线架图像；图像分析系统320，用于从所述密集配线架图像中提取端口目标多尺度特征向量；端口检测系统330，用于基于所述端口目标多尺度特征向量，确定端口类型标签。

特别地，所述密集配线架图像采集系统310，用于通过自动配线机器人的摄像头采集密集配线架图像。根据本申请的实施例，可使用自动配线机器人的摄像头来采集密集配线架图像。值得注意的是，可采用帧率高、视野角度大和光感度较高的摄像头，以此来提取更完整的信息。

密集配线架通常是指用于计算机网络、服务器机房等场景中的一种设备，在该设备中可以将各种网络线缆、电源线等线缆整理并连接到一起，以保证网络和设备的正常运行。密集配线架图像通常包括各种线缆和插头的布局、连接方式、标识等信息，可以帮助用户更好地理解和维护设备的网络和电源连接。

自动配线机器人是一种能够自主完成电线配线的机器人。它可以根据电线的种类、长度、颜色等信息，自动选择合适的电线，并将其剥皮、切断、连接等操作完成。自动配线机器人可以大幅提高电线配线的效率和精度，减少人工操作的繁琐和错误率，广泛应用于电子制造、汽车制造、机器人制造等领域。

相应地，在一种可能的实现方式中，可通过以下步骤通过自动配线机器人的摄像头采集密集配线架图像，例如：确定自动配线机器人的摄像头位置和角度，以便能够拍摄到整个密集配线架的图像；启动自动配线机器人，使其移动到密集配线架的位置；打开摄像头，开始采集密集配线架的图像；对采集到的图像进行预处理，例如去除噪声、增强对比度等；使用计算机视觉技术，对预处理后的图像进行特征提取和目标检测，以识别出密集配线架中的各个部件和线路；根据识别结果，对密集配线架进行自动配线，包括连接电线和插头等操作；对配线完成后的密集配线架进行检测和测试，确保每个部件和线路都正常工作；如果有异常情况，及时进行修复和调整；最后，将配线完成的密集配线架图像和相关数据保存到数据库中，以备后续查询、管理和维护。

特别地，所述图像分析系统320，用于从所述密集配线架图像中提取端口目标多尺度特征向量。密集配线架图像的端口区域通常指的是配线架上用于插入和连接网络设备的端口区域。在密集配线架上，这些端口区域通常会被紧密地组织在一起，以最大限度地提高端口密度，并减少空间占用。这可以使网络管理员更有效地管理和维护网络设备，同时提高网络的可扩展性和可靠性。

特别地，在本申请的一个具体示例中，如图3所示，所述图像分析系统320，包括：图像去遮挡模块321，用于对所述密集配线架的图像进行去遮挡以得到去遮挡密集配线架图像；端口目标框定模块322，用于从所述去遮挡密集配线架图像中提取端口目标感兴趣区域图像；端口目标局部特征提取模块323，用于对所述端口目标感兴趣区域图像进行局部特征提取以得到端口目标局部特征向量；端口目标全局特征提取模块324，用于对所述端口目标感兴趣区域图像进行全局特征提取以得到端口目标全局特征向量；以及，端口目标多尺度特征融合模块325，用于融合所述端口目标局部特征向量和所述端口目标全局特征向量以得到所述端口目标多尺度特征向量。

相应地，所述图像去遮挡模块321，用于对所述密集配线架的图像进行去遮挡以得到去遮挡密集配线架图像。考虑到由于配线柜的尺寸较小，在密集的配线架的空间内由所述自动配线机器人的摄像头所采集的所述密集配线架图像中有关于端口区域可能会有遮挡，导致图像中的端口特征信息变得模糊，影响对于端口类型的检测精度。因此，在特征提取前需要对所述密集配线架的图像进行去遮挡处理。

特别地，在本申请的一个具体示例中，使用所述去遮挡生成器来进行所述密集配线架的图像的去遮挡处理以降低遮挡物对端口类型识别的干扰以得到去遮挡密集配线架图像。其中，所述去遮挡生成器为基于对抗生成网络的去遮挡生成器，应可以理解，所述对抗生成网络包括生成器和鉴别器，其中，所述生成器用于生成去遮挡密集配线架的图像，所述鉴别器用于计算去遮挡密集配线架的图像和真实无遮挡图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有去遮挡功能的生成器，即，所述去遮挡生成器。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述密集配线架的图像进行去遮挡以得到去遮挡密集配线架图像，例如：选择一张密集配线架图像作为输入图像；使用计算机视觉技术对该图像进行遮挡检测，检测出遮挡物的位置和形状；根据遮挡物的位置和形状，对输入图像进行遮挡去除操作，得到去遮挡后的图像；对去遮挡后的图像进行图像增强操作，如亮度增强、对比度增强等，以提高图像质量和清晰度；对增强后的图像进行图像分割操作，将图像中的密集配线架区域分割出来；对分割后的密集配线架区域进行形态学操作，如腐蚀、膨胀等，以去除噪声和提取更准确的边缘信息；对形态学操作后的密集配线架区域进行轮廓提取操作，得到密集配线架的轮廓信息；对提取出的轮廓信息进行拟合操作，得到密集配线架的几何形状信息；对几何形状信息进行分类和识别操作，识别出不同类型的配线架和配线方式；将识别出的配线架和配线方式信息进行输出和保存，以供后续使用。

相应地，所述端口目标框定模块322，用于从所述去遮挡密集配线架图像中提取端口目标感兴趣区域图像。应可以理解，在对于端口类型进行识别时，应更加聚焦于端口目标的隐含特征信息。因此，若能够在进行端口类型检测时滤除掉其余无用的干扰特征信息，显然能够提高检测的准确性。

特别地，在本申请的一个具体示例中，将所述去遮挡密集配线架图像通过端口目标感兴趣区域检测网络以得到端口目标感兴趣区域图像。具体地，使用所述端口目标感兴趣区域检测网络的目标锚定层以锚框B来进行滑动对所述去遮挡密集配线架图像进行处理，以对于所述端口目标感兴趣区域进行框定，从而得到所述端口目标感兴趣区域图像。特别地，这里，所述端口目标感兴趣区域检测网络为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式从所述去遮挡密集配线架图像中提取端口目标感兴趣区域图像，例如：选择一张去遮挡的密集配线架图像作为输入图像；对输入图像进行预处理，如调整图像大小、灰度化、边缘检测等操作，以便于后续的目标检测和定位；使用目标检测算法，如基于深度学习的目标检测算法（如FasterR-CNN、YOLO等），对图像中的端口目标进行检测；对检测出的端口目标进行定位操作，得到端口目标在图像中的位置和大小信息；根据端口目标的位置和大小信息，对输入图像进行裁剪操作，得到端口目标感兴趣区域图像；对裁剪得到的端口目标感兴趣区域图像进行图像增强操作，如亮度增强、对比度增强等，以提高图像质量和清晰度；对增强后的端口目标感兴趣区域图像进行图像分割操作，将图像中的端口区域分割出来；对分割后的端口区域进行形态学操作，如腐蚀、膨胀等，以去除噪声和提取更准确的边缘信息；对形态学操作后的端口区域进行轮廓提取操作，得到端口的轮廓信息；对提取出的轮廓信息进行拟合操作，得到端口的几何形状信息；对几何形状信息进行分类和识别操作，识别出不同类型的端口和端口状态；最后，将识别出的端口和端口状态信息进行输出和保存，以供后续使用。

相应地，所述端口目标局部特征提取模块323，用于对所述端口目标感兴趣区域图像进行局部特征提取以得到端口目标局部特征向量。特别地，在本申请的一个具体示例中，使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进行所述端口目标感兴趣区域图像的特征提取。具体地。将所述端口目标感兴趣区域图像通过基于卷积神经网络模型的局部特征提取器中进行特征挖掘以得到端口目标局部特征向量，特别地，这里，所述局部特征提取器使用作为过滤器的卷积神经网络模型能够提取出所述端口目标感兴趣区域图像中有关于端口目标的局部隐含特征分布信息。更具体地，在所述作为过滤器的卷积神经网络模型的编码过程中，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述端口目标局部特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述端口目标感兴趣区域图像。

卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习神经网络模型，主要用于图像识别、语音识别、自然语言处理等领域。CNN 模型通过卷积层、池化层、全连接层等组成，可以自动学习图像中的特征，并对图像进行分类、识别等任务。在卷积层中，CNN 模型通过多个卷积核对输入数据进行卷积计算，提取出图像中的特征信息；在池化层中，CNN 模型通过最大池化或平均池化等操作，对特征图进行降维处理，减少计算量和参数数量；在全连接层中，CNN 模型将特征图展开成一维向量，并通过多个全连接层对特征进行分类或回归等任务。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述端口目标感兴趣区域图像进行局部特征提取以得到端口目标局部特征向量。例如：对端口目标感兴趣区域图像进行预处理，如图像增强、降噪等操作，以提高图像质量和特征提取效果；使用特征提取算法，如SIFT、SURF、ORB等，在端口目标感兴趣区域图像中提取局部特征点；对提取的局部特征点进行特征描述子计算，生成局部特征向量，如使用SIFT算法可以得到128维的特征向量；对局部特征向量进行归一化处理，如L2归一化，以消除光照、尺度等因素的影响；对归一化后的局部特征向量进行聚类，如K-Means聚类，以得到端口目标的视觉词袋模型；对端口目标感兴趣区域图像中的局部特征点进行词袋模型量化，将每个局部特征点映射到最近的视觉词袋中心点，得到端口目标的局部特征向量表示；将端口目标的局部特征向量表示作为输入，通过机器学习算法，如SVM、随机森林等，进行分类或检测任务。

相应地，所述端口目标全局特征提取模块324，用于对所述端口目标感兴趣区域图像进行全局特征提取以得到端口目标全局特征向量。考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述端口目标感兴趣区域图像中关于端口目标的隐含特征为小尺度的细微特征，难以进行捕捉提取。

特别地，在本申请的一个具体示例中，如图4所示，所述端口目标全局特征提取模块324，包括：全局关联特征提取单元3241，用于将所述端口目标感兴趣区域图像通过基于ViT模型的全局特征提取器以得到多个上下文端口目标特征向量；特征分布优化单元3242，用于对所述多个上下文端口目标特征向量中的每个上下文端口目标特征向量进行多源信息融合验前分布评估优化以得到多个优化后上下文端口目标特征向量；关联融合单元3243，用于将得到多个优化后上下文端口目标特征向量排列为一维特征向量以得到所述端口目标全局特征向量。

更具体地，所述全局关联特征提取单元3241，用于将所述端口目标感兴趣区域图像通过基于ViT模型的全局特征提取器以得到多个上下文端口目标特征向量。在本申请的技术方案中，将所述端口目标感兴趣区域图像进行图像分块处理后通过通过基于ViT模型的全局特征提取器中进行编码，以提取出所述端口目标感兴趣区域图像中关于端口目标的隐含局部上下文语义关联特征分布信息，从而得到口目标全局特征向量。具体地，对所述端口目标感兴趣区域图像进行图像分块处理以得到端口目标感兴趣区域图像块的序列；将所述端口目标感兴趣区域图像块的序列输入所述包含嵌入层的ViT模型的图像块嵌入层以得到端口目标感兴趣区域图像块嵌入向量的序列；将所述端口目标感兴趣区域图像块嵌入向量的序列通过所述包含嵌入层的ViT模型的ViT模块以得到多个端口目标感兴趣区域图像块上下文语义特征向量；以及，将所述多个端口目标感兴趣区域图像块上下文语义特征向量进行级联以得到所述多个上下文端口目标特征向量。应可以理解，在对于所述端口目标感兴趣区域图像进行图像分块处理后的各个图像块中关于端口目标的小尺度隐含特征不再是小尺度的特征信息，有利于后续进行端口类型的特征提取和检测。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述端口目标感兴趣区域图像整体的关于所述端口目标的隐含上下文全局语义关联特征信息。

更具体地，所述特征分布优化单元3242，用于对所述多个上下文端口目标特征向量中的每个上下文端口目标特征向量进行多源信息融合验前分布评估优化以得到多个优化后上下文端口目标特征向量。在本申请的技术方案中，将所述端口目标感兴趣区域图像通过基于ViT模型的全局特征提取器以得到端口目标全局特征向量时，由于所述端口目标感兴趣区域图像的各个图像块通过ViT模型得到的上下文端口目标特征向量表达图像块的局部图像语义的上下文关联特征，在所述多个上下文端口目标特征向量级联得到所述端口目标全局特征向量的情况下，仍然期望提升所述端口目标全局特征向量对于所述多个上下文端口目标特征向量的全局关联性。这里，考虑到所述多个上下文端口目标特征向量级联得到所述端口目标全局特征向量，因此所述端口目标全局特征向量可以被视为每个上下文端口目标特征向量的局部特征集合组成的整体特征集合。并且，由于所述多个上下文端口目标特征向量的各个特征向量遵循图像块在整体端口目标感兴趣区域图像内的局部图像语义关联分布，因此所述端口目标全局特征向量的各个上下文端口目标特征向量不仅具有特征集合维度下的相互关联的邻域分布关系，还具有对应于所述整体端口目标感兴趣区域图像在全局图像下的局部图像语义关联分布信息的多源信息关联关系。因此，为了提升所述端口目标全局特征向量对于所述多个上下文端口目标特征向量的整体关联分布表达效果，本申请的申请人对所述多个上下文端口目标特征向量中的每个上下文端口目标特征向量，例如记为

更具体地，所述关联融合单元3243，用于将得到多个优化后上下文端口目标特征向量排列为一维特征向量以得到所述端口目标全局特征向量。根据本申请的实施例，在得到所述多个优化后上下文端口目标特征向量后，进一步将其进行一维排列以得到所述端口目标全局特征向量。

相应地，在一种可能的实现方式中，可通过以下步骤将得到多个优化后上下文端口目标特征向量排列为一维特征向量以得到所述端口目标全局特征向量。例如：收集所有上下文端口目标特征向量，这些向量可以通过多种方式获得，例如使用传感器收集数据或从已有的数据集中提取；对于每个特征向量，根据需要进行预处理和优化，例如进行特征选择、缩放和归一化等操作；将所有优化后的特征向量按照一定的顺序排列，可以按照时间戳、端口编号或其他相关的因素进行排序；将排列后的特征向量连接成一个一维向量，可以使用numpy的concatenate函数或其他相关的工具实现；对于所述一维向量，可以进行进一步的处理和分析，例如使用聚类算法进行聚类分析或使用分类器进行分类预测等；最终得到所述端口目标全局特征向量，可以用于各种任务，例如异常检测、状态监测和预测等。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述端口目标感兴趣区域图像进行全局特征提取以得到端口目标全局特征向量，例如：首先，加载端口目标感兴趣区域图像，并对其进行预处理，例如调整图像大小、归一化等操作；接着，使用一个经过预训练的卷积神经网络模型（如VGG、ResNet、Inception等）对预处理后的图像进行特征提取。这里我们选择使用ResNet模型作为示例；将图像输入ResNet模型中，得到最后一层卷积层的输出特征图；对输出特征图进行全局平均池化操作，将每个通道的特征图转化为一个标量值；然后，将所有通道的标量值拼接成一个向量，得到端口目标的全局特征向量；进而，可以对全局特征向量进行归一化、降维等操作，以便于后续的分类、识别等任务。

相应地，所述端口目标多尺度特征融合模块325，用于融合所述端口目标局部特征向量和所述端口目标全局特征向量以得到所述端口目标多尺度特征向量。也就是，通过融合所述端口目标局部特征向量和所述端口目标全局特征向量，以此来融合端口目标区域的布局特征和全局特征。

特别地，在本申请的一个具体示例中，使用级联函数来融合所述端口目标局部特征向量和所述端口目标全局特征向量，以得到融合了所述端口目标的局部隐含特征分布信息和全局关联特征信息的端口目标多尺度特征向量。也就是说，使用有关于端口目标的局部特征和全局特征来综合进行端口类型的检测判断，以此来进行配线控制。更具体地，以如下级联公式来融合所述端口目标局部特征向量和所述端口目标全局特征向量以得到所述端口目标多尺度特征向量；其中，所述公式为：

相应地，在一种可能的实现方式中，可通过以下步骤来融合所述端口目标局部特征向量和所述端口目标全局特征向量以得到所述端口目标多尺度特征向量，例如：对于每个端口目标，使用局部邻域时序关联特征提取得到其局部特征向量；对于每个端口目标，使用全局特征提取方法得到其全局特征向量；将局部特征向量和全局特征向量拼接在一起形成端口目标的多尺度特征向量；对于所有端口目标，重复步骤1-3，得到所有端口目标的多尺度特征向量；将所有端口目标的多尺度特征向量组成一个特征矩阵，用于后续的模型训练和预测。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式从所述密集配线架图像中提取端口目标多尺度特征向量，例如：对于密集配线架图像中的每个端口目标，使用图像处理方法进行目标检测和分割，得到目标的图像区域；对于每个目标图像区域，使用图像处理方法提取局部特征向量，例如使用局部邻域时序关联特征提取方法得到其局部特征向量；对于每个目标图像区域，使用图像处理方法提取全局特征向量，例如使用卷积神经网络提取其全局特征向量；将局部特征向量和全局特征向量拼接在一起形成端口目标的多尺度特征向量；对于所有端口目标，重复步骤1-4，得到所有端口目标的多尺度特征向量；将所有端口目标的多尺度特征向量组成一个特征矩阵，用于后续的模型训练和预测。

特别地，所述端口检测系统330，用于基于所述端口目标多尺度特征向量，确定端口类型标签。在本申请的一个具体示例中，将所述端口目标多尺度特征向量通过分类器以得到分类结果，所述分类结果用于表示端口类型标签。更具体地，使用所述分类器的多个全连接层对所述端口目标多尺度特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。也就是，在本申请的技术方案中，所述分类器的分类标签为端口类型标签，因此，在得到所述分类结果后，可以基于所述分类结果来生成控制指令，所述控制指令为是否开启自动配线。这样，能够快速识别检测出端口的类别，以确保自动化配线的准确性和效率。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式来基于所述端口目标多尺度特征向量，确定端口类型标签，例如：收集包含不同端口类型的数据集，并对数据进行预处理和清洗；将数据集划分为训练集和测试集；基于训练集数据，使用机器学习算法（如支持向量机、随机森林、神经网络等）构建分类模型，以端口目标多尺度特征向量作为输入特征；对测试集数据进行预测，并计算模型的准确率、召回率、F1值等评价指标；对模型进行优化和调参，以提高模型的性能和泛化能力；使用优化后的模型，对新的端口目标数据进行分类预测，并输出端口类型标签。

如上所述，根据本申请实施例的智能光纤配线机器人300可以实现在各种无线终端中，例如具有智能光纤配线机器人的控制算法的服务器等。在一种可能的实现方式中，根据本申请实施例的智能光纤配线机器人300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该智能光纤配线机器人300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该智能光纤配线机器人300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该智能光纤配线机器人300与该无线终端也可以是分立的设备，并且该智能光纤配线机器人300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

进一步地，还提供一种智能光纤配线机器人的控制方法。

图5为根据本申请实施例的智能洗地机控制方法的流程图。如图5所示，在所述智能洗地机控制方法中，包括：S110，通过自动配线机器人的摄像头采集密集配线架图像；S120，从所述密集配线架图像中提取端口目标多尺度特征向量；S130，基于所述端口目标多尺度特征向量，确定端口类型标签。

图6为根据本申请实施例的智能光纤配线机器人的应用场景图。如图6所示，在该应用场景中，首先，通过部署于自动配线机器人的摄像头（例如，图6中所示意的C）获取密集配线架图像。然后，将上述图像输入至部署有用于智能光纤配线机器人的控制算法的服务器中（例如，图6中所示意的S），其中，所述服务器能够以智能光纤配线机器人的控制算法对上述输入的图像进行处理以得到分类结果，所述分类结果用于表示端口类型标签。

综上，基于本申请实施例的智能光纤配线机器人的控制方法，其通过采用基于机器视觉的人工智能技术来对于采集的密集配线架图像进行图像分析识别，从而对图像中有关于端口的类型特征信息进行有效捕捉刻画，以快速识别检测出端口的类别，确保自动化配线的准确性和效率，优化通信性能。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

一款基于AI 的光纤配线机器人，采用独有的无缠绕算法通过机械手自动插拔光纤实现光纤跳线，实现业务的开通。泽宇智能光纤配线调度管理平台软件即为配合设备实现通过WEB客户端远程控制光纤跳线、自动记录资源信息及业务开通情况，实现对大量光资源信息的管理，同时系统提供光纤链路资源的检测，在网管平台下发OTDR测试命令，即可实现该光纤链路质量的检测。通过本系统真正实现光纤通信网络的自动化跳纤、可视化管理以及智能化运维。

1.设计原则

在投资费用许可的情况下，本系统采用当今先进的技术和设备，一方面能反映本系统所具有的先进水 平， 包括先进的空间异面直线防缠绕算法、 AI 智能控制技术、限位传感器定位技术，另一方面使系统具有 强大的发展潜力，设备选型与技术发展相吻合，能保障系统的技术寿命及后期升级的可延续性。

本系统的经济性原则主要体现在选用的产品设计与制造成本的控制，和产品运用后的人工维护成本的 控制。本系统配置的智能光纤配线调度管理平台软件设计直接决定了后期网络维护成本的高低，通过对传 统服务模式的优化，逐步优化网络维护管理效率、优化定期光缆质量监测维护方式，从而实现网络维护的 经济性原则。

产品可靠性是本系统长期稳定运行的基石，只有可靠的产品，才能发挥有效的作用。 本系统从产品设 计理念到系统架构的设计，再到产品选型，都将持续秉承系统可靠性原则， 均采用成熟的技术，具备较高 的可靠性、较强的容错能力、良好的恢复能力。

网络配线机器人的设计符合电磁兼容性和电气隔离性能设计要求，不影响被控制的传输系统正常工作。

系统具有自诊断功能，对产品自身的软硬件故障能够提供故障诊断并及时告警。

综合考虑站端设备安全、网络安全和数据安全。在站端采用完善的安全措施以保障站端设备的物理安 全和应用安全，在站端与管理中心之间必须保障通信安全，采取可靠手段杜绝对站端设备的非法访问、入 侵或攻击行为。数据安全采取站端分布存储、管理中心集中存储管理相结合的方式，对数据的访问采用严 格的用户权限控制，并做好异常快速应急响应和日志记录。确保纳管的业务资源数据保存于专用服务器并 确保数据安全、可控。

本项目所提供的网络配线机器人ZY-AOR提供自动跳接算法、自动故障检测、自动识别光缆成端关系、自动完成站点光纤质量检测，跳接关系及光缆成端关系在统一的平台展现给用户，并自动记录光纤质量检 测曲线，提供给用户作为传输链路维护方案的决策依据。

泽宇智能光纤配线调度管理平台软件采用全中文、图形化软件实现整个系统的管理与维护，人机对 话界面清晰、简洁、友好，操控简便、灵活，便于操作和配置，既降低了对管理人员进行专业知识的培训 费用， 又节省了日常频繁地维护费用。

2.系统组网

机房现场部署网络配线机器人ZY-AOR，负责接入传输系统链路光纤，向下接入干线光缆及传输设备，向上支持以太网、无线4G等通信方式，无论被管理现场所在何种环境，用户仅需确保ZY-AOR产品通过

有线或无线方式接入广域网/局域网， 即可享用瑞祺皓迪智能光纤配线系统带来的便捷服务。

3.技术方法

3.1 网络配线机器人

本系统通过在用户既有的无源 ODF 架基础上运用 ZY-AOR 网络配线机器人，并在用户的维护管理中心配置泽宇光纤资源管理系统平台软件，通过管理中心的 WEB 管理终端实现对远端机房的 ZY-AOR 网络配线机器人远程移纤及光缆质量测试操作， 优化用户传统的人工跳纤与记录维护方式。优化后的用户业务光缆维护模式应具备智能化运维、可视化管理的效果，达到资源智能调度、资源精 确管理、资源高效利用、业务开通提速的成果。

（1）功能概述

ZY-AOR智能光纤配线机器人是一款基于物联网技术、AI智能控制技术的光纤调度管理设备，ZY-AOR的工作模式改变了依靠人工到现场进行光纤调度的传统工作模式，改变目前光接入网络可视化程度低、资源浪费严重、调度无序、管理混乱等现状，实现对光纤资源的自动化、可视化、智能化管理。

（2）技术方法详述

智能光纤配线机器人由控制模块、AI跳纤模块、测试控制模块组成。

控制模块：是智能光纤配线机器人的大脑，无缠绕的智能算法及内外部各模块的协作控制命令均由控制模块完成。

ZY-AOR的空间异面直线防缠绕算法，根据光纤跳线的编号或上下位置关系，进行跳接时若进行跳接的光纤前方光纤跳线位置比其高，则从前方光纤跳线的下方穿过，反之若前方的光纤跳线位置比其低，则从前方光纤上方跨过，通过这种高穿低跨的无缠绕配线算法，实现任意两芯光纤的自动交叉连接。

AI跳纤模块：是设备核心组件，跳纤模块根据控制模块发送的指令，具备自动智能跳纤、光纤编号智能识别的功能。

测试控制模块：接收上级中心发来的测试任务，与智能光纤配线机器人配合，指挥OTDR模块接受测试控制模块的指令，完成对指定链路的测试。

3.2 泽宇智能光纤配线调度管理平台软件

 泽宇智能光纤配线调度管理平台软件基于物联网技术和AI智能控制技术，解决用户现有人工现场维护、人工记录资源信息偏差、施工结果难校核的痛点，将人工现场跳接变为远程自动跳纤，自动记录业务变更及端口资源信息，配置OTDR监测模块亦可在日常工作中对光纤链路远程进行质量检测，业务出现中断情况下协助维护单位快速定位断纤故障点。

技术方法实现功能详述：系统管理：进行区域管理、角色管理、用户管理，通过系统管理功能使用户的维护管理模式可以 分区域、分权限进行呈现。

设备配置：配置各类设备信息、配置非AOR设备端口信息、配置AOR成端设备信息。

移纤调控：根据用户业务需要远程调整AOR多路端口间连接关系，以完成机房接入光缆间任意两芯光纤的自动交叉连接，便于用户快速开通业务及故障业务恢复。

OTDR测试：在日常工作中对AOR端口所在光纤链路远程进行质量检测，业务出现中断情况下 快速定位光纤链路断纤故障点。

拓扑管理：展示系统中AOR和其成端的设备间的连接关系。

告警管理：查询所有AOR设备的当前或历史离线告警。

统计查询：查询AOR端口的业务关系表，查询OTDR测试历史记录信息，用户获取的光纤资源质量衰耗曲线对链路质量进行监测，便于用户指定传输业务链路维护计划。

系统核心功能介绍

4.1 远程自动跳纤

定义：方案可实现远程光纤业务跳接及开通，改变运维人员传统的下站开通业务工作模式， 通过WEB用户端远程实现光纤链路资源的连接， 系统还可与用户工单系统或故障系统对接，接收工单系统下发的故 障工单，在用户端执行移纤操作，快速恢复故障业务，实现多个通信站间任意两芯光纤的自动交叉连接。

4.2光纤链路远程自动监测

定义：方案提供远程光纤链路质量检测功能，通过WEB用户端向AOR设备远程下发OTDR测试指令，可实现光纤链路传输损耗、接头损耗及光纤线路事件点的监测。

4.3 业务调度与管理

定义：方案提供光资源设备的录入、用户资源管理系统接口、设备审核及管理功能。无论设备的创建还是设备的管理都可通过图形化的方式来提供支撑，提升运维人员对业务的感知度。

4.4 告警管理功能

定义：方案具备告警管理功能，可采集、接收网络配线机器人产生的故障告警信息，并针对每个故障 告警时间、告警名称、告警类型、等级提供详细描述。

4.5 告警查询统计功能

定义：方案具备告警查询统计功能，可查询通知对象、告警发生、确认时间、恢复时间等关键过程生成记录，反应故障处理过程，为维护人员提供追溯记录。

4.6 操作人员资料管理功能

定义：本方案提供的服务专业工具中用户管理功能可提供人员资料管理功能，维护人员可在系统中执行录入、修改、删除操作，未经录入的人员无权执行系统访问与维护，确保用户传输资源信息的安全性和保密性。

4.7 分权分域管理功能

定义：方案提供分权分域管理功能，对系统内用户账号访问和操作权限进行授期权及控制。权限细分功能权限和数据权限两部分，功能权限包括系统菜单的访问、功能点的触发请求、报表数据导出功能。数据权限包括账号区域、设备类型、站点访问控制。

4.8 日志管理功能

定义：本方案提供的服务专业工具可记录操作人员登入、登出信息，以及执行操作过程记录，日志可记录操作人员、执行操作动作、操作描述、操作时间等信息，该操作日志亦可导出作为运维日志记录存档。

4.9 本地调测与维护功能

定义：智能光纤配线机器人可脱离管理系统进行本地调测与维护，我公司提供本地维护终端软件， 维护人员在智能光纤配线机器人安装现场通过以太网口便可接入维护终端软件，直接配置及调测设备。

5.网络配线机器人

ZY-AOR 网络配线机器人是一款基于物联网技术、AI 智能控制技术的光纤调度管理设备，ZY-AOR的工作模式改变了依靠人工到现场进行光纤调度的传统工作模式，改变目前光接入网络可视化程度低、资源浪费严重、调度无序、管理混乱等现状，实现对光纤资源的自动化、可视化、智能化管理。

5.1 网络配线机器人系列

根据用户应用场景提供系列产品类型，ZY-AOR 48/72/96/192

提供强大的功能配置接口

提供光纤质量远程自动检测功能

确保跳纤后光纤不缠绕

提供运行日志本地存储及推送功能

提供运行程序本地下载功能

具备设备自诊断、故障自定位功能。

5.2 技术参数

系统技术参数如表1所示：表1 技术参数表