基于视觉定位的手机壳辅料智能装配控制系统

技术领域

本申请涉及智能装配控制领域，且更为具体地，涉及一种基于视觉定位的手机壳辅料智能装配控制系统。

背景技术

在手机制造过程中，手机壳通常需要搭配各种辅料（如按键、摄像头、闪光灯、扬声器等部件）进行装配。手机壳辅料的装配需要高度的精确度和稳定性，否则会影响手机的质量和用户体验。因此，确保辅料被准确地放置于手机壳上的预定贴合位置对于手机的外观质量和功能性至关重要。

然而，传统的手机壳辅料装配方式通常依赖于人工操作，人工操作容易受到人为因素的影响，如疲劳、注意力不集中等，导致装配的准确性下降。并且，人工操作的速度和效率有限，特别是在大规模生产的情况下，人工装配往往无法满足高效率的需求，导致生产效率低下。此外，由于人工操作的差异性，不同操作者之间的装配结果可能存在差异，导致装配的一致性较差，难以保证产品的质量稳定性。

因此，期望一种基于视觉定位的手机壳辅料智能装配控制系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于视觉定位的手机壳辅料智能装配控制系统，其通过CCD摄像头采集手机壳和辅料装配定位图像，并在后端引入图像处理和分析算法来进行该定位图像的分析，以此来判断辅料是否被准确地放置于手机壳上的预定贴合位置，以提高手机辅料的贴合生产效率，降低生产成本，提高产品的良率，从而实现自动化、高效化、精确化的装配控制。

根据本申请的一个方面，提供了一种基于视觉定位的手机壳辅料智能装配控制系统，其包括：

图像采集模块，用于获取由CCD摄像头采集的手机壳和辅料装配定位图像；

图像目标检测模块，用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像；

图像感兴趣区域特征分析模块，用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列；

感兴趣区域特征交互关联分析模块，用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征；

定位检测模块，用于基于所述手机壳-辅料语义空间交互特征，确定是否定位准确。

与现有技术相比，本申请提供的一种基于视觉定位的手机壳辅料智能装配控制系统，其通过CCD摄像头采集手机壳和辅料装配定位图像，并在后端引入图像处理和分析算法来进行该定位图像的分析，以此来判断辅料是否被准确地放置于手机壳上的预定贴合位置，以提高手机辅料的贴合生产效率，降低生产成本，提高产品的良率，从而实现自动化、高效化、精确化的装配控制。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的框图；

图2为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的系统架构图；

图3为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的训练阶段的框图；

图4为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统中图像感兴趣区域特征分析模块的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

传统的手机壳辅料装配方式通常依赖于人工操作，人工操作容易受到人为因素的影响，如疲劳、注意力不集中等，导致装配的准确性下降。并且，人工操作的速度和效率有限，特别是在大规模生产的情况下，人工装配往往无法满足高效率的需求，导致生产效率低下。此外，由于人工操作的差异性，不同操作者之间的装配结果可能存在差异，导致装配的一致性较差，难以保证产品的质量稳定性。针对上述技术问题，在本申请的技术方案中，在生产线的上料机处将手机壳放到传送带上后，流水线上的吸取装置依次将手机壳搬运到指定位置贴合相应的辅料。并且，在将手机壳搬运到指定位置后，采用基于视觉定位的手机壳辅料智能装配控制系统来检测和定位手机壳和辅料的位置，判断定位是否准确，以实现高精度的装配。

在本申请的技术方案中，提出了一种基于视觉定位的手机壳辅料智能装配控制系统。图1为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的框图。图2为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的系统架构图。如图1和图2所示，根据本申请的实施例的基于视觉定位的手机壳辅料智能装配控制系统300，包括：图像采集模块310，用于获取由CCD摄像头采集的手机壳和辅料装配定位图像；图像目标检测模块320，用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像；图像感兴趣区域特征分析模块330，用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列；感兴趣区域特征交互关联分析模块340，用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征；定位检测模块350，用于基于所述手机壳-辅料语义空间交互特征，确定是否定位准确。

特别地，所述图像采集模块310，用于获取由CCD摄像头采集的手机壳和辅料装配定位图像。值得一提的是，CCD摄像头是一种使用电荷耦合器件作为图像传感器的摄像头。CCD是一种能够将光信号转换为电信号的器件，常用于数字摄像和视频捕捉。CCD摄像头通常具有较高的图像质量和较低的噪声水平。

特别地，所述图像目标检测模块320，用于将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像。应可以理解，考虑到在实际进行辅料和手机壳的定位检测时，应更加关注于辅料的位置和边缘特征以及手机壳的预定粘合位置特征，而忽略与定位检测无关的干扰特征。因此，在本申请的技术方案中，进一步将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像。特别地，通过目标检测网络，可以将图像中的手机壳和辅料从背景中分割出来，得到它们的感兴趣区域图像。这样，能够将注意力集中在手机壳和辅料上，减少其他无关区域的干扰，提高后续处理的效率和准确性。

值得注意的是，目标检测网络是一种用于目标检测的深度学习模型，它在目标检测中起到了关键作用。在传统的目标检测方法中，通常需要对整个图像进行密集的滑动窗口扫描，这会导致计算量巨大。为了解决这个问题，目标检测网络提出了一个重要的概念：只对可能包含目标的区域进行处理，而不是对整个图像进行扫描。目标感兴趣区域检测网络的优点是能够减少计算量，只对候选框进行处理，大大提高了目标检测的效率。它在许多目标检测任务中取得了良好的性能，成为目标检测领域的重要技术之一。常见的目标感兴趣区域检测网络包括Fast R-CNN、Faster R-CNN和Mask R-CNN等。

相应的，在一种可能的实现方式中，可通过以下步骤将所述手机壳和辅料装配定位图像通过手机壳目标检测网络和辅料目标检测网络以得到手机壳感兴趣区域图像和辅料感兴趣区域图像，例如：将手机壳和辅料装配定位图像输入到手机壳目标检测网络和辅料目标检测网络中；手机壳目标检测网络将对输入图像进行处理，识别和定位出所有的手机壳。它会生成一系列手机壳的边界框和对应的类别标签；辅料目标检测网络将对输入图像进行处理，识别和定位出所有的辅料。它会生成一系列辅料的边界框和对应的类别标签；根据手机壳目标检测网络生成的手机壳边界框，从输入图像中提取出手机壳的感兴趣区域图像；根据辅料目标检测网络生成的辅料边界框，从输入图像中提取出辅料的感兴趣区域图像。

特别地，所述图像感兴趣区域特征分析模块330，用于通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列。特别地，在本申请的一个具体示例中，如图4所示，所述图像感兴趣区域特征分析模块330，包括：感兴趣区域多尺度特征提取单元331，用于将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图；特征展平化单元332，用于将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。

具体地，所述感兴趣区域多尺度特征提取单元331，用于将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图。考虑到手机壳和辅料的形状、纹理和粘合位置特征都存在不同的变化，并且手机壳和辅料的装配位置通常还会受到周围环境的影响。因此，在实际进行辅料和手机壳预定粘合位置的定位时，为了能够更为准确地进行定位检测判断，在本申请的技术方案中，进一步将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图。应可以理解，通过使用所述基于金字塔网络的图像特征提取器，可以在图像的不同深度层次上提取特征，从而捕捉到手机壳和辅料的多层次特征信息。这样可以更全面地描述手机壳和辅料的特征，提高后续处理的鲁棒性和准确性。同时，通过提取多尺度特征图，可以获得更丰富的上下文信息，包括周围区域的纹理、形状和颜色等特征。这些上下文信息可以帮助系统更好地理解手机壳和辅料的位置关系，提高定位的准确性。

值得注意的是，金字塔网络（Pyramid Network）是一种深度神经网络结构，用于处理多尺度的图像信息。它通过构建不同分辨率的特征金字塔，从而能够同时捕捉到图像中的细节和全局信息。以下是金字塔网络的基本步骤：输入金字塔构建：从输入图像开始，通过对图像进行多次下采样或上采样操作，生成不同分辨率的图像金字塔。这些金字塔层级可以通过降采样（下采样）或上采样方法得到；特征提取：对于每个金字塔层级，将图像输入到特征提取器中，通常是一个卷积神经网络（CNN）。特征提取器将提取出每个层级的特征表示，其中较低层级的特征表示包含更多的细节信息，而较高层级的特征表示则包含更多的全局语义信息；特征融合：将不同层级的特征进行融合，以综合利用不同尺度的信息。常见的融合方法包括级联、拼接、加权平均等；后续处理：根据具体任务的需求，可以在金字塔网络的输出上应用不同的后续处理方法，如分类、目标检测、分割等。金字塔网络的优势在于它能够同时处理不同尺度的信息，从而提高了对图像中不同尺度目标的检测和识别能力。

相应的，在一种可能的实现方式中，可通过以下步骤将所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到手机壳多尺度特征图和辅料多尺度特征图，例如：将手机壳感兴趣区域图像和辅料感兴趣区域图像作为输入数据；使用金字塔构建方法对输入图像进行多次下采样或上采样操作，生成不同分辨率的图像金字塔。下采样可以通过池化操作或卷积操作实现，上采样可以通过插值方法实现；对于每个金字塔层级的图像，将其输入到金字塔网络的特征提取器中。特征提取器通常是一个卷积神经网络（CNN），可以是预训练的模型如VGG、ResNet等；对于每个金字塔层级的特征提取结果，可以得到相应的多尺度特征图。较低层级的特征图包含更多的细节信息，而较高层级的特征图包含更多的全局语义信息；将不同层级的多尺度特征图进行融合，以综合利用不同尺度的信息。常见的融合方法包括级联、拼接、加权平均等。

具体地，所述特征展平化单元332，用于将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。也就是，在得到有关于所述手机壳的多层次特征信息和所述辅料的多层次特征信息后，为了能够进行手机壳的预定位置和辅料的定位检测，还应将这两者的特征信息进行交互关联分析。因此，在本申请的技术方案中，将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到手机壳局部特征向量的序列和辅料局部特征向量的序列，以此来将手机壳和辅料的多尺度特征转化为一维的特征表示，方便后续的特征处理和分析。

相应的，在一种可能的实现方式中，可通过以下步骤将所述手机壳多尺度特征图和所述辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列，例如：获取每个特征图的尺寸（高度、宽度、通道数）；对于每个特征图，将其沿通道维度展平为一个一维向量；将所有展平后的特征向量连接起来，以得到所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式通过基于深度神经网络模型的图像特征提取器分别对所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像进行特征提取以得到手机壳局部特征向量的序列和辅料局部特征向量的序列，例如：将手机壳感兴趣区域图像和辅料感兴趣区域图像作为输入数据；选择一个适用于图像特征提取的深度神经网络模型；将手机壳感兴趣区域图像输入到深度神经网络模型中，通过前向传播得到图像的特征表示；将辅料感兴趣区域图像输入到深度神经网络模型中，同样通过前向传播得到图像的特征表示；对于手机壳感兴趣区域图像的特征表示，可以将其划分为一系列局部区域，例如将图像分成网格，每个网格代表一个局部区域。然后，对于每个局部区域，可以将其特征表示转化为一个特征向量；同样地，对于辅料感兴趣区域图像的特征表示，也可以将其划分为一系列局部区域，并将每个局部区域的特征表示转化为一个特征向量。

特别地，所述感兴趣区域特征交互关联分析模块340，用于对所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列进行序列交互关联分析以得到手机壳-辅料语义空间交互特征。也就是，在本申请的技术方案中，将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块以得到手机壳-辅料语义空间交互特征向量。通过将手机壳和辅料的局部特征向量序列进行交互，可以实现它们之间的语义空间交互，这种交互可以帮助系统更好地理解手机壳和辅料之间的位置关系和定位关联情况，提高贴合装配的准确性。具体地，将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块以得到手机壳-辅料语义空间交互特征向量作为所述手机壳-辅料语义空间交互特征，包括：将所述手机壳局部特征向量的序列通过基于全卷积神经网络模型的手机壳局部特征提取器以得到手机壳全卷积特征向量；将所述辅料局部特征向量的序列排列为辅料全局特征向量；融合对所述手机壳全卷积特征向量和所述辅料全局特征向量以得到手机壳-辅料融合特征向量；对所述辅料局部特征向量的序列进行语义关联编码以得到辅料全局语义关联特征向量；融合所述手机壳-辅料融合特征向量和所述辅料全局语义关联特征向量以得到所述手机壳-辅料语义空间交互特征向量。

特别地，所述定位检测模块350，用于基于所述手机壳-辅料语义空间交互特征，确定是否定位准确。也就是，在本申请的技术方案中，将所述手机壳-辅料语义空间交互特征向量通过分类器以得到分类结果，所述分类结果用于表示是否定位准确。也就是，利用所述手机壳的多尺度特征和所述辅料的多尺度特征间的语义交互关联特征信息来进行分类处理，以此来进行定位检测，从而判断辅料是否被准确地放置于手机壳上的预定贴合位置，以提高手机辅料的贴合生产效率，降低生产成本，提高产品的良率，从而实现自动化、高效化、精确化的装配控制。具体地，使用所述分类器的多个全连接层对所述手机壳-辅料语义空间交互特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

分类器是指一种机器学习模型或算法，用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分，它通过学习从输入数据到输出类别的映射关系来进行分类任务。

全连接层是神经网络中常见的一种层类型。在全连接层中，每个神经元都与上一层的所有神经元相连接，每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入，并通过权重对这些输入进行加权求和，然后将结果传递给下一层。

Softmax分类函数是一种常用的激活函数，用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值，并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层，特别适用于多分类问题，因为它能够将网络输出映射为各个类别的概率分布。在训练过程中，Softmax函数的输出可以用于计算损失函数，并通过反向传播算法来更新网络参数。值得注意的是，Softmax函数的输出并不会改变元素之间的相对大小关系，只是对其进行了归一化处理。因此，Softmax函数并不改变输入向量的特性，只是将其转化为概率分布形式。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。也就是说，根据本申请的基于视觉定位的手机壳辅料智能装配控制系统300，还包括训练阶段400，用于对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。

图3为根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统的训练阶段的框图。如图3所示，训练阶段400，包括：训练数据采集单元410，用于获取训练数据，所述训练数据包括由CCD摄像头采集的训练手机壳图像和训练辅料装配定位图像；训练图像目标检测单元420，用于将所述训练手机壳图像和所述训练辅料装配定位图像分别通过手机壳目标检测网络和辅料目标检测网络以得到训练手机壳感兴趣区域图像和训练辅料感兴趣区域图像；训练感兴趣区域多尺度特征提取单元430，用于将所述训练手机壳感兴趣区域图像和所述训练辅料感兴趣区域图像分别通过基于金字塔网络的图像特征提取器以得到训练手机壳多尺度特征图和训练辅料多尺度特征图；训练特征展平化单元440，用于将所述训练手机壳多尺度特征图和所述训练辅料多尺度特征图的沿通道维度的各个特征矩阵进行特征展平化以得到训练手机壳局部特征向量的序列和训练辅料局部特征向量的序列；特征交互关联分析单元450，用于将所述训练手机壳局部特征向量的序列和所述训练辅料局部特征向量的序列通过局部特征序列交互模块以得到训练手机壳-辅料语义空间交互特征向量；特征优化单元460，用于对所述训练手机壳-辅料语义空间交互特征向量进行逐位置优化以得到优化训练手机壳-辅料语义空间交互特征向量；分类损失单元470，用于将所述优化训练手机壳-辅料语义空间交互特征向量通过所述分类器以得到分类损失函数值；模型训练单元480，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述局部特征序列交互模块和所述分类器进行训练。

其中，所述分类损失单元，用于：使用所述分类器对所述优化训练手机壳-辅料语义空间交互特征向量进行处理以得到训练分类结果；以及，计算所述训练分类结果与所述是否定位准确的真实值之间的交叉熵损失函数值作为所述分类损失函数值。

特别地，在本申请的技术方案中，所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列分别表达所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像的基于金字塔网络的多尺度多深度图像语义特征，这样，将所述手机壳局部特征向量的序列和所述辅料局部特征向量的序列通过局部特征序列交互模块后，所述手机壳-辅料语义空间交互特征向量不仅包含所述手机壳感兴趣区域图像和所述辅料感兴趣区域图像各自的多尺度多深度图像语义特征，还包括基于图像语义特征空间交互的交互图像语义特征，使得所述手机壳-辅料语义空间交互特征向量具有语义空间多维度下的多尺度多深度图像语义关联特征分布。由此，由于所述手机壳-辅料语义空间交互特征向量在整体上具有语义空间角度下的多维度、多尺度和多深度图像语义关联特征分布性质，这就使得在将所述手机壳-辅料语义空间交互特征向量通过分类器进行分类回归时，需要提升分类回归的效率。因此，在所述手机壳-辅料语义空间交互特征向量通过分类器进行分类回归时，对所述手机壳-辅料语义空间交互特征向量进行逐位置优化，具体表示为：

其中

如上所述，根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统300可以实现在各种无线终端中，例如具有基于视觉定位的手机壳辅料智能装配控制算法的服务器等。在一种可能的实现方式中，根据本申请实施例的基于视觉定位的手机壳辅料智能装配控制系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于视觉定位的手机壳辅料智能装配控制系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于视觉定位的手机壳辅料智能装配控制系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于视觉定位的手机壳辅料智能装配控制系统300与该无线终端也可以是分立的设备，并且该基于视觉定位的手机壳辅料智能装配控制系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。